毕业设计 基于python的网络爬虫-基于python的网络爬虫

一、从小说网站抓取一本小说

import urllib2：python库，提供一系列针对url的操作方法

import re：re正则表达式，提供了一系列针对正则表达式的方法

BeautifulSoup4库：from bs4 import BeautifulSoup

BeautifulSoup4是一个从html或者xml中提取数据的py库

二、爬取西安工业大学的就业管理系统

http://jy.51uns.com:8022/Pro_StudentEmploy/StudentJobFair/Zhaoping.aspx?WorkType=0

爬去之后写进mysql数据库中（MySQLdb用于和mysql建立连接，相当于一个驱动）；注意：python3装不上这个驱动，python3需要使用第三方库

1、详细情形：（1）运用Ajax异步交互方法，把上面的内容归为两类（静态内容：不需要改变；动态交互：会改变的，从数据库中读取的，需要维护的信息，如上述的招聘信息，会动态发生改变）

第一步：打开这个url时，访问服务器端指定服务，获取静态资源，渲染显示页面

第二步：使用Ajax异步交互，根据数据获取的url，获取招聘信息等动态资源，渲染显示

异步交互的好处：页面无需刷新就可以动态改变上一页和下一页【因为有一个网址是专门来进行服务器交互的，用户传递参数，根据参数选择，动态改变网页的内容。（用Ajax异步交互方法动态，从服务器端获取数据，用前端的编程语言动态的改