初学python看完基础教程后,利用从视频学来的知识,利用urllib2和BeautifulSoup库,在python2.7环境下编写一个小爬虫,爬取应届生求职网上西安的校招宣讲会信息。
代码如下:
# coding=utf-8
import urllib2
from bs4 import BeautifulSoup
urlstart='http://my.yingjiesheng.com/index.php/personal/xjhinfo.htm/?page='#为了方便翻页将网址代码分成两部分
urlend='&cid=&city=21&word=&province=0&schoolid=&sdate=&hyid=0'
for i in range(1,20):#从网站上直接获取页面个数
print '正在打印第'+str(i)
url=urlstart+str(i)+urlend#整理网站地址
request=urllib2.urlopen(url)#用urllib2打开网站
html=request.read()#读取网站代码
bs=BeautifulSoup(html,'html.parser',from_encoding='utf-8')#BeautifulSoup整理网站代码
alllist1=bs.find_all('tr',class_='bg0')#每一页的信息分为两个部分
alllist2=bs.find_all('tr',class_='bg1')
alllist=alllist1+alllist