以下实现拉勾网上面的北京python的招聘岗位的相关信息,包括公司名称,工资,公司简单介绍,公司地址
初始页面为http://www.lagou.com/zhaopin/Python/?labelWords=label
文件存储在同一个目录下的12345.txt中
#coding=utf-8
import urllib2
from bs4 import BeautifulSoup
#定义一个伪装的头文件
sendHeaders = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.2; rv:16.0) Gecko/20100101 Firefox/16.0',
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Connection':'keep-alive'
}
#临时存储文件为
saveFile = open('12345.txt','a+')
k=1 #统计一共的味信息数量
for i in range(1,31): # 一共就30页 每次加一个页面,urltemp 后面会+1
urltemp= 'http://www.lagou.com/zhaopin/Python/'
url = urltemp+str(i)+"?filterOption=3" # 翻页操作&