爬虫（一）——收集网页信息并导出

以51job上的前端开发职位为例，代码如下：

import requests
from lxml import etree
from pandas import DataFrame

#确定爬取网址
#以51job网址为例，？后面是后台参数，可以删掉
url = 'https://search.51job.com/list/080000,000000,0000,32,9,99,%25E5%2589%258D%25E7%25AB%25AF%25E5%25BC%2580%25E5%258F%2591,2,1.html'
res = requests.get(url)
print(res)

#通过查看网页源代码，看charset字段，设置编码格式
res.encoding = 'gbk'

#用etree初始化一个xpath对象
root = etree.HTML(res.text)
#通过标签获取职位
'''
#方案一
position = root.xpath('//p[@class="t1 "]/span/a/@title')
print(position)
#获取信息的长度
print(len(position))
'''
#方案二
position = root.xpath('//p[@class="t1 "]/span/a/text()')
for i in range(len(position)):
    position[i] = position[i].strip()
print(position)

#提取公司信息
company = root.xpath('//span[@class="t2"]/a/@title')
print(company)

#获取工作地点
place = root.xpath('//div[@class="el"]/span[@class="t3"]/text()')
print(place)

#获取工资
salary = root.xpath('//div[@class="el"]/span[@class="t4"]/text()')
print(salary)

#获取发布日期
date = root.xpath('//div[@class="el"]/span[@class="t5"]/text()')
print(date)

#把取出的信息放到数据框里
jobInfo = DataFrame([position,company,place,salary,date]).T
jobInfo.columns = ['职位','公司','工作地点','薪水','发布日期']
jobInfo.to_csv('51job.csv')

然后就会在文件夹里出现一个.csv的文件，打开时看到乱码不要着急哦，可以用以下方法解决：

1.将.csv文件用记事本打开。

2.另存为，将编码格式改为ANSI，我的格式原本是utf-8

3.再用excel打开就可以啦！