爬虫学习过程
Python——爬虫的介绍
Python——requests库的学习
Python——bs4(BeautifulSoup)库的学习
Python——re库(正则表达式)的学习
网页分析
进入赶集网首页,调用网页搜索,输入查询范围
分析网页,得到求职人数,求职方向及具体职位列表等
找到具体职位网址
查看源代码,进行分析,查找所需数据位置
代码实现
学习爬虫后试炼成果检验,时刻获取赶集网当前最新招聘信息,输入你所需求的职位,帮你拿到第一手招聘信息
#Python项目
import requests #导入Requests模块——获取网页
import bs4
from bs4 import BeautifulSoup #导入bs4模块——解析网页
import re #导入re模块——在网页数据中获取需求数据
import csv #导入csv模块——以CSV文件保存数据
#获取一个网页对象
def getHTMLText():
try:
#带参数的GET请求
keyword=input("请输入求职职位:") #输入需求的范围
url='http://cd.ganji.com/site/s/_'+keyword #得到对应网页地址
r = requests.get(url) #获取respond对象
r.raise_for_status()
r.encoding=r.apparent_e