Python抓取4A级猎头公司数据

第一步先导入urllib.request模块，记住python2跟3在模块上面使用是有区别的，这个模块就是如此。

如果我们想访问多个页面的话需要找寻网站的网址规律是怎么样的

http://www.risfond.com/case/fmcg/26700 ，http://www.risfond.com/case/fmcg/26701，

点击网址下一条就可以发现网址的规律，网址后面的数字是发生了改变的，

所以可以采用字符串格式化跟range函数，for in来进行使用，基础知识附带使用讲解下。

range函数可以生成一个整数序列，里面只有一个参数默认从0开始，2个参数是含头不含尾，示例如下：

字符串格式化，%s代表字符串，%d代表数字，当不知道用什么的情况下可以用%s代替，format是用{}.format()的方式做到字符串格式化的。

发送请求

for i in range(26700,26716):

url = ‘http://www.risfond.com/case/fmcg/{}’.format(i)

html = urllib.request.urlopen(url).read().decode(‘utf-8’)#urlopen打开网址 read 读取源代码

print(html)

第二步：从源码解析所需要的数据

这里用的是re正则表达式，可以根据一定的规则从源码中匹配出相对应的内容，打个比方说，我去水果店买西瓜，西瓜的特征是果绿色的外壳，红色的果肉，椭圆形状，都是根据这个特征去寻找的，在网站中间也是如此，获取的内容有着共同的标签比如div，而且都是在一样的html布局中，就可以写一个正则，用findall去从源码html中匹配出来。

page_list = re.findall(r’

. ?(.?)

',html)

第三步：数据存储到excel

根据内容，我觉得存储到excel表格里面会比较好，所以对每行也写了一定的注释，大家可以参考下！

newTable = ‘test2019.xls’#表格名称

wb = xlwt.Workbook(encoding=‘utf-8’) #创建excel文件 设置编码

ws = wb.add_sheet(‘rsfd’)#表名称

headData = [‘职位名称’,‘职位地点’,‘时间’,‘行业’,‘招聘时间’,‘人数’,‘顾问’]

for colnum in range(0,7):

ws.write(0,colnum,heData[colnum],xlwt.easyxf(‘font:bold on’))

index = 1

for j in range(0,len(items)):#计算数据有多少条

for i in range(0,7):

print(items[j][i])

ws.write(index,i,items[j][i])#行数 列数 数据

index+=1

wb.save(newTable)#保存

结果如下：我们可以看到所有的数据都被抓下来，并且存储到名为test2019的文件夹了。
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）

开发知识点，真正体系化！**

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）