python数据分析实例：利用爬虫获取数据_爬虫爬取网站数据并分析

‘Referer’:‘https://www.lagou.com/jobs/list_Python?’,
‘User-Agent’:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36’,
‘X-Anit-Forge-Code’:‘0’,
‘X-Anit-Forge-Token’:‘None’,
‘X-Requested-With’:‘XMLHttpRequest’
}

def get_json(url, page, lang_name):
data = {‘first’: “true”, ‘pn’: page, ‘kd’: lang_name,‘city’:“北京”}

#POST请求
json = requests.post(url,data,headers=headers).json()
list_con = json[‘content’][‘positionResult’][‘result’]
info_list = []
for i in list_con:
info = []
info.append(i[‘companyId’])
info.append(i[‘companyFullName’])
info.append(i[‘companyShortName’])
info.append(i[‘companySize’])
info.append(str(i[‘companyLabelList’]))

info.append(i[‘industryField’])
info.append(i[‘financeStage’])

info.append(i[‘positionId’])
info.append(i[‘positionName’])
info.append(i[‘positionAdvantage’])

info.append(i[‘positionLables’])

info.append(i[‘city’])
info.append(i[‘district’])

info.append(i[‘businessZones’])

info.append(i[‘salary’])
info.append(i[‘education’])
info.append(i[‘workYear’])
info_list.append(info)
return info_list

def main():
lang_name = input(‘职位名：’)
page = 1
url = ‘http://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false’
info_result=[]
title = [‘公司ID’,‘公司全名’,‘公司简称’,‘公司规模’,‘公司标签’,‘行业领域’,‘融资情况’,“职位编号”, “职位名称”,“职位优势”,“城市”,“区域”,“薪资水平”,‘教育程度’, “工作经验”]
info_result.append(title)

#遍历网址
while page < 31:
info = get_json(url, page, lang_name)
info_result = info_result + info
page += 1
#写入excel文件
wb = Workbook()
ws1 = wb.active
ws1.title = lang_name
for row in info_result:
ws1.append(row)
wb.save(‘职位信息3.xlsx’)

main()

打开excel文件，查看数据是否存取成功：  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/65139c036eec41259202e2f5c2dac248.png)  
 **我们看到关于招聘类网站中抓取的数据，被成功的保存在excel表格中。**


### 关于Python技术储备


学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！


**点此免费领取：[CSDN大礼包：《python学习路线&全套学习资料》免费分享](https://bbs.csdn.net/topics/618317507)**


#### Python学习大纲


Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/71e2166464ed45959e2863dae1cc4835.jpeg#pic_center)


#### 入门学习视频


![](https://img-blog.csdnimg.cn/img_convert/e0106a2ebc87d23666cd0a4b476be14d.png)


#### Python实战案例


光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/d05d16f02b804b7aab3532123c710466.png)  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/5eccf0e8a9fd42cbb8e90c596d6df967.png)  
 **这份完整版的Python全套学习资料已经上传CSDN，朋友们如果需要可以私信我免费领取【保证100%免费】**



> 
> 👉[[[CSDN大礼包：《python安装包&全套学习资料》免费分享]]](https://bbs.csdn.net/topics/618317507)（**安全链接，放心点击**）
> 
> 
> 



![](https://img-blog.csdnimg.cn/img_convert/622ea1df8c9e8ccf4b2e5e5aca0107b9.png)







### 最后

Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

#### 👉Python所有方向的学习路线👈

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

![](https://img-blog.csdnimg.cn/img_convert/604bae65027d4d67fb62410deb210454.png)

#### 👉Python必备开发工具👈

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

![](https://img-blog.csdnimg.cn/img_convert/fa276175617e0048f79437bd30465479.png)



#### 👉Python全套学习视频👈

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

![](https://img-blog.csdnimg.cn/img_convert/16ac689cb023166b2ffa9c677ac40fc0.png)



#### 👉实战案例👈



学python就与学数学一样，是不能只看书不做题的，直接看步骤和答案会让人误以为自己全都掌握了，但是碰到生题的时候还是会一筹莫展。



因此在学习python的过程中一定要记得多动手写代码，教程只需要看一两遍即可。

![](https://img-blog.csdnimg.cn/img_convert/0d8c31c50236a205928a1d8ae8a0b883.png)



#### 👉大厂面试真题👈

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

![](https://img-blog.csdnimg.cn/img_convert/99461e47e58e503d2bc1dc6f4668534a.png)

**[需要这份系统化学习资料的朋友，可以戳这里无偿获取](https://bbs.csdn.net/topics/618317507)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**