以下内容为本人原创,欢迎大家观看学习,禁止用于商业用途,
·作者:@Yhen
·原文网站:CSDN
·原文链接:https://blog.csdn.net/Yhen1/article/details/111598637
转载请说明此出处,侵权必究!谢谢合作!
大家好,我是偷偷学Python的Touzi学子Yhen
这期给大家分享的项目是爬取码市招聘项目
长话短说,马上开始这次的经验分享.
首先是进入…(对了,有一点忘记说了,就是从本期开始,不仅有在CSDN的文字教程,我还另外制作了视频分享分布在我的公众号“Yhen杂文铺”中,带给大家更直观更高效的体验~)
Bty,以后博客尽量走简洁风
一.前期准备
这一期我们只需要用到两个常用的模块
requests 发送请求 项目核心
time 用于设置延时
二.需求分析
将码市中
①项目名称
②招聘岗位
③项目描述
④薪水
爬取下来
三.思路分析
在主页点击鼠标右键 ==》点击检查
在弹出的调试工具中
①点击Network ===》②F5刷新
然后根据下图中的顺序逐个点击
就可以找到我们想要的信息了
现在已经知道我们想要信息的藏身之处了
接下来就用代码将他们爬取下来吧
四.代码演示
首先导包
import requests #导入爬虫库
import time #用于请求延时
接下来是对网页发送请求
url='https://codemart.com/api/project?page=1'
headers={
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36',
'accept': 'application/json'
}
#对网址发送请求
res=requests.get(url,headers=headers).json()
time.sleep(1) #每请求一次延时一秒钟 减少对服务器的负担
打印得到的数据看看
一切正常
接下来提取数据,并用一个变量将他们接收
直接上代码
(不理解的请参照公众号里的视频教程,有详细解释)
count=1
for dic in res['rewards']:
#name description price roles
name=dic['name'] #项目名称
description=dic['description'] #项目描述
price=dic['price'] #薪水
roles=dic['roles'] #招聘岗位
#将需要的信息拼接起来 \n是换行符 、\n\n是换行加空行
text='第'+str(count)+'个项目'+'\n'+'项目名称:'+name+'\n'+'项目描述:'+description+'\n'+'薪水:'+price+'\n'+'招聘岗位:'+roles+'\n\n'
count+=1
打印此时的text变量看看
完美~
接下来就将它们保存到txt文件中去
f=open('码市.txt','a',encoding='utf-8')
f.write(text) #将招聘的信息写入到txt文件中
f.close()
来看下效果
那么
本期的分享就到此啦
溜了~
五.源代码获取
扫码关注我的微信公众号Yhen杂文铺后台回复关键词码市爬虫即可获取哦.
六.视频教程
公众号“Yhen杂文铺”主页中
七.往期文章回顾
【室内温度+树莓派性能监控】树莓派+DS18B20温度传感器+0.96寸OLED显示屏使用及安装经验分享
Yhen带你趣味入门Python①—Windows下Python下载及安装
【python热搜爬虫+定时发送邮件操作①】不会吧不会吧!不会2020了还有人需要用软件看微博热搜吧?
【python微博爬虫+定时发送邮件操作②】不会吧不会吧!不会2020了还有人需要用软件看微博热搜吧?
【爬虫+数据可视化】Yhen手把手带你爬取CSDN博客访问量数据并绘制成柱状图
【爬虫】Yhen手把手带你爬取去哪儿网热门旅游信息(并打包成旅游信息查询小工具
【爬虫】Yhen手把手带你用python爬小说网站,全网打尽,想看就看!(这可能会是你看过最详细的教程)
【实用小技巧】用python自动判断并删除目录下的空文件夹(超优雅)
【爬虫+数据库操作】Yhen手把手带你用pandas将爬取的股票信息存入数据库!
【selenium爬虫】
Yhen手把手带你用selenium自动化爬虫爬取海贼王动漫图片
【爬虫】秀才不出门,天下事尽知。你也能做到!Yhen手把手带你打造每日新闻资讯速达小工具。
【爬虫】Yhen手把手带你用python爬取知乎大佬热门文章
【爬虫】Yhen手把手教你爬取表情包,让你成为斗图界最靓的仔
【前端】学过一天的HTML+CSS后,能做出什么有趣的项目?
希望大家能够喜欢这篇文章
如果可以的话,可以点个赞鼓励下嘛?加个关注更好呦!
我是Yhen,下次见~