【爬虫】Python爬虫经验分享--爬取码市招聘项目

最新推荐文章于 2023-03-29 09:48:39 发布

@Yhen

最新推荐文章于 2023-03-29 09:48:39 发布

阅读量594

点赞数 1

分类专栏： Yhen爬虫笔记文章标签： python 爬虫码市

本文链接：https://blog.csdn.net/yhen1/article/details/111598637

版权

Yhen爬虫笔记专栏收录该内容

11 篇文章 5 订阅

订阅专栏

以下内容为本人原创，欢迎大家观看学习，禁止用于商业用途，

·作者：@Yhen
·原文网站：CSDN
·原文链接：https://blog.csdn.net/Yhen1/article/details/111598637
转载请说明此出处，侵权必究！谢谢合作！

大家好，我是偷偷学Python的Touzi学子Yhen
这期给大家分享的项目是爬取码市招聘项目
长话短说，马上开始这次的经验分享.

首先是进入…(对了，有一点忘记说了，就是从本期开始，不仅有在CSDN的文字教程，我还另外制作了视频分享分布在我的公众号“Yhen杂文铺”中，带给大家更直观更高效的体验~）

Bty，以后博客尽量走简洁风

文章目录

一.前期准备

这一期我们只需要用到两个常用的模块

requests 发送请求项目核心

time 用于设置延时

二.需求分析

将码市中
①项目名称
②招聘岗位
③项目描述
④薪水

爬取下来

在这里插入图片描述

三.思路分析

在主页点击鼠标右键 ==》点击检查
在这里插入图片描述

在弹出的调试工具中
①点击Network ===》②F5刷新

在这里插入图片描述
然后根据下图中的顺序逐个点击
就可以找到我们想要的信息了

现在已经知道我们想要信息的藏身之处了
接下来就用代码将他们爬取下来吧

四.代码演示

首先导包

import requests #导入爬虫库
import time #用于请求延时

接下来是对网页发送请求

url='https://codemart.com/api/project?page=1'
headers={
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36',
    'accept': 'application/json'
}

#对网址发送请求
res=requests.get(url,headers=headers).json()
time.sleep(1)  #每请求一次延时一秒钟 减少对服务器的负担

打印得到的数据看看
在这里插入图片描述
一切正常

接下来提取数据，并用一个变量将他们接收
直接上代码
（不理解的请参照公众号里的视频教程，有详细解释）

count=1
for dic in res['rewards']:
    #name description price roles
    name=dic['name']  #项目名称
    description=dic['description'] #项目描述
    price=dic['price']  #薪水
    roles=dic['roles']  #招聘岗位

    #将需要的信息拼接起来  \n是换行符 、\n\n是换行加空行
    text='第'+str(count)+'个项目'+'\n'+'项目名称:'+name+'\n'+'项目描述:'+description+'\n'+'薪水:'+price+'\n'+'招聘岗位:'+roles+'\n\n'
    count+=1

打印此时的text变量看看

在这里插入图片描述

完美~

接下来就将它们保存到txt文件中去

f=open('码市.txt','a',encoding='utf-8')
    f.write(text)  #将招聘的信息写入到txt文件中
    f.close()

来看下效果

在这里插入图片描述

那么
本期的分享就到此啦
溜了~

五.源代码获取

扫码关注我的微信公众号Yhen杂文铺后台回复关键词码市爬虫即可获取哦.
在这里插入图片描述

六.视频教程

公众号“Yhen杂文铺”主页中

七.往期文章回顾

【室内温度+树莓派性能监控】树莓派+DS18B20温度传感器+0.96寸OLED显示屏使用及安装经验分享

Yhen爬虫经验分享——爬取码市招聘项目

Yhen带你趣味入门Python①—Windows下Python下载及安装

【python热搜爬虫+定时发送邮件操作①】不会吧不会吧！不会2020了还有人需要用软件看微博热搜吧？

【python微博爬虫+定时发送邮件操作②】不会吧不会吧！不会2020了还有人需要用软件看微博热搜吧？

【爬虫+数据可视化】Yhen手把手带你爬取CSDN博客访问量数据并绘制成柱状图

【爬虫】Yhen手把手带你爬取去哪儿网热门旅游信息（并打包成旅游信息查询小工具

【爬虫】Yhen手把手带你用python爬小说网站，全网打尽，想看就看！（这可能会是你看过最详细的教程）

【实用小技巧】用python自动判断并删除目录下的空文件夹（超优雅）

【爬虫+数据库操作】Yhen手把手带你用pandas将爬取的股票信息存入数据库！

【selenium爬虫】
Yhen手把手带你用selenium自动化爬虫爬取海贼王动漫图片

【爬虫】秀才不出门，天下事尽知。你也能做到！Yhen手把手带你打造每日新闻资讯速达小工具。

【爬虫】Yhen手把手带你用python爬取知乎大佬热门文章

【爬虫】Yhen手把手教你爬取表情包，让你成为斗图界最靓的仔

【前端】学过一天的HTML+CSS后，能做出什么有趣的项目？

  希望大家能够喜欢这篇文章
  如果可以的话，可以点个赞鼓励下嘛？加个关注更好呦!
  我是Yhen,下次见~