boss实习生岗位太难找，用SCRAPY爬取BOSS直聘实习生数据，原来是......

最新推荐文章于 2024-09-12 09:11:48 发布

程序员lamed

最新推荐文章于 2024-09-12 09:11:48 发布

阅读量1.4k

点赞数

分类专栏： python 文章标签： python 程序员新手入门

本文链接：https://blog.csdn.net/weixin_45342712/article/details/99963310

版权

本文讲述了作者作为一名应届生，在寻找实习岗位时使用Python的Scrapy框架爬取BOSS直聘上的杭州地区实习生职位信息的经历。通过设置item、分析XPath获取详情页URL，并应对反爬机制，最终将数据存入MySQL数据库。尽管爬虫过程中遇到挑战，但作者认识到提升自身实力才是找到合适工作关键。

摘要由CSDN通过智能技术生成

每到毕业季，很多应届生在很多招聘的平台上去找工作，都想往自己学习兴趣这块发展。但是自身起点太低，都会往实习生这块去找。

最近想找实习单位。。结果发现boss上很多实习单位名字就叫‘实习生’…太不讲究了 , 难怪一直搜不到…咳，其实是我自己水平有限，有些简历根本就投不出去
在这里插入图片描述

所以就想爬下boss杭州地区有实习生关键词的所有职位，然后在职位详情里面搜索‘python’或者‘爬虫’…然后小白开始动手了…

首先写item 名字、公司、内容、url

在这里插入图片描述

如果你对python感兴趣，我这有个学习Python基地，里面有很多学习资料，感兴趣的+Q群：688244617

再接着去写爬虫通过xpath 分析列表页的详情页url 再通过url进入详情页分析数据（泪流满面。这过程居然没动态加载的数据）
在这里插入图片描述

下一页的url我是通过获取最后一个a标签拿到的再如果有下一页&#

关注

专栏目录