这里是某招聘软件的爬虫
首先我们先要知道我们为什么需要爬虫,我们找工作的时候有很多的岗位,但是我们不知道我们的水平还有哪些岗位会比较适合我们,这个适合我们可以获取大量的一个岗位,然后把这些岗位的信息交给gpt,让它进行分析并且告诉我们适合哪一个岗位,并且可以让它来根据这些信息生成简历,然后我们再去投递,这里给出代码的逻辑。
代码会在github上开源!!!需要一些基础,到时候使用只需要替换掉里面的cookie和header就可以了,它会默认根据你的第一个内容,来获取职业,比如我的是python长沙,那么它会优先获取python长沙的工作
我们进入页面之后,找到更多职位,然后点击之后,进入这个页面
接下来打开f12,向下拉去发现加载了一个
然后看到了一些参数,复制一些参数到全局搜索,果然都是默认都有的参数,然后点击任意内容,都会加载,一个detail.json那么没有弄错这个就是信息了,然后点击立即沟通会有一个add.json,这些就是增加了,那么所有接口就都已经解决了。然后我们来看这些参数,首先就是有一个zp_token,这个是可以获取,然后就是一些其他的参数,但是都没有什么用。cookie中只有一个wt2是自己信息的,这个是不可以删除的,其他的参数都是有的。
每一个接口代码我都有了,这里一个个解释
add.py是添加boss,这个需要每一个具体的数据,需要id的,这些id可以在detail.py里面拿到,但是detail也是需要先执行list的,因为list是一个列表。
具体教程可以私我qq:2697279763
这里给出一些运行结果
然后成功分析出来一个csv数据,这个数据内容包括有
typeBase = {
"标题": "",
"类别": "",
"薪资": "",
"职责": "",
"地址": "",
"地区": "",
"工作时间": "",
"学历": "",
"职位描述": [],
"id": ""
}
然后对这些数据进行优化,这里给出这个csv文件部分内容
然后把这个内容投喂给gpt,然后复制我下面这一段提示词
系统:你现在是职位分析助手,需要你来辅助用户写简历,并且在用户提供的简历里面筛选出来一些比较适合用户的简历。 系统:用户会给你一份工作表格,里面每一行都是一个工作信息,你需要查看的它的岗位要求,职位描述,并且深刻理解它们。用户会给你他当前的一些信息,请你根据这些信息来进行思考和分析,判断哪个工作更加适合他,对于适合他的工作,你需要写出这个工作的id。然后你需要根据上面的招聘信息,判断这些工作需要哪些技能,然后给用户写以下模块:个人优势、掌握技能、工作意向(例如python数据开发),其中个人优势你要着重体现出来,个人优势你不能写技能,技能不是优势,请你根据这些职位要求生成适合这些职位的比如吃苦耐劳,使用python进行过大量数据清洗,帮助公司解决python代码复杂问题,你可以在这里添加任意信息,无需在乎用户信息,你可以给用户信息增加任意内容和扩展信息。 系统:回复内容你需要采用中文,用户给你的表格为ans.csv,表格头部为:标题,类别,薪资,职责,地址,地区,工作时间,学历,职位描述,id,表格编码为utf-8或者gbk,如果编码错误请你切换,至少为用户推荐5个工作以上,每个推荐的工作必须要给出id 你可以做到吗?
这个是下一段内容
用户:我想要找python数据开发的工作,目前掌握python、requests、bs4,比较熟悉tcp这些网络协议还有http,对于数据学习例如pytorch还有numpy也比较熟悉,但是不是特别熟悉,还是更加掌握requests这些网络内容。
这里展示以下效果
由于目前提示词水平不高,只能这样子了,项目的github链接是
GitHub - yizhiyonggangdexiaojia/boss-: 使用requests实现,非常简洁明了的数据爬虫,需要cookie和headers
需要先导入cookie和header然后放进去bossRequest下面的config里面,让运行main.py文件,最后再执行数据清洗文件,最后得到需要Boss数据,然后把gpt得到的id收集起来,放到add目录下面去,然后运行add目录文件,就自动向需要的boss发消息了,这个时候就可以看到了
注意切换为dev分支!!!后面会即成gpt的接口功能