- 博客(2)
- 收藏
- 关注
原创 python爬取拉勾网公司信息(您操作太频繁,请稍后访问)
最近爬取拉勾网上的公司信息碰到了很多问题,但是都一一解决了。作为一个招聘网站,他的反爬措施做的还是很好的。为了调查招聘网站上有多少公司,以及公司信息,并把公司信息存入MongoDB数据库中。先上运行成功代码:import requests import json,time,randomimport pymongofrom lxml import etree #导入需要用到...
2019-06-05 23:23:58 3901 1
原创 (已解决)'gbk' codec can't encode character '\u2022' in position 545262: illegal multibyte sequence
html=requests.get(url,headers=headers)html.encoding=('utf-8')with open('网页源代码.html','w')as f: f.write(html.text)上面代码运行后报错:UnicodeEncodeError: 'gbk' codec can't encode character '\u2022' in po...
2019-06-03 14:50:28 40701 8
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人