anaconda使用github代码_八爪鱼爬知乎(github与代码使用说明)

c5806f16019c4db9591b95cd962e3a65.png

最近看到有一些朋友对我爬知乎的代码挺感兴趣的:

0808275404e353a4c3c8dc2201a56acf.png

7583b4e2420ac298fbc47983f45a4ca1.png

我把代码放到github上了,欢迎下载与讨论!

这里是github的地址:

ChenXiaole8844/Crawler_of_zhihu​github.com
079d525be89e2ac6752307563118e3b3.png

使用说明:

browser = webdriver.Chrome("/Users/apple/Downloads/chromedriver_mac_mac") 这里的地址改成你自己chromedriver的地址

运行代码之后,输入你所要爬的网站的url,例如:https://www.zhihu.com/question/288647309/answer/875598429 运行代码,坐等csv格式的文件,如:上述url对应的文件为:Zhihu_problem_data:有大神会爬知乎的数据吗?.csv (这是这个问题的回答,我只是个卑微的普通学生,并非大神/哭)

出来的csv结果是长这样子的:

212274e18ec0f5532d795d27a5a7f046.png

22287241452ff3c94dc9b977bbff954b.png

(注意我是保存为"utf-8"格式的,所以如果直接用excel打开会乱码,如果想要用excel打开,需要将保存的格式修改为“GBK”)

这个代码其实从效率方面还是有待改善的,欢迎大家提出一些建议。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值