爬虫实践参考整理
1、笔趣网
PS:里面对于文本的处理以及超出范围的问题,需结合评论区改进
2、知乎
PS:不用模拟登陆,利用搜狗搜索进入知乎,获取开发者信息,对于自己想要找的问答,替换url及相关属性即可,不过爬起来不是很稳定
3、微博
PS:未实践,涉及分布式存储,模拟登陆等
本文目前只是笔者学习别人写的爬虫过程中的记录,故其中链接目前均为转载
分别放置如下:
原文链接 1:https://blog.csdn.net/c406495762/article/details/71158264
原文链接2:https://blog.csdn.net/wenxuhonghe/article/details/86515558
原文链接3:https://github.com/SpiderClub/weibospider/wiki
【未完】