保存一下大佬的爬虫代码
1.python 爬取百度学术文章获取免费下载地址(好用)
https://blog.csdn.net/Herishwater/article/details/88709119
详细代码:https://github.com/Acorn2/PythonSpider/blob/master/cdsn_learn01/literature_spider.py
2.爬取百度学术文章及文本挖掘分析(可参考后面的数据分析部分)
https://blog.csdn.net/llh_1178/article/details/80558274
详细代码:https://github.com/llhy60/spider-of-Baidu-Scholar-/blob/master/zhiwang_spider.py
3.整理时下流行的浏览器User-Agent大全