![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
孤姓叶
这个作者很懒,什么都没留下…
展开
-
爬取中国工程院院士的信息
编写多进程网络爬虫程序,爬取中国工程院网页(http://www.cae.cn/cae/html/main/col48/column_48_1.html)上每位院士的信息,将每位院士的建立存为本地文件,把每位院士的照片保存为本地图片,文本文件和图片文件都以院士的姓名为文件名。步骤1.使用浏览器打开网页:2.查看网页源代码3.编写爬虫:import requestsimport refrom multiprocessing import Processimport osdef run原创 2021-07-19 23:56:06 · 4378 阅读 · 3 评论 -
pycharm自己设置补全内容
pycharm自己设置补全内容学习网络爬虫时,发现我们写一个代码总是要到浏览器上复制User-Agent,或者到自己之前保存好的文件里复制,当然直接能把浏览器的User-agent一个字母不拉的写出来的牛人不在此列。所以我在pycharm上自定义了一个补全模板,可以帮我快速填写User-agent,如下图:1.首先打开pycharm的–》设置,然后选择–》编辑器>活动模板2.然后点右边的‘+’添加自定义代码内容3.然后编辑这个模板说明:缩写:User-Agent 这里填写的是原创 2021-04-24 14:52:54 · 3672 阅读 · 0 评论