![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
文章平均质量分 92
大鱼BIGFISH
在进步中超越
展开
-
Scrapy框架爬取数据
因为对爬虫有着很大的好奇心,所以又找了一些资料继续开始了学习之旅。文章目录一、Scrapy框架简介二、爬取网络数据2.1爬取单个网页数据2.2爬取多个网页数据三、一些小方法四、小结一、Scrapy框架简介如果你有跑车,你还会步行吗?这是李刚老师书里的一句话。在这里Scrapy就是爬虫,而像Python内置的urllib和re模块则是步行,跑车和步行的确都可以到达目的地,但是我们大多数通常还是会选择跑车,毕竟速度快而且又方便。简单的来讲,Scrapy是一个专业的、高效的爬虫框架,当然像这样的框架也不在原创 2020-07-15 21:08:27 · 3226 阅读 · 2 评论 -
Python爬虫初识
因为对爬虫机制的好奇,所以就找了找资料,做一下这方面的笔记。文章目录一、爬虫简介二、爬取实例2.1爬取步骤2.2代码实现三、小结一、爬虫简介之所以叫网络爬虫(Web crawler)是因为它们可以沿着网络爬行。它们的本质就是一种递归方式。其位于许多新式的网络技术领域彼此交叉的中心地带,在这里的“爬行”也只是一种形象化的比喻而已,真正到了实际操作层面是指我们从一个网页跳转到另一个网页,以一种递归的方式来获取我们感兴趣的信息的方法。二、爬取实例2.1爬取步骤在真正爬取信息之前,我会先按照我的习惯原创 2020-07-03 13:01:44 · 236 阅读 · 0 评论 -
PyCharm 模块添加问题
文章目录一、问题二、解决方案一、问题今天在使用PyCharm添加Python模块的时候,出现了下面这样的错误:因为我也好长时间没有添加Python的模块了,所以也不清楚这是出现了什么问题,只能到网上去搜索了一下。二、解决方案在网上搜到的结果是说我的pip版本可能是10.0,而pip10.0中没有main(),所以需要降级或者修改软件中的packing_tool.py文件中的代码。但是我之前使用的时候是没有问题的,所以我有点搞不清楚是怎么回事了。不过我曾经修改过pip.exe文件,将它改为了pip原创 2020-05-28 09:10:45 · 903 阅读 · 0 评论