![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫项目
漫步小羔羊
毕业于广西科技大学,一切源于自己的爱好,兴趣才是最好的老师
展开
-
我的第一个爬虫项目---关于知道的爬虫和心得
最近在浏览百度知道的时候,突然间想将百度知道的问题和答案爬取下来,以便分析知道上大家关注的重点是哪些。文章目录python版本运行环境前期准备工作3.1 抓包工具3.2 请求库3.3 解析库大致流程分析网站及主要代码运行结果GitHub地址后记一、python版本使用的是python 3.6二、运行环境MAC OS 10.13三、前期准备工作3.1 抓包...原创 2019-09-16 17:36:01 · 1763 阅读 · 0 评论 -
python中对多线程的理解
前言在上个项目中,初步采集了知道的问题、问题url以及问题id,可是在采集的过程中我发现,爬取速度太慢,几乎每几秒才能得到一条数据,为了提升效率,我在想,能不能通过某个方式提高数据抓取的效率,最后考虑使用python中的多线程来实现。多线程的介绍什么是线程,进程?多进程,多线程又是什么?如果将1台电脑比作1个工厂,里面的员工比作一个进程,那么当这个厂只有1名员工在只做1件事的时候,那就是...原创 2019-09-19 15:03:34 · 248 阅读 · 0 评论