![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
匍地飞鹰
这个作者很懒,什么都没留下…
展开
-
使用threading模块创建多线程爬取妹子图网站图集
Python多线程 多线程类似于同时执行多个不同程序,可以让程序的运行速度加快,在一些等待的任务实现上如用户输入、文件读写和网络收发数据等,可以释放一些珍贵的资源如内存占用等等。对于像妹子图这样的图片网站中大量图集的爬取,采用多线程能够大大提高图片的采集速度。 Python中使用线程有两种方式:函数或者用类来包装线程对象。本文使用Threading模块创建多线程...原创 2019-05-03 19:57:13 · 774 阅读 · 0 评论 -
通过对json数据解析爬取虎牙直播数据并存入csv文件
学习了Python语言程序设计和Python网络爬虫与信息提取,需要找些网站来练练手,于是在网上找了些别人爬取的网站,最终选择了虎牙直播平台进行爬取,并为后续数据分析存储数据。 首先打开虎牙直播平台,进入虎牙直播(网址:https://www.huya.com/l),通过点击下一页,我们发现虎牙直播平台网页网址并未发生变化,这是采用Ajax动态加载和翻页,详见[爬取Ajax动态加载和翻页时ur...原创 2019-04-28 20:51:35 · 2389 阅读 · 0 评论