爬虫
随云Cat
这个作者很懒,什么都没留下…
展开
-
多线程爬取学习通题库
今天在网上发现了一个学习通题库网站,正好最近也在研究怎么搭建题库,于是就写了一个多线程爬虫,爬取网站所有的题目。原创 2020-07-03 17:05:58 · 4990 阅读 · 2 评论 -
Python爬虫爬取高清壁纸(多线程2)
各位小伙伴们,大家好呀,上一次利用python多线程爬取高清壁纸,这一次,将会用到队列,让线程之间的通信变得安全,喜欢高清壁纸的小伙伴们,赶快去试试吧!在这里附上运行的结果图import requestsimport threadingimport queuefrom lxml import etreeimport reimport osDOWN_PATH = 'G:\爬虫下载\娟娟壁纸'# 列表用来存放所有图片的urlq = queue.Queue()headers =原创 2020-06-28 21:44:00 · 311 阅读 · 0 评论 -
爬虫实战之图片爬取
前言各位小伙伴们,大家好呀,相信大家的第一次爬虫是爬取图片吧?确实,图片在爬虫里面的比较好拿取的数据,先从简单的开始,更有利于我们学习基本的知识好了,想必大家都等不及了吧,直接上代码首先导入库import requestsfrom lxml import etreeimport reimport os分析要抓取的内容,这里以某网站为例,先写完代码的整体框架import requestsfrom lxml import etreeimport reimport os# 解析函数原创 2020-06-24 08:07:52 · 302 阅读 · 0 评论 -
Python爬虫爬取高清壁纸(多线程1)
各位小伙伴们,大家好呀,今天教大家如何用python利用多线程爬取高清壁纸本人比较喜欢收集壁纸,发现娟娟壁纸动漫分类下的壁纸,我都很喜欢,于是写了个爬虫,后来发现整个网站的网页结构基本一致,于是加了点代码,把整个网页的高清壁纸都爬下来了import requestsimport threadingfrom lxml import etreeimport reimport osDOWN_PATH = 'G:\爬虫下载\娟娟壁纸'headers = { 'User-Agent':原创 2020-06-23 23:16:34 · 560 阅读 · 0 评论