Python爬虫:初探多线程爬虫

最新推荐文章于 2024-07-10 18:18:26 发布
最新推荐文章于 2024-07-10 18:18:26 发布
阅读量1.3w 收藏 19
点赞数 3
分类专栏： 爬虫 文章标签： 多线程 线程 多进程 爬虫 动态页面
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013787595/article/details/49446291
版权

Python爬虫

上篇，我们已经创建了一个基本的爬虫，用来抓取动态网页的信息。经过测试，爬虫的速度太慢，我们需要改进。这篇我会介绍如何实现一个多线程的python爬虫来提高抓取网页的效率。

基础介绍

很多人都说因为python的GIL (GIL规定每个时刻只能有一个线程访问python虚拟机)限制，不应该用多线程，而应该用多进程。首先，这个观点是大错特错的！如果是一个IO密集型的任务，多线程肯定是work的。所谓IO密集型任务，例如：网络交互，文件的读写。这些不依赖CPU的操作我们是可以通过使用多线程来大大提高程序的效率。
Python一般通过threading库来实现多线程。threading库是对thread库进行包装后的产物。


线程实现

1. 我们可以通过继承threading当中的Thread类。
2. 然后再init里调用Thread的init方法(或者用sup
最低0.47元/天 解锁文章
AlienGMX
关注
专栏目录
Python多线程爬虫
11-07
Python多线程爬虫 功能描述 使用python编写一个网站爬虫程序，支持参数如下： spider.py -u url -d deep -f logfile -l loglevel(1-5) --testself -thread number --dbfile filepath --key=”HTML5” 参数说明： -u 指定爬虫开始地址 -d 指定爬虫深度 --thread 指定线程池大小，多线程爬取页面，可选参数，默认10 --dbfile 存放结果数据到指定的数据库（sqlite）文件中 --key 页面内的关键词，获取满足该关键词的网页，可选参数，默认为所有页面 -l 日志记录文件记录详细程度，数字越大记录越详细，可选参数，默认spider.log --testself 程序自测，可选参数 具体要求 指定网站爬取指定深度的页面，将包含指定关键词的页面内容存放到sqlite3数据库文件中 程序每隔10秒在屏幕上打印进度信息 支持线程池机制，并发爬取网页 代码需要详尽的注释，自己需要深刻理解该程序所涉及到的各类知识点 需要自己实现线程池 使用方法 #起始地址新浪，下载2级，使用10个线程，保存到sina.db python main.py -u http://www.sina.com.cn -d 1 --thread 10 --dbfile sina.db
多线程爬虫
bangyinyou3056的博客
12-16 1024
多线程爬虫 有些时候，比如下载图片，因为下载图片是一个耗时的操作。如果采用之前那种同步的方式下载。那效率肯会特别慢。这时候我们就可以考虑使用多线程的方式来下载图片。 多线程介绍： 多线程是为了同步完成多项任务，通过提高资源使用效率来提高系统的效率。线程是在同一时间需要完成多项任务的时候实现的。最简单的比喻多线程就像火车的每一节车厢，而进程则是火车。车厢离开火车是无法跑动的，同理火车...
python爬虫学习(三十三天)---多线程上篇
最新发布
喔的嘛呀的博客
07-10 1760
hello，小伙伴们！我是喔的嘛呀。今天我们来学习多线程方面的知识。
python3爬虫多线程_python3 多线程爬虫模板
weixin_39532628的博客
12-04 172
1 import threading #多线程模块2 import queue #队列模块3 importrequests4 from lxml importetree5 importtime6 importrandom7 importjson89 concurrent = 3 #采集线程数10 conparse = 3 #解析线程111213 class Parse(threading....
python爬虫——多线程爬虫
蜘蛛侠的博客
09-02 588
在进行爬虫工作的时候，考虑到爬虫运行的速度慢，那么怎样提升爬虫的速度呢，那么就得使用多线程爬虫了，接下来我以糗事百科段子的爬取进行对多线程爬虫的概述： https://github.com/Spider-Man123/Multi-threaded-spider/tree/master 一：不适用多线程爬取糗事百科 1.上代码： import urllib.request import re hea...
python爬虫-多线程
yinger_0131的博客
03-13 388
import urllib.request import threading import re import urllib.error headers=("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.22 Safari/537.36...
Python爬虫实战指南：初探网页抓取与解析
# 第一章：Python爬虫入门 ## 1.1 什么是网络爬虫 网络爬虫是一种自动化程序，用于在互联网上抓取信息。它可以按照预定的规则，自动地浏览网页、提取所需的信息，并将信息存储在本地或者传送到其他地方。 ## 1.2 ...
【Python爬虫初探】：7个秘诀助你快速入门
[【Python爬虫初探】：7个秘诀助你快速入门](https://img-blog.csdnimg.cn/direct/17013a887cfa48069d39d8c4f3e19194.png) # 1. Python爬虫的基本概念和应用 Python爬虫是利用Python编程语言编写的程序，主要功能是...
爬虫技术初探
03-13
在Python爬虫开发中，常用的库有requests、BeautifulSoup、Scrapy等，这些库提供了发送HTTP请求、解析HTML文档、生成爬虫逻辑框架等功能。 Nutch是一个开源的Java搜索引擎，它集成了爬虫（crawler）和搜索器...
Python爬虫进阶（五）——爬虫之多线程爬虫实战（爬取王者荣耀皮肤）
brilliant666的博客
08-21 782
这一章，咱们通过实战来运用多线程爬虫，就来爬取目前最火的王者荣耀游戏的皮肤。
python 多线程爬虫
04-06
爬取结果 user.txt 是爬取的博主用户名结果， source.txt 是视频地址集 原理 根据一个热门博主的 usename, 脚本自动会获取博主转过文章的其他博主的 username，并放入爬取队列中，递归爬取。 申明 这是一个正经的爬虫（严肃脸），爬取的资源跟你第一个填入的 username 有很大关系，另外由于某些原因，导致 tumblr 被墙，所以最简单的方式就是用国外 vps 去跑。
python爬虫之多线程、多进程爬虫
02-24
多线程对爬虫的效率提高是非凡的，当我们使用python的多线程有几点是需要我们知道的：1.Python的多线程并不如java的多线程，其差异在于当python解释器开始执行任务时，受制于GIL(全局解释所)，Python的线程被限制到同一时刻只允许一个程执行这样一个执行模型。2.Python的线程更适用于处理I/O和其他需要并发行的阻塞操作（比如等待I/O、等待从数据库获取数据等等），而不是需要多处理器行的计算密集型任务。幸运的是,爬虫大部分时间在网络交互上，所以可以使用多线程来编写爬虫。3.这点其实和多线程关系不大，scrapy的并发并不是采用多线程来实现，它是一个twisted应用，通过异
python多线程爬虫，
m0_55234643的博客
03-28 1201
#这个爬虫的作用就是你先在网页上面搜索一个东西，然后你把上面的网址给复制一下，然后他把这个网址里面所有的子链接标题和链接同时给你爬取出来，在整理我专门用了一个多线程，但是1又用了一个time模块，就是为了防止新手被封号了，至于这个怎么解除，我想不用多说了，目的就是为了避免小白就是好奇非要用，这个只是助你早日拜托小白，并且给你一个思路 from bs4 import BeautifulSoup import requests,time from urllib.request import urlope
Python 多线程爬虫
Strict Flora的博客
10-24 9865
实现多线程爬虫 为什么要爬虫使用多线程? 为了提高抓取数据效率 有些网站对访问速度有限制, 这样网站可以可以开启多个线程, 每一个线程使用一个代理,去提取页面的一部分内容 1.多线程的方法使用 在python3中，主线程主进程结束，子线程，子进程不会结束 为了能够让主线程回收子线程，可以把子线程设置为守护线程,即该线程不重要，主线程结束，子线程结束 t1 = threading.Thread(targe=func,args=(,)) t1.setDaemon(True) t1.start() #此时线
python多线程爬虫
sunny
03-16 192
blog_spider.py # ====================== # coding: utf-8 # Author：Mr. Luo # Date：2021/3/16 13:57 # ======================= import requests urls = [f"https://www.cnblogs.com/#p{page}" for page in range(1,30)] def craw(url): r = requests.get(url) #
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值