python设置爬取速度_learnPython/Python爬虫日记九：豌豆荚设计奖三种爬取方法速度对比.py at master · rieuse/learnPython · GitHub...

最新推荐文章于 2021-07-29 13:53:05 发布
最新推荐文章于 2021-07-29 13:53:05 发布
阅读量138 收藏
点赞数
文章标签： python设置爬取速度
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_33272141/article/details/112932123
版权

__author__ = '布咯咯_rieuse'

import asyncio

import random

import time

import aiohttp

import pymongo

import requests

import multiprocessing

from bs4 import BeautifulSoup

# 共用部分

clients = pymongo.MongoClient('localhost')

db = clients["wandoujia"]

col = db["info"]

urls = ['http://www.wandoujia.com/award?page={}'.format(num) for num in range(1, 46)]

UA_LIST = [

"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",

"Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",

"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",

"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",

"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",

"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",

"Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",

"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",

"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",

"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)",

"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",

"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",

"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",

"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",

"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",

"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",

"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",

"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",

"Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",

"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",

"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",

"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",

"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",

"Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",

"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",

"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",

"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",

"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",

"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",

"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",

"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",

"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",

"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",

"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",

"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"

]

headers = {

'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',

'Accept-Encoding': 'gzip, deflate, sdch',

'Accept-Language': 'zh-CN,zh;q=0.8,en;q=0.6',

'Connection': 'keep-alive',

'Host': 'www.wandoujia.com',

'User-Agent': random.choice(UA_LIST)

}

proxies = {

'http': 'http://123.206.6.17:3128',

'https': 'http://123.206.6.17:3128'

}

# 方式一：使用常见的requests

def method_1():

start = time.time()

for url in urls:

html = requests.get(url, headers=headers, proxies=proxies).text

soup = BeautifulSoup(html, 'lxml')

title = soup.find_all(class_='title')

app_title = soup.find_all(class_='app-title')

item_cover = soup.find_all(class_='item-cover')

icon_cover = soup.select('div.list-wrap > ul > li > div.icon > img')

for title_i, app_title_i, item_cover_i, icon_cover_i in zip(title, app_title, item_cover, icon_cover):

content = {

'title': title_i.get_text(),

'app_title': app_title_i.get_text(),

'item_cover': item_cover_i['data-original'],

'icon_cover': icon_cover_i['data-original']

}

col.insert(content)

print('成功插入一组数据' + str(content))

print('一共用时：' + str(time.time() - start))

# if __name__ == '__main__':

# method_1()

# 方式二：使用Requests + Pool

def method_2(url):

html = requests.get(url, headers=headers, proxies=proxies).text

soup = BeautifulSoup(html, 'lxml')

title = soup.find_all(class_='title')

app_title = soup.find_all(class_='app-title')

item_cover = soup.find_all(class_='item-cover')

icon_cover = soup.select('div.list-wrap > ul > li > div.icon > img')

for title_i, app_title_i, item_cover_i, icon_cover_i in zip(title, app_title, item_cover, icon_cover):

content = {

'title': title_i.get_text(),

'app_title': app_title_i.get_text(),

'item_cover': item_cover_i['data-original'],

'icon_cover': icon_cover_i['data-original']

}

# time.sleep(1)

col.insert(content)

print('成功插入一组数据' + str(content))

# if __name__ == '__main__':

# start = time.time()

# pool = multiprocessing.Pool(4)

# pool.map(method_2, urls)

# pool.close()

# pool.join()

# print('一共用时：' + str(time.time() - start))

# 方式三：使用Asyncio + Aiohttp python3.4之后出的异步io模块

def method_3():

async def get_url(url):

async with aiohttp.ClientSession() as session: # async关键字将一个函数声明为协程函数，函数执行时返回一个协程对象。

async with session.get(url) as html:

response = await html.text(encoding="utf-8") # await关键字将暂停协程函数的执行，等待异步IO返回结果。

return response

async def parser(url):

html = await get_url(url)

soup = BeautifulSoup(html, 'lxml')

title = soup.find_all(class_='title')

app_title = soup.find_all(class_='app-title')

item_cover = soup.find_all(class_='item-cover')

icon_cover = soup.select('div.list-wrap > ul > li > div.icon > img')

for title_i, app_title_i, item_cover_i, icon_cover_i in zip(title, app_title, item_cover, icon_cover):

content = {

'title': title_i.get_text(),

'app_title': app_title_i.get_text(),

'item_cover': item_cover_i['data-original'],

'icon_cover': icon_cover_i['data-original']

}

col.insert(content)

print('成功插入一组数据' + str(content))

start = time.time()

loop = asyncio.get_event_loop()

tasks = [parser(url) for url in urls]

loop.run_until_complete(asyncio.gather(*tasks))

print(time.time() - start)

if __name__ == '__main__':

method_3()

周春花
关注
豌豆荚APP爬取爬虫
04-12
豌豆荚APP爬取爬虫，含有进度条等功能！
【Python实战】Scrapy豌豆荚应用市场爬虫
weixin_34390996的博客
06-24 187
对于给定的大量APP，如何爬取与之对应的（应用市场）分类、描述的信息？且看下面分解。 1. 页面分析 当我们在豌豆荚首页搜索框输入微信后，会跳转到搜索结果的页面，其url为http://www.wandoujia.com/search?key=%微信。搜索结果一般是按相关性排序的；所以，我们认为第一条搜索结果为所需要爬取的。紧接着，点进去后会跳转到页面http://www.wandoujia.co...
python应用市场app爬虫_【Python实战】Scrapy豌豆荚应用市场爬虫
weixin_31300407的博客
02-10 663
对于给定的大量APP，如何爬取与之对应的(应用市场)分类、描述的信息？且看下面分解。1. 页面分析当我们在豌豆荚首页搜索框输入微信后，会跳转到搜索结果的页面，其url为http://www.wandoujia.com/search?key=%微信。搜索结果一般是按相关性排序的；所以，我们认为第一条搜索结果为所需要爬取的。紧接着，点进去后会跳转到页面http://www.wandoujia.com/...
豌豆荚爬虫
weixin_44826979的博客
07-29 473
由于详情页数据无法破解、 模拟请求详情页数据会出现一个滑块，手动划也可以不能通过 结果 只能拿到列表页上面包含的信息 import requests.sessions from lxml import etree from openpyxl import workbook import time import json def get_category_url_list(url, session, headers, sheet): try: # 关闭多余连接 s
python爬虫：爬取豌豆荚APP第一页数据信息（爬虫三部曲）
weixin_30685029的博客
07-04 284
''' 爬取豌豆荚app数据 -请求url： page1： https: / /wwW . wandouj ia . com/wdjweb/api/ category/more? catId=6001&subCatId=0&page=2&ctoken=vbw9lj1sRQsRddx0hD-XqCN...
ScrapyStudy:学习Scrapy
05-31
3.：果壳网爬取热门回答，保存到mongodb数据库中和json本地文件。4.：抓取实习僧全部实习招聘信息，保存到mongodb数据库中和json本地文件。微信帐号：rieuse 欢迎添加微信一起交流学习~微信公众号：梅花鹿数据博客...
Decodex-crx插件
03-08
退货，退货，快速咨询，网站推特，整版Facebook，YouTube或YouTube上的sérieuse等。来源：http://www.youtube.com/watch?v=========================================================== LeDécodex法规要求的网站...
python爬虫啥意思-Python爬虫里面重定向到底是啥意思？
weixin_37988176的博客
10-29 189
一般情况下是报错301 302这样其实处理起来挺简单的middlewares.py中添加更换浏览器的类# 添加Header和IP类from scrapy.downloadermiddlewares.useragent import UserAgentMiddlewarefrom scrapy.utils.project import get_project_settingssettings = g...
python爬取app_python 爬取豌豆荚APP的爬虫 源码下载
weixin_39856265的博客
11-23 493
【实例简介】爬取豌豆荚APP，将APP信息存储到数据库，APP以md5值命名，【实例截图】【核心代码】#coding:utf-8import databaseimport crawlerimport downloadimport downjudgeimport check_updateimport contextsuccess_num=0fail_num=0def is_unique(md5,db...
使用Python和BeautifulSoup进行网页爬取
cumei1658的博客
07-11 2892
To source data for data science projects, you’ll often rely on SQL and NoSQL databases, APIs, or ready-made CSV data sets. 为了为数据科学项目提供数据，您通常将依赖于SQL和NoSQL数据库， API或现成的CSV数据集。 The problem is that you c...
Python-抓取豌豆荚排名前500的App并分析Apk包内容
08-12
抓取豌豆荚排名前500的App并分析Apk包内容
豌豆荚爬虫源码
05-13
爬取豌豆荚游戏排行榜游戏信息的爬虫程序源码，可以粘贴到神箭手云爬虫上直接跑。
python设置爬取速度_Python爬取网页速度为什么那么快？它是通过什么去爬取的？...
weixin_39655981的博客
01-14 368
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理本文来自腾讯云 作者：龙哥一、前言python爬虫事最方便最快捷的，今天给大家带来爬取网页，看看速度会有多快,爬取数据，基本都是通过网页的URL得到这个网页的源代码，根据源代码筛选出需要的信息二、使用环境和使用库IDE：PyCharm库：requests、lxml搭建环境这里的搭建环...
python重定向怎么理解_python重定向原理及实例
weixin_34266290的博客
02-21 552
1. 前言为了在Python编程中, 利用控制台信息, 我们需要对控制台输出进行接管(重定向)。在Python中，控制台输出的接口是sys.stdout，通过分析print与sys.stdout之间的关系，我们就可以实现控制台输出重定向了。2. sys.stdout 与 print当我们在 Python 中打印对象调用print(obj)的时候，事实上是调用了# 在print(obj)的过程中, ...
python重定向是什么意思_重定向 - Python.M - 博客园
weixin_39594191的博客
12-06 305
重定向标准输出设备重定向(执行命令时不在当前终端窗口显示，在另外的终端窗口显示)1、在另外终端窗口输入tty /dev/pts/x2、ls > /dev/pts/x把显示结果导入文件ls >/data/ls.out (重定向之前data文件夹里面是没有ls.out这个文件的 重定向之后自动生成 如果存在 将会覆盖)ls>>/data/ls.out (>>表示追加...
python重定向是什么意思_关于在python中处理重定向
weixin_35784267的博客
01-30 485
我是python新手，正在尝试学习一些新模块。不管是幸运还是不幸，我选择了urllib2模块，并开始使用它来处理一个给我带来问题的URL。在首先，我创建了Request对象，然后对response对象调用Read()。它失败了。结果它被重定向了，但错误代码仍然是200。不知道发生了什么事。这是密码--def get_url_data(url):print "Getting URL " + urlu...
[289]python爬虫的重定向问题
周小董
07-09 6845
重定向问题 在使用python爬虫的过程中难免会遇到很多301，302的问题。他们出现时，很大程度的影响到我们的爬虫速度和信息的准确性。下面针对不同的模块给出不同的解决方案。 使用requests模块爬虫 使用requests模块遇到301和302问题时， 如果是用requests，那就在参数里面关闭重定向。 >>> r = requests.get('http...
Python爬虫之爬取——限制下载速度
CodeTutor
08-14 6687
为了避免造成服务器过载，可以在两次下载之间添加时延，从而降低爬虫下载速度。
analyse Le mariage tragique d'Edmée, qui est l'opposé de Léa, avec Chéridans le roman Chéri de Colette
最新发布
04-03
Chéridan est attiré par la beauté et la pureté d'Edmée, mais il n'est pas capable de s'engager dans une relation sérieuse. Le mariage entre Edmée et Chéridan est donc un mariage de ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值