Python爬虫快跑系列(二)async 爬取饿了么商家信息和对应的评论,并且利用snownpl进行评论情感分析

7 篇文章 0 订阅
1 篇文章 0 订阅

1.背景:

最近在学协程异步python异步,想借此机会练习一下,而且网上用协程爬虫的文章好像不也不多,所以借此机会实验一番。

2.站点分析:

爬取的是eleme的h5页面,难度比较小,电脑端的需要登陆,而且是手机号码接收验证码的登陆,不想要用cookie登陆,所以找个办法,借助h5页面去爬取。

3.需求:

需求如下图,字段很多,原谅我爬虫就喜欢爬尽所有字段,其实做爬虫分析目标的字段也是蛮有趣的,也挺累的。。。
在这里插入图片描述
爬取评论是因为想学习分词
在这里插入图片描述

4.github:

源码:Async_eleme,做的不好,仅供参考,如果对您有帮助,star一下,谢谢啦~

5.数据分析:

用snownpl对广州天河地区的小龙虾外卖进行用户的情感分析,越是接近0,就越趋向于负情绪,也可以理解为差评,接近1反之。分析结果如图:
在这里插入图片描述
可以看到,接近0的数目明显多于接近1的数目,可以大致推测出,该地区的小龙虾外卖评价不是很好。
分析的源码

6.更新:

最近写了一个梨视频app爬虫,源码:Async_pearvideo

  • 0
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
以下是一个基于Python 3的多协程以及队列爬取时光网电视剧top100的示例代码: ```python import requests from bs4 import BeautifulSoup import asyncio import aiohttp import time from queue import Queue async def fetch(session, url): async with session.get(url) as response: return await response.text() async def parse(html): soup = BeautifulSoup(html, 'html.parser') for item in soup.select('div[class="mov_con"] ul li'): rank = item.find('span', class_='top_num').text name = item.find('span', class_='mov_title').text score = item.find('span', class_='total_score').text print(rank, name, score) async def worker(session, queue): while not queue.empty(): url = queue.get() html = await fetch(session, url) await parse(html) async def main(): urls = [f'http://www.mtime.com/top/tv/top100/index-{i+1}.html' for i in range(10)] queue = Queue() for url in urls: queue.put(url) async with aiohttp.ClientSession() as session: tasks = [asyncio.create_task(worker(session, queue)) for _ in range(10)] await asyncio.gather(*tasks) if __name__ == '__main__': start_time = time.time() asyncio.run(main()) end_time = time.time() print(f'Time used: {end_time - start_time} seconds') ``` 这段代码使用了Pythonasyncio库和aiohttp库来实现多协程异步爬取网页,使用了Python的queue模块来实现任务队列。首先,我们定义了`fetch`函数来异步获取网页内容,其返回值为响应的文本内容。然后,我们定义了`parse`函数来解析网页内容,提取出电视剧的排名、名称和评分,并输出到控制台。接着,我们定义了`worker`函数来作为协程的工作函数,从任务队列中取出一个URL并异步地解析该URL对应的网页。最后,我们定义了`main`函数来创建任务队列,创建异步协程,以及启动异步任务。在`main`函数中,我们先创建了10个URL,然后将这些URL放入任务队列中。接着,我们使用`async with`语句创建一个异步会话,并使用`create_task`函数创建10个异步协程,每个协程都调用`worker`函数,从任务队列中取出一个URL,并异步地解析对应的网页。最后,我们使用`asyncio.gather`函数等待所有的异步协程执行完毕。在程序执行结束后,我们还输出了程序的执行时间。 需要注意的是,由于时光网在一定时间内会对IP进行限制,如果爬虫速度过可能会被封禁IP,因此我们在程序中设置了一个1秒钟的延时,以避免被封禁。如果您需要更高的爬取速度,请自行调整代码。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值