数据爬虫
文章平均质量分 76
主要以python技术为主。
Shinersmile
这个作者很懒,什么都没留下…
展开
-
Python 自动操作浏览器
Python使用selenium库爬虫时,提取数据原创 2022-12-28 18:39:57 · 731 阅读 · 0 评论 -
Pytho爬虫 获取数据以及存储数据
Python 获取数据原创 2022-12-23 17:29:15 · 789 阅读 · 0 评论 -
Python 多协程爬虫
当需要用多协程来爬取数据,创建大量任务时,可以借助gevent库中的queue模块。queue,就是队列的意思,可以用queue模块来存储任务,让任务变成一条有序的队列,这样协程就可以从队列中把任务提取出来执行,直到队列空了,任务也就处理完了。monkey,也叫猴子补丁,它能给程序打上补丁,让程序变成异步模式,而不是同步模式。gevent只能处理gevent的任务对象,不能直接调用普通函数,所以需要借助。1.4 创建任务以及执行任务。2.4 执行多协程任务。1.3 定义爬虫函数。2.3 定义爬虫函数。原创 2023-01-09 08:00:00 · 600 阅读 · 0 评论 -
Python 爬虫框架Scrapy
在scrapy中,会专门定义一个用于记录数据的类,实例化一个对象,利用这个对象来记录数据。每一次,当数据完成记录,它会离开spiders,来到Scrapy Engine(引擎),引擎将它送入Item Pipeline(数据管道)处理。定义这个类的py文件,是items.py。原创 2023-01-09 18:20:36 · 3589 阅读 · 0 评论 -
Python 定时发送爬取数据的邮件
首先,第一步,爬取想要的数据,第二步,发送邮件,第三步,定时。将每个步骤都封装成独立的方法,便于下个模块,来调用,将三个模块的代码组合在一起原创 2022-12-30 15:44:22 · 687 阅读 · 0 评论