爬虫框架——Feapder入门创建项目

最新推荐文章于 2024-08-07 20:34:57 发布
最新推荐文章于 2024-08-07 20:34:57 发布
阅读量1w 收藏 38
点赞数 10
分类专栏： 爬虫 python 文章标签： 爬虫 python 框架 分布式 feapder
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39551311/article/details/115200758
版权
爬虫 同时被 2 个专栏收录
51 篇文章 26 订阅
订阅专栏
python
44 篇文章 3 订阅
订阅专栏

框架Feapder介绍 

      feapder 是一款简单、快速、轻量级的爬虫框架。起名源于 fast、easy、air、pro、spider的缩写，以开发快速、抓取快速、使用简单、功能强大为宗旨，历时4年倾心打造。支持轻量爬虫、分布式爬虫、批次爬虫、爬虫集成，以及完善的爬虫报警机制。

框架流程图

boris-spider -1-

模块说明：

  • spider 框架调度核心
  • parser_control 模版控制器，负责调度parser 
  • collector 任务收集器，负责从任务队里中批量取任务到内存，以减少爬虫对任务队列数据库的访问频率及并发量
  • parser 数据解析器
  • start_request 初始任务下发函数
  • item_buffer 数据缓冲队列，批量将数据存储到数据库中
  • request_buffer 请求任务缓冲队列，批量将请求任务存储到任务队列中
  • request 数据下载器，封装了requests，用于从互联网上下载数据
  • response 请求响应，封装了response, 支持xpath、css、re等解析方式，自动处理中文乱码

流程说明：

  1. spider调度start_request生产任务
  2. start_request下发任务到request_buffer中
  3. spider调度request_buffer批量将任务存储到任务队列数据库中
  4. spider调度collector从任务队列中批量获取任务到内存队列
  5. spider调度parser_control从collector的内存队列中获取任务
  6. parser_control调度request请求数据
  7. request请求与下载数据
  8. request将下载后的数据给response，进一步封装
  9. 将封装好的response返回给parser_control（图示为多个parser_control，表示多线程）
  10. parser_control调度对应的parser，解析返回的response（图示多组parser表示不同的网站解析器）
  11. parser_control将parser解析到的数据item及新产生的request分发到item_buffer与request_buffer
  12. spider调度item_buffer与request_buffer将数据批量入库

Scrapy安装

pip3 install feapder

创建项目

feapder create -p Amazon-spider    

Amazon-spider 项目生成成功

我用的pycharm，先右键，将这个项目加入到工作区间。（右键项目名，Mark Directory as -> Sources Root）

创建爬虫

cd Amazon-spider/spiders 

feapder create -s list_spider

ListSpider 生成成功

代码 如下 ：

import feapder

class ListSpider(feapder.AirSpider):
    def start_requests(self):
        yield feapder.Request("https://www.baidu.com")

    def parse(self, request, response):
        print(response)


if __name__ == "__main__":
    ListSpider().start()

写爬虫

下发任务：

def start_requests(self):
    url = "https://www.amazon.com/s?k=power+strips"
    yield feapder.Request(url , render=True)

编写解析函数

   观察页面结构，写xapth解析

    def parse(self, request, response):
        # print(response.text)
        DivShopS = response.xpath('//*[@id="search"]/div[1]/div/div[1]/div/span[3]/div[2]/div')
        # DivShopS = response.xpath('//*[@id="search"]/div[1]/div[2]/div/span[3]/div[2]/div/div/span/div/div/div[2]/div[2]/div/div[1]/div/div/div[1]/h2/a/span')
        # DivShopS = response.xpath('//*[@id="search"]/div[1]/div/div[1]/div/span[3]/div[2]/div/div/span/div/div/div[2]/h2/a/span')
        print('DivShopS  -->>> ',len(DivShopS))
        for DivShop in DivShopS:
            ShopTitle = DivShop.xpath('./div/span/div/div/div[2]/div[2]/div/div[1]/div/div/div[1]/h2/a/span')
            ShopComNum = DivShop.xpath('./div/span/div/div/div[2]/div[2]/div/div[1]/div/div/div[2]/div/span[2]/a/span')
            print('ShopComNum  -->>> ', ShopComNum,ShopTitle)

数据入库

创建表  amazon_shop_list

CREATE TABLE `amazon_shop_list` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
	`ShopTitle` varchar(255) DEFAULT NULL,
  `ShopComNum` varchar(255) DEFAULT NULL,
	`ShopUrl` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

数据入库方式

数据入库有很多方式，

  • 直接导入pymysql然后拼接sql语句入库，
  • 使用框架自带的MysqlDB。
  • feapder有一种更方便的入库方式，自动入库

自动入库AirSpider是不支持的，因为他比较轻量嘛，作者为了保持轻量的特性，暂时没支持自动入库。

不过分布式爬虫Spider是支持的，我们直接将继承类改为Spider 即可

class ListSpider(feapder.AirSpider):

改为

class ListSpider(feapder.Spider):

  同时 设置 redis 配置 和 种子请求            

                                    

生成item 

item是与表一一对应的，与数据入库机制有关，可用feapder命令生成。

首先配置下数据库连接信息，在setting中配置的

   

生成item：

cd items 

feapder create -i amazon_shop_list

MainThread|2021-03-25 13:04:20,004|mysqldb.py|__init__|line:91|DEBUG| 连接到mysql数据库 122.51.82.213 : crawler
_project

amazon_shop_list_item.py 生成成功

      

数据入库

   以 yield item的方式将数据返回给框架，框架自动批量入库 

    def parse(self, request, response):
        # time.sleep(50)
        # print(response.text)
        DivShopS = response.xpath('//*[@id="search"]/div[1]/div/div[1]/div/span[3]/div[2]/div')
        DivShopS = response.xpath('//*[@id="search"]/div[1]/div[2]/div/span[3]/div[2]/div')

        # DivShopS = response.xpath('//*[@id="search"]/div[1]/div[2]/div/span[3]/div[2]/div/div/span/div/div/div[2]/div[2]/div/div[1]/div/div/div[1]/h2/a/span')
        # DivShopS = response.xpath('//*[@id="search"]/div[1]/div/div[1]/div/span[3]/div[2]/div/div/span/div/div/div[2]/h2/a/span')
        print('DivShopS  -->>> ',len(DivShopS))

        for DivShop in DivShopS:
            Shoplist_item = amazon_shop_list_item.AmazonShopListItem()
            ShopTitle = DivShop.xpath(' ./div/span/div/div/div[2]/div[2]/div/div[1]/div/div/div[1]/h2/a/span/text()').extract_first()
            ShopComNum = DivShop.xpath('./div/span/div/div/div[2]/div[2]/div/div[1]/div/div/div[2]/div/span[2]/a/span/text()').extract_first()

            # ShopTitle = DivShop.xpath('./div/span/div/div/div[2]/div[2]/div/div[1]/div/div/div[1]/h2/a/span/text').extract_first()
            # ShopComNum = DivShop.xpath('./div/span/div/div/div[2]/div[2]/div/div[1]/div/div/div[2]/div/span[2]/a/span/text').extract_first()
            print('ShopComNum  -->>> ', ShopComNum,ShopTitle)
            Shoplist_item.ShopComNum = ShopComNum
            Shoplist_item.ShopTitle = ShopTitle
            Shoplist_item.ShopUrl = response.url

            yield Shoplist_item  # 直接返回，框架实现批量入库

整体代码

import feapder
import time
from items import amazon_shop_list_item

class ListSpider(feapder.Spider):
    # 种子 请求
    def start_requests(self):
        url = "https://www.amazon.com/s?k=power+strips"
        headers = {
            'Connection': 'keep-alive',
            'Pragma': 'no-cache',
            'Cache-Control': 'no-cache',
            'rtt': '50',
            'downlink': '10',
            'ect': '4g',
            'Upgrade-Insecure-Requests': '1',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36',
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
            'Sec-Fetch-Site': 'same-origin',
            'Sec-Fetch-Mode': 'navigate',
            'Sec-Fetch-User': '?1',
            'Sec-Fetch-Dest': 'document',
            'Referer': 'https://www.amazon.cn/s?__mk_zh_CN=^%^E4^%^BA^%^9A^%^E9^%^A9^%^AC^%^E9^%^80^%^8A^%^E7^%^BD^%^91^%^E7^%^AB^%^99^&i=aps^&k=power^%^20strip^&ref=nb_sb_noss_1^&url=search-alias^%^3Daps',
            'Accept-Language': 'zh-CN,zh;q=0.9',
        }

        # yield feapder.Request(url,headers=headers)
        yield feapder.Request(url,headers=headers, render=True)

    def parse(self, request, response):
        # time.sleep(50)
        # print(response.text)
        DivShopS = response.xpath('//*[@id="search"]/div[1]/div/div[1]/div/span[3]/div[2]/div')
        DivShopS = response.xpath('//*[@id="search"]/div[1]/div[2]/div/span[3]/div[2]/div')

        # DivShopS = response.xpath('//*[@id="search"]/div[1]/div[2]/div/span[3]/div[2]/div/div/span/div/div/div[2]/div[2]/div/div[1]/div/div/div[1]/h2/a/span')
        # DivShopS = response.xpath('//*[@id="search"]/div[1]/div/div[1]/div/span[3]/div[2]/div/div/span/div/div/div[2]/h2/a/span')
        print('DivShopS  -->>> ',len(DivShopS))

        for DivShop in DivShopS:
            Shoplist_item = amazon_shop_list_item.AmazonShopListItem()
            ShopTitle = DivShop.xpath(' ./div/span/div/div/div[2]/div[2]/div/div[1]/div/div/div[1]/h2/a/span/text()').extract_first()
            ShopComNum = DivShop.xpath('./div/span/div/div/div[2]/div[2]/div/div[1]/div/div/div[2]/div/span[2]/a/span/text()').extract_first()

            # ShopTitle = DivShop.xpath('./div/span/div/div/div[2]/div[2]/div/div[1]/div/div/div[1]/h2/a/span/text').extract_first()
            # ShopComNum = DivShop.xpath('./div/span/div/div/div[2]/div[2]/div/div[1]/div/div/div[2]/div/span[2]/a/span/text').extract_first()
            print('ShopComNum  -->>> ', ShopComNum,ShopTitle)
            Shoplist_item.ShopComNum = ShopComNum
            Shoplist_item.ShopTitle = ShopTitle
            Shoplist_item.ShopUrl = response.url

            yield Shoplist_item  # 直接返回，框架实现批量入库


if __name__ == "__main__":
    spider = ListSpider(redis_key="amazon:shop_list")
    spider.start()

 

 

.含笑.
关注
专栏目录
简书爬虫--python
06-25
简书爬虫 功能： 1、爬取简书分类下的文章内容，作者，评论，喜欢等数据 2、对简书用户进行数据分析 环境：python3+mysql数据库 使用到的技术： GUI（wxpython）+ socket网络编程 + 文件读写 + 爬虫(beautifulsoup) + 数据库 + 数据分析绘图(matplotlib)
易车网实战+【保姆级】：Feapder爬虫框架入门教程
公众号：Python研究者
07-05 903
大家好，我是辰哥！今天辰哥带大家来看看一个爬虫框架：Feapder，看完本文之后，别再说你不会Feapder了。本文辰哥将带你了解什么是Feapder？、如何去创建一个Feapder入门项...
深入解析 Feapder 框架：大厂必用的爬虫解决方案
weixin_52392194的博客
08-07 1469
Feapder 是一个高效的 Python 爬虫框架，专为处理大规模数据抓取而设计。它提供了简单的 API 和强大的功能，支持任务调度、异步处理、分布式爬取等特性。与 Scrapy 等传统框架相比，Feapder 更注重大规模数据采集的效率和灵活性，适合需要处理亿级数据的企业级应用。Feapder 的核心包括爬虫管理、任务调度、数据存储和中间件处理。它的设计理念是高性能和高可扩展性，使得用户能够轻松应对复杂的爬虫任务和海量的数据处理需求。
python爬虫框架feapder的使用简介
weixin_42781055的博客
07-07 4599
Feapder 是一款上手简单、功能强大、快速、轻量级的爬虫框架的Python爬虫框架。支持轻量爬虫、分布式爬虫、批次爬虫、爬虫集成，以及完善的爬虫报警机制。
feadper框架理解
weixin_63958646的博客
01-22 1190
当你想要定义一个回调函数用于解析页面内容，另一个回调函数用于生成新请求时，可以通过在parse方法中实现这两个逻辑。以下是一个简单的示例：​​# 在这里处理解析页面的逻辑​# 解析页面内容，假设从中获取到新的链接​# 生成新请求​# 在这里处理解析详细页面的逻辑​在上述代码中，parse方法用于解析页面内容，并从中获取新的链接。然后，通过生成新的请求，并指定callback为。方法用于处理新请求的页面内容。通过这种方式，你可以将解析页面和生成新请求的逻辑分别放在两个不同的回调函数中。
爬虫框架：feapder，管理系统 feaplat
freeking101的博客
04-25 4309
由于 Scrapy 框架很复杂，它的学习成本也非常高，学习的道路上布满了很多坑，并且都很难找到解决办法。对于初学者来说，学习 Scrapy 框架需要极大的耐心和勇气 feapder 是一款上手简单，功能强大的Python爬虫框架，内置 AirSpider、Spider、TaskSpider、BatchSpider 四种爬虫解决不同场景的需求。
Python 爬虫-feapder 框架简介
shifengboy的博客
10-07 3993
feapder 框架 学习目标 掌握便捷式框架操作流程 掌握请求钩子结构使用 掌握框架项目搭建流程 掌握数据入库与去重 1 简介 国内文档：https://boris-code.gitee.io/feapder feapder 是一款上手简单，功能强大的Python爬虫框架，使用方式类似scrapy，方便由scrapy框架切换过来，框架内置3种爬虫： 1.1 支持的场景 ...
UiBot初级实践题.zip
06-24
从零编写某芯片网抢购案例 AirSpider与Spider使用 有货后，报警推送 自定义监控面板 http2请求 用户池使用 feaplat爬虫管理平台使用
爬虫项目-Java垂直爬虫框架
06-23
webmagic是一个开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发。webmagic的核心非常简单，但是覆盖爬虫的整个流程，也是很好的学习爬虫开发的材料。 本项目的主要特色： 完全...
使用feapder爬虫框架开发的爬虫示例
04-03
Feapder是一个基于Python的爬虫框架，专为快速、高效和便捷的网络数据抓取而设计。...通过理解和实践`feapder_project-code`中的示例，你将能更好地掌握Feapder框架，并能快速地构建自己的网络爬虫项目。
feapder多功能的python爬虫框架
06-12
简单易用，内置三种爬虫，可应对各种需求场景 AirSpider 轻量爬虫：学习成本低，可快速上手 Spider 分布式爬虫：支持断点续爬、爬虫报警、数据自动入库等功能 BatchSpider 批次爬虫：可周期性的采集数据，自动将...
国产爬虫库feapder使用心得
foxirensheng的博客
07-03 2160
爬虫框架feapder细要
feapder + mongoDB +js逆向(简单难度)采集实战案例
weixin_40700938的博客
08-04 1556
使用feapder + mogoDB + JS逆向(nodejs)，实战案例
爬虫框架- feapder + 爬虫管理系统 - feaplat 的学习简记
qq_61122628的博客
08-19 2414
跟着文档一步一步走，就没什么大问题的。文档写的很详细，可以直接上手。感觉还是很好用的 ~~
feapder爬虫框架使用
weixin_58584029的博客
04-02 2958
summary: 校验函数, 可用于校验response是否正确 若函数内抛出异常，则重试请求 若返回True 或 None，则进入解析函数 若返回False，则抛弃当前请求 可通过request.callback_name 区分不同的回调函数，编写不同的校验逻辑。这里可以设置代理，headers，cookies等，以字典的键值对形式传递，feapder封装的所有的请求都会走这里，传递加密密文可以从这里传递。spider为分布式爬虫，airspider为一般的轻量级爬虫，选择第一个轻量级的爬虫就可以了。
自学Python第二十九天-feapder框架创建爬虫
runsong911的博客
03-18 2239
自学Python第二十九天-feapder框架创建爬虫安装`feapder` 的设计架构`feapder` 框架的简单使用简单创建爬虫简单爬取数据简单的数据保存中间件校验浏览器渲染使用浏览器渲染获取接口数据 feapder是一款上手简单，功能强大的Python爬虫框架，内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。支持断点续爬、监控报警、浏览器渲染、海量数据去重等功能。更有功能强大的爬虫管理系统feaplat为其提供方便的部署及调度。 feap
feadper框架，mysql数据库的增删改查
之度的博客
10-04 603
MysqlDB具有断开自动重连特性，支持多线程下操作，内置连接池，最大连接数100。若环境变量中配置了数据库连接方式或者setting中已配置，则可不传参。MysqlDB封装了增删改查等方法，方便使用，但太复杂可以直接上sql。
scrapy爬虫框架——
最新发布
09-26
Scrapy是一个强大的Python爬虫框架，用于高效地抓取网站数据并提供结构化的存储方式。它设计简洁，模块化，允许开发者轻松构建复杂的网络数据提取系统。Scrapy主要包括以下几个关键组件： 1. **下载器** ...
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

.含笑.

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值