Scrapy框架,配置，使用

最新推荐文章于 2023-03-11 19:55:37 发布
最新推荐文章于 2023-03-11 19:55:37 发布
阅读量139 收藏
点赞数 1
分类专栏： # python 爬虫 文章标签： python redis csv mongodb scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/k8vg___/article/details/110571511
版权

欢迎访问个人博客http://www.jkraise.top


cd xxx 项目中
scrapy genspider baidu baidu.com  爬虫名称 域名限定
scrapy crawl 爬虫名称


parse 函数进行提取数据
yield 惊醒数据返回 类型为dict


修改setting.py
67行代码


在pipelines.py
进行数据存储 



==============
==============
# scrapy 中间件

# 下载中间件
# Download
# 进行 userAgent, proxy, cookies, 伪装

# 自定义userAgent 中间件
class AnjukeUserAgent:
    USER_AGENTS_LIST = [
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
        "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
        "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
        "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
        "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
        "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
        "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
        "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5"
    ]

    def process_request(self, request, spider):
        cookies = {"cookie": "sessid=D2560B12-9D3F-AB2C-FF1A-D7DC09E683D0; aQQ_ajkguid=CD24F974-FABB-56B7-26CB-CFAD3C14865B; twe=2; id58=e87rkF+ku/zALRAfA0jAAg==; ajk_member_captcha=d6a18bfe82e526a4c446e141db9c68e6; wmda_new_uuid=1; wmda_uuid=6e1b12e0b1b556c783f271c994a35851; wmda_visited_projects=%3B6289197098934; 58tj_uuid=42ab4d02-9909-4572-8c15-3b1259148b5d; als=0; _ga=GA1.2.1995636023.1606725420; ctid=253; new_uv=4; xxzl_cid=7ee534fc2c6d4e87b26c9706cc38be3d; xzuid=f6b41c72-3567-4447-8031-dffa6379b329; obtain_by=2; wmda_session_id_6289197098934=1606811989818-04114484-64f9-fa1b"}

        UA = {
            'User-Agent': random.choice(AnjukeUserAgent.USER_AGENTS_LIST),
            'cookie': cookies['cookie'],

        }

        # 随机 选择userAgent
        request.headers['User-Agent'] = random.choice(AnjukeUserAgent.USER_AGENTS_LIST)
        request.headers['cookie'] = cookies['cookie']
        # request.headers=UA
        print('----下载中间件---request--')

        return None 



============
============
# pipeline 使用

# 自定义管道类

# 1. process_item(self,item,spider):
	# 管道类必有函数
	# 实现对item数据进行处理
	# 一般情况下 都会return item，如果没有return， 那么相当于将None 传递给权重低的process_item

# 2. open_spider(self,spider):
	# 在爬虫开启的时候 仅执行一次
	#  用于链接数据库，打开文件

# 3 close_spider(self,spider):
	# 在爬虫关闭的时候 仅执行一次
	#  用于关闭数据库，关闭文件

# pipeline注意点
1. 使用之前在setting.py 中开启
2. 多个管道的位置可以自定义，权重值越小越优先执行
3. pipeline中，process_item的方法必须有，否则return没法接收与处理
4. process_item 方法接受item和spider， 其中spider表示当前传递item 的spider
5. oper_spider(self, spider) 能够在爬虫开启的时候执行一次
6. close_spider(self, spider) 能够在爬虫关闭的时候执行一次
7. 上述两个方法，常用于爬虫和数据库的交互

========
========
使用redis 去重

	丢掉 数据，
	使用 raise Dropitem('此数据已在redis 中存储-------')

class Redis:
	def oper_spider(self, spider):
		self.redis_client = StrictRedis(host='localhost', port=6379, db=0)

	def close_spider:
		self.redis_client.close()

	# 对数据进行去重操作
	def process_item(self, item, spider)
		print('------Redis检查管道-------')
		# 转成json字符串
		hash_str = json.dums(item)
		# md5 加密
		md5 = hashlib.md5()
		md5.update(item.encode())
		havl = md5.hexdigest()

		# 判断redis 是否存在
		exist_flag = self.redis_client.get(havl)
		if exist_flag:
			raise DropItem('数据重复----丢弃')
		else:
			# 存入redis 
			self.redis_client.set(havl, item)
		return item


class Save_csv:
	def __init__(self, *args):
		# 拼接下载路径
		self.download_path = os.getcwd() + '/download/'
		if not os.path.exists(self.download_path):
			os.mkdir(self.download_path)

	def open_spider(self, spider):
		self.f = open(self.download + 'data.csv', 'a', encoding='utf-8')\

		# 判断文件是否存在
		if not os.exists(self.download + 'data.csv'):

			self.f.csv = csv.Dictwirter(self.f, ['表头'])
			self.f.csv.wirteheader()
			print("创建CSV文件成功-----")
		else:
			self.f.csv = csv.Dictwirter(self.f, ['表头'])
			print('打开csv文件成功')

	def close_spider(self, spider):
        # 关闭文件
        self.f.close()


    def process_item(self, item, spider):
        # 目的：存储数据到CSV中
        print ("---准备要保存数据到CSV----", item)
        item.pop('type')
        self.f_csv.writerows ([item])
        return item



'''存入mongodb'''
class SaveMongodb:
    def open_spider(self, spider):

        # 链接MongoDB数据库
        self.client = MongoClient("127.0.0.1", 27017)
        self.collection = self.client["test"]["t1"]

    def close_spider(self, spider):
        # 关闭Redis的链接
        self.client.close()

    def process_item(self, item, spider):
        self.collection.insert_many([item])
        print("-----存入mongodb成功----")
        return item

在这里插入图片描述

离开你，我才发现
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
孤寒者的博客
08-09 60万+
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
最帅爬虫_破解安居客base64加密
raojiaxing_的博客
05-25 948
目录一、实现逻辑二、代码 一、实现逻辑 网址： https://bj.zu.anjuke.com/ 二、代码 import re,io import time,base64 from fontTools.ttLib import TTFont import requests from lxml import etree def base64_decode(page_content): """ 对base64加密的页面内容进行解密 """ # 1、提取出字体文
爬取安居客指定市的所有小区信息
disuoshao7625的博客
09-24 2403
在爬取的过程中发现,访问频率太快会导致网站弹出滑动验证,所以设定了时间随机时间延迟,这样子就能保证爬取的信息完整,我选的是青岛市的小区,后续也可以添加输入市名爬取相关内容,二级页面的房子的平均价格是动态生成的,需要发送一个请求得到一个json,请求的url比较复杂,而且还要再发送一次请求,因此直接在一级页面取平均价格,然后传入解析二级页面的函数,这样可以提高效率.代码如下: """...
Python简单小爬虫
qq_43369592的博客
04-03 213
Python爬虫—古诗文网 爬取目标：古诗文网的名句及其出处 实现方法： requests库实现网络请求 xpath实现数据提取 目标分析： 获取页面规则 很明显，所有需要爬取的内容都在 div[@class=“sons”]下，因此只需要遍历该列表即可获得所需内容的位置，接下来进行xpath解析获得所需要的数据。 获取下一页url 分析可知，下一页的url在div[@class="pagesright "]/a[@class=“amore”]/@href 里面，值得注意的是，此处获取到的ur
python--爬虫--获取和解析存储网页内容--以薄荷网为例
热门推荐
直到世界的尽头
04-10 4万+
如需转载请注明出处:python–爬虫–获取和解析存储网页内容–以薄荷网为例 我们在之前的文章中已经学习了如何进行数据抓包和截取 以及分析 访问网页。 例如: 抓取app数据教程–fiddler抓包数据截取-薄荷app为例 本章主要 学习怎么获取 分析出来的链接地址的内容，进行解析和进行保存。 分析网页或者手机APP请求地址 通过观察fiddler中的请求可以发现我们需要抓取的地址。 详情可参考 ...
scrapy框架了解与使用
weixin_52596593的博客
12-07 809
Scrapy 是开源和协作的一个基于 Twisted 实现的异步处理爬虫框架使用纯 Python 语言编写，被誉为爬虫界的Django，Scrapy 框架应用广泛，常用于数据采集、网络监测，以及自动化测试等mac、linux系统 在Windows中可能会出现报错等情况这是因为依赖没有安装需要先安装相关依赖 创建Scrapy爬虫项目 在pycharm中运行 Scrapy架构工作流程 Scrapy 框架构成组件：Scrapy 工作流程示意图如下所示： 1.2增加爬虫的爬取效率 持
Python爬虫—scrapy框架配置及实用案例
京茶吉鹿的博客
07-04 1218
python爬虫——scrapy框架配置及实用案例，如何创建scrapy项目，爬取当当网图书信息，爬取电影天堂信息
scrapy框架爬虫文件配置
weixin_42218868的博客
11-08 182
1、去除注释user_agent 2、将ROBOTSTXT_OBEY = True改为ROBOTSTXT_OBEY=False;不遵守爬虫协议 3、去除实体管道ITEM_PIPELINE的注释
Scrapy框架虚拟环境配置和安装
GH_12138的博客
03-11 667
在虚拟环境中再次安装scrapy pip insatll scrapy。
Scrapy框架的使用之Scrapy通用爬虫
01-27
Scrapy是一个强大的Python爬虫框架，它允许开发者高效地构建和管理网络爬虫项目。在大规模站点抓取中，为了减少重复代码和提高代码复用性，我们可以利用Scrapy的通用爬虫特性。通用爬虫主要依赖于CrawlSpider类，这...
Python爬虫Scrapy框架使用
最新发布
07-30
Scrapy是一个强大的Python爬虫框架，它为网络爬虫的开发提供了许多便利的功能，包括高效的数据提取、中间件处理、请求调度以及数据存储等。在使用Scrapy时，我们需要遵循以下步骤来创建和运行一个爬虫项目。 首先，...
scrapy框架配置随机延时、UA、IP
12-21
Scrapy是一个广泛应用于数据抓取和处理的Python框架，它为开发者提供了许多便捷的功能，包括自动处理HTTP请求、解析HTML内容以及内置的延迟下载机制。本文将深入探讨如何配置Scrapy来实现随机延时、随机用户代理（UA...
如何在django中运行scrapy框架
09-17
在Django中运行Scrapy框架是一项实用的技术，它允许开发者结合两个强大的Python工具，以便在一个统一的环境中进行数据抓取和Web应用开发。下面将详细解释如何实现这一目标。 首先，你需要创建一个新的Django项目。...
Python 精灵类
k8vg___的博客
12-11 2306
小球精灵类 精灵: 在游戏开发中，在游戏中显示的图片，皆可称为精灵。通常，精灵表示游戏中所有运动的部分。 比如 :敌人，子弹，英雄，云彩等等 sprite类： 在pygame中，提供了一个精灵类Sprite，我们可以封装一个精灵继承自Sprite类，这样可以更方便的操作精灵。 # Sprite 精灵 class Ball(pygame.sprite.Sprite): def __ini...
Python 2D游戏开发
k8vg___的博客
12-11 1061
pygame 模块 1. 搭建窗口 import pygame def main(): # 创建 可以窗口, 参数1 , 是个元祖, 宽和高, 参数2 , 是附加参数, 参数3 是颜色深度 pygame.display.set_mode((400, 300),0, 32) while True: # 2 显示窗口 pygame.updat...
Opencv 高级进阶Python
k8vg___的博客
12-17 394
from functools import reduce def funcl(x, y): return x - y list01 = [1,2,3,4,5,6,7,8] # reduce 把列表中1,2元素 进行函数运算得到的结果再和第3个元素用函数运算 依次后推 result = reduce(func1, list01) from functools import reduce def func1(x): # 返回一个布尔值 return x % 2 =
Python3.7 异步，可用于爬虫，（小白必看）
k8vg___的博客
11-30 382
异步 注意 ：基于 Python3.7 以上 import asycio async def test1(): print("test1 执行") return "test1" print("返回值： ",asyncio.run(test1())) 解读，执行流程 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1Sa0Te3l-1606703627401)(en-resource://database/1501:1)] task 对象 async d
Scrapy 框架的使用
07-27
Scrapy是一个用于爬取网页数据的Python框架，它提供了强大的工具和功能，可以帮助开发者快速、高效地构建和管理爬虫。下面是使用Scrapy框架的基本步骤： 1. 安装Scrapy：可以使用pip命令来安装Scrapy，执行以下命令： ``` pip install scrapy ``` 2. 创建Scrapy项目：使用Scrapy提供的命令行工具创建一个新的Scrapy项目。在命令行中执行以下命令： ``` scrapy startproject project_name ``` 这将创建一个名为"project_name"的新项目。 3. 定义Item：在Scrapy中，Item用于定义要提取的数据结构。在项目目录下的`items.py`文件中定义你需要爬取的数据项。 4. 编写Spider：Spider是Scrapy中用于定义爬取规则的组件。在项目目录下的`spiders`文件夹中创建一个新的Spider文件，并编写爬取规则和数据处理逻辑。 5. 配置Pipeline：Pipeline用于处理从Spider中提取到的数据。可以在项目目录下的`settings.py`文件中配置Pipeline，并编写相应的数据处理逻辑。 6. 启动爬虫：使用Scrapy提供的命令行工具启动爬虫。在命令行中执行以下命令： ``` scrapy crawl spider_name ``` 这将启动名为"spider_name"的Spider。 以上是Scrapy框架的基本使用步骤，你可以根据具体需求对Spider、Item和Pipeline进行定制和扩展。希望对你有所帮助！如有其他问题，请继续提问。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值