scrapy-spiders 爬虫 request

最新推荐文章于 2024-04-27 20:01:54 发布
最新推荐文章于 2024-04-27 20:01:54 发布
阅读量234 收藏
点赞数
文章标签： scrapy 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43896398/article/details/120767419
版权

一、scrapy

环境配置：直接conda 一个环境，然后

conda create -n pachong python=3.7

安装包

pip install scrapy

激活环境

conda activate pachong

使用scrapy创建一个项目

scrapy startproject 项目名

如（项目名）pachong
在这里插入图片描述
然后进入目录会有以下文件：
在这里插入图片描述

Scrapy完成爬虫需要涉及的文件和步骤

  • 新建项目 (scrapy startproject xxx)：新建一个新的爬虫项

  • 明确目标（编写items.py）：明确你想要抓取的目标

  • 制作爬虫（spiders/xxspider.py）：制作爬虫开始爬取网页

  • 中间件（middlewares.py）：处理请求（比如加头，代理ip等）

  • 存储内容（pipelines.py）：设计管道存储爬取内容

  • 全局的设置（setting.py）：对自定义的方法进行调用

二、使用步骤

1.item.py

爬取的网站：https://www.kuaidaili.com/free/inha/
获取其免费的ip

在这里插入图片描述
从中我们需要一个是ip和port。所以在items.py文件下编写

import scrapy
class GetIpItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    ip=scrapy.Field()
    port=scrapy.Field()

已经知道要获取什么数据，现在是如何通过网页进行获取

2.制作爬虫

进入spiders 文件夹里，新建一个get_ip.py文件，进行编写，爬取数据。
网页右击检查（chrome）
在这里插入图片描述
如图，获取当前页所有ip。在指定源码位置右击copy 选在 copy xpath，则获得：
//*[@id=“list”]/table/tbody。这样就获取了全部的ip信息。然后 .//tr . 进入当前目录下的所有tr文件，这样就返回一个list集合

代码如下（示例）：

import os
import scrapy
import requests
import random
import time
from lxml import etree
from get_ip.items import GetIpItem
class get_ip(scrapy.Spider):
    name='get_ip' # 用来启动爬虫的命名，同一个目录下，是唯一的
    def start_requests(self):  # 启动之后第一步是调用这里
        url='https://www.kuaidaili.com/free/inha/1/'
        yield scrapy.Request(url=url,callback=self.parse)       # 返回响应给parse进行处理

    def parse(self, response,**kwargs):  # 处理响应，获取想要的资源
        ip_list=response.xpath('//*[@id="list"]/table/tbody').xpath('.//tr')
        item=GetIpItem()
        for link in ip_list:		#text() 获取文本，如果是当前标签下其他方法，可以用（如@href)
            item['ip']=link.xpath('.//td[1]/text()').extract()  # 使用extract（）  就成了一个字符串了
            item['host']=link.xpath('.//td[2]/text()').extract()
            yield item      # 这里是使用 yield 到 pipline 类中进行处理，下载保存之类

        # new_links = response.xpath('//a[text()="下一页"]/@href').extract()
        # if new_links and len(new_links) > 0:
        #         # 获取下一页的链接
        #         new_link = new_links[0]
        #         # 再次发送请求获取下一页数据
        #         yield scrapy.Request("https://www.ygdy8.net/html/gndy/china/" + new_link, callback=self.parse)

        for link in new_links:
            new_link=link.xpath('.//a/@href').extract()            # 获取下一页的链接   返回的是list的字符串  如['/free/inha/1/']
            print(new_link)
            time.sleep(4)											# 不能直接一直发送请求，会报错
            if new_link:                                            # 链接不为空则开始下一页
                # 再次发送请求获取下一页数据
                yield scrapy.Request("https://www.kuaidaili.com" + new_link[0], callback=self.parse)

3.中间件

# 设置ip池
import random
from example.settings import IPPOOL
class MyproxiesSpiderMiddleware(object):
    def __init__(self, ip=''):
        self.ip = ip
    def process_request(self, request, spider):
        thisip = random.choice(IPPOOL)
        print("this is ip:" + "https://" + thisip["ipaddr"])
        request.meta["proxy"] = "http://" + thisip["ipaddr"]

4.存储内容

步骤2获得的数据会在pipline进行处理，保存。

from itemadapter import ItemAdapter
import pandas as pd

class GetIpPipeline:
    def __init__(self):
        self.save_csv=pd.DataFrame(columns=['ip','host'])

    def close_spider(self, spider):#重写close_spider回调方法
        self.save_csv.to_csv("movie.csv")

    def process_item(self, item, spider):
        # self.save_text.write(item['ip']+','+item['host'])
        print(item['ip'][0],item['host'][0])
        self.save_csv=self.save_csv.append({'ip':item['ip'][0],'host':item['host'][0]},ignore_index=True)

5.setting的配置

# Obey robots.txt rules  是否遵循机器爬虫，一般fasle，否则会造成有些网站不能爬取
ROBOTSTXT_OBEY = False
COOKIES_ENABLED = False         #禁用cookies，防止某些网站根据Cookie来封锁爬虫。
IPPOOL=[  # ip池
    {"ipaddr": "120.133.60.92:80"},
    {"ipaddr": "183.47.237.251:80"},
]
ITEM_PIPELINES = {
   'get_ip.pipelines.GetIpPipeline': 300,
}

三、request爬虫方式

爬取网站：https://subscene.com/
也是一个电影字幕的网址

1.导包

import requests
from lxml import etree		# 解析 requests 返回的html 页面
import time

2.请求

搜索栏输入我和我的祖国，点击搜索，
在这里插入图片描述
可以从中看出是一个post的请求，定义header信息

no_subscene=[]
movies_is_exist=[]
language_list=[]
header = {
        "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
        "accept-encoding": "gzip, deflate, br",
        "accept-language": "zh-CN,zh;q=0.9,en;q=0.8",
        "cache-control": "max-age=0",
#         "content-length": "27",
        "content-type": "application/x-www-form-urlencoded",
        "cookie": "_ga=GA1.2.505677917.1634012451; _gid=GA1.2.715886252.1634012451; __cf_bm=Ab8DXP.UZzQf_vsmlftfQQTNhh1IP1RaEEskGCRa9N8-1634117297-0-AQ3K+taJ0uYRxVqeSMtDly6BhQU9ZsHltvE+D9NuCW2eUUI5Acl534W5gxjrlnAUvzwFm2+BkE7DTuwMVpsFud196eGKyaJxhOD1fQSydDPfTsZTSjIu0P4zmZA6b/WcSQ==; _gat=1",
        "origin": "https://subscene.com",
        "referer": "https://subscene.com/subtitles/searchbytitle",
        "sec-ch-ua": '"Chromium";v="94", "Google Chrome";v="94", ";Not A Brand";v="99"',
        "sec-ch-ua-mobile": "?0",
        "sec-ch-ua-platform": '"Windows"',
        "sec-fetch-dest": "document",
        "sec-fetch-mode": "navigate",
        "sec-fetch-site": "same-origin",
        "sec-fetch-user": "?1",
        "upgrade-insecure-requests": "1",
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36"}

在这里插入图片描述
这是是发送post请求，附加的数据

#下面的电影名存储的txt文件
for line in open('C:\\Users\\***\\Desktop\\pachong\\example(1)\\example\\example\\no_exist.txt', 'r',
                 encoding='utf-8'):
    line=line.replace('\n','')			# 
# 这里写循环的原因在于，post请求不像get请求那样，返回快，如果一时间访问过多，会报409
    while 1:
        content=requests.post(url="https://subscene.com/subtitles/searchbytitle",data={'query':f'{line}'},headers=header)			# 发送post请求  data 中的字典就是上图的Frome data
        if content.status_code==409:
            time.sleep(3)
            continue
        else:
            break

当请求发送成功之后，会返回一个200 和一个html页面源码，这时候就要使用etree进行解析页面

    etree_html = etree.HTML(content.content)		#将html的内容进行传入etree 进行解析
    text = etree_html.xpath('//*[@id="left"]/div/div/h2/text()')	
    if text[0]=='No results found':
        no_subscene.append(line)
    else:
        movies_item=etree_html.xpath('//*[@id="left"]/div/div/ul')[0].xpath('.//li')	# 获取全部li的html	这里返回的就是list ，和scrapy 有一定区别
        
        for link in movies_item:
            movies_name=link.xpath('.//div/a/text()')		# 对每个li中进行获取电影名  返回的是list
#             print(movies_name)
            if line in movies_name[0]:						# 网站会返回多个电影数据 这时候就要进行判断是否有匹配的电影
                try:
                    new_link=link.xpath('.//div/a/@href')	#如果匹配，则获取其链接
                 	content=requests.get(url="https://subscene.com"+new_link[0],headers=header) #跳转到当前电影字幕的网页
                    etree_html = etree.HTML(content.content) 
                    text = etree_html.xpath('//*[@id="content"]/div[2]/div[4]/table/tbody')[0].xpath('.//tr') #获取当前电影的全部字幕
                    for language in text:
                        text=language.xpath('.//@id')		  # 获取语言 即English等
                        try:
                            language_list.append(text[0])
                            if 'chinese' in text[0]:			 # 只要获取有中文字幕的电影
                                movies_is_exist.append(line)
                                break
                            else:
                                print(text[0])
                        except:
                            continue
                    no_subscene.append(line)
                except:
                    print(movies_name)
Greeksilverfir
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Scrapy-redis爬虫分布式爬取的分析和实现
12-25
Scrapy Scrapy是一个比较好用的Python爬虫框架，你只需要编写几个组件就可以实现网页数据的爬取。...scrapy-redi重写了scrapy一些比较关键的代码，将scrapy变成一个可以在多个主机上同时运行的分布式爬虫。
Python基于Scrapy-Redis分布式爬虫设计
11-04
程序采用 python 开发的 Scrapy 框架来开发，使用 Xpath 技术对下载的网页进行提取解析，运用 Redis 数据库做分布式， 设计并实现了针对当当图书网的分布式爬虫程序，scrapy-redis是一个基于redis的scrapy组件，...
Python爬虫5.3 — scrapy框架spider[Request和Response]模块的使用
让编程改变世界
12-30 1828
Python爬虫5.3 — scrapy框架spider[Request和Response]模块的使用综述Request对象scrapy.Request()函数讲解：Response对象发送POST请求模拟登陆模拟登陆人人网其他博文链接 综述 本系列文档用于对Python爬虫技术的学习进行简单的教程讲解，巩固自己技术知识的同时，万一一不小心又正好对你有用那就更好了。 Python 版本是3.7.4...
scrapy 之 Spider类
tangcongjava的专栏
07-11 730
Scrapy 框架 之scrapy
Scrapy详解之Request
jing_zzy的博客
11-19 777
介绍 Request类是一个http请求的类，对于爬虫而言是一个很重要的类。通常在Spider中创建这样的一个请求，在Downloader中执行这样的一个请求。同时也有一个子类FormRequest继承于它，用于post请求。 在Spider中通常用法： yield scrapy.Request(url = 'zarten.com') 类属性和方法有： url method headers body meta copy() replace([url,method,headers,b...
Scrapy spider 主要方法
喵叔
12-23 1575
Spider 类是 Scrapy 中的主要核心类，它定义了爬取网站的规则。 Spider 是循环爬取，它的而爬取步骤是： start_requests 方法用 start_urls 中的 URL 初始化 Request ，然后将请求返回结果 Response 作为参数传递给 parse 方法； parse 是回调函数，它分析传递过来的 Response 的内容，从中提取出 Item 对象、 di...
20.网络爬虫—Scrapy-Redis分布式爬虫
weixin_50804299的博客
04-27 6323
下载地址：🧾 🧾Redis 支持 32 位和 64 位。这个需要根据你系统平台的实际情况选择，这里我们下载 Redis-x64-xxx.zip压缩包到 D 盘，解压后，将文件夹重新命名为 redis。 打开一个 cmd 窗口 使用 cd 命令切换目录到 C:\redis 运行：🧾 🧾如果想方便的话，可以把 redis 的路径加到系统的环境变量里，这样就省得再输路径了，后面的那个 redis.windows.conf 可以省略，如果省略，会启用默认的。输入之后，会显示如下界面： 分布式：一个业务
scrapy-redis分布式爬虫实现案例
05-31
只需将该项目放到不同的机器，简单配置一下redis /mysql 就可以运行，实现分布式抓取数据，需配置相同的环境scrapy/scrapy-redis/itemadapter/redis/mysql
python-scrapy-spiders:一些我自己建立的，使用和完善后的scrapy爬虫项目
04-05
python-scrapy-spiders 描述 发行版本的刮y蜘蛛 目录 爬虫详细介绍 中国行政区划代码爬虫 技巧等级： :spade_suit: :spade_suit: 功能介绍 进攻的鲁棒性，支持断点重续爬取 不同模式，FIFO（深度爬取）和LIFO（广度...
python爬虫插件XPath的安装
weixin_52890053的博客
04-25 298
小白也能懂的python插件XPath安装，简洁明了
2024最新版JavaScript逆向爬虫教程-------基础篇之深入JavaScript运行原理以及内存管理
Amo Xiang的博客
04-24 782
深入学习JavaScript运行原理以及JS内存管理，为后续函数，闭包，作用域的学习打下坚实基础。函数，闭包，作用域，this指向等问题在后续JS逆向的学习中非常重要，如果想要学好这些知识点，就必须先了解JavaScript的运行原理。
Python爬虫-BeautifulSoup解析
weixin_53333436的博客
04-27 677
是一个用于解析 HTML 和 XML 文档的 Python 库。它提供了一种灵活且方便的方式来导航、搜索和修改树结构或标记文档。这个库非常适合网页抓取和数据提取任务，因为它允许你以非常直观的方式查询和操作文档内容。
Python网络爬虫之数美滑块的加密及轨迹分析
这家伙很懒，什么都没有留下
04-23 1329
数美滑块验证是一种基于行为生物识别技术的验证码，它通过分析用户的拖动轨迹、速度、加速度等参数来判断操作的真实性。与传统的字符验证码相比，数美滑块验证具有更高的安全性和用户体验。它采用了多种加密手段，使得传统的爬虫技术难以突破。在数美滑块验证中，关键参数如滑块ID、背景图片URL、验证接口等通常经过混淆和加密处理。这些参数在前端JS代码中动态生成，使得直接分析静态页面难以获取有效信息。此外，数美滑块验证还采用了JS代码动态执行的方式，即在运行时根据特定条件生成或修改代码，进一步增强了安全性。
Python 爬虫如何配置代理 IP （Py 采集）
打字爱好者。
04-19 526
Python中配置代理IP，可以通过设置requests库的proxies参数来实现。以下是一个示例：
Golang爬虫代理接入的技术与实践
Z_suger7的博客
04-26 529
在介绍Golang爬虫代理接入之前，我们先来简要了解一下Golang爬虫的基本步骤。制定爬虫目标：明确需要爬取的网站或数据来源。制定一个爬虫接口：设计爬虫的请求接口，包括URL、请求头等信息。发出HTTP请求，获取数据：使用Golang标准库中的net/http包发送HTTP请求，获取目标网站的数据。屏蔽无效请求：处理HTTP请求返回的状态码，过滤掉无效的请求，提高爬取效率。解析数据内容：使用HTML解析库（例如goquery）解析网页内容，提取需要的数据。
爬虫-解析数据
fasdaegaw的博客
04-23 903
html=BeautifulSoup(res,'lxml') #初始化。html=etree.HTML(res) #初始化。#self.用xpath解析数据(res)xpath=f.用xpath解析数据(res)初始化后的源代码.find_all(self.用bs解析数据(res)res=self.爬取源代码()bs=f.用bs解析数据(res)res=f.爬取源代码()
python爬虫 - 爬取 json 格式数据（股票行情信息：雪球网，自选股）
BullKing8185的博客
04-24 883
python爬虫五部曲： 第一步：安装requests库 第二步：获取爬虫所需的header和cookie 第三步：获取网页 第四步：解析网页 第五步：分析得到的Json数据
Python爬虫入门
ma_no_lo的博客
04-27 372
网络爬虫的一些前置知识
网络新闻的力量：如何用网络爬虫挖掘数据宝藏
最新发布
WEGST的博客
04-27 632
毕业设计项目——基于网络爬虫技术的网络新闻分析系统，利用技术自动采集和分析网络新闻数据，以及如何通过中文分词和相似度算法揭示新闻背后的趋势和模式
python scrapy-redis爬取豆瓣电影top250
05-26
好的，下面是简单的步骤： 1. 安装 scrapy 和 scrapy-redis ```python pip install scrapy scrapy-redis ``` 2. 创建一个 Scrapy 项目 ```python scrapy startproject douban_top250 ``` 3. 在 settings.py 中加入 scrapy-redis 的相关设置 ```python # 使用 scrapy-redis 的调度器 SCHEDULER = "scrapy_redis.scheduler.Scheduler" # 使用 scrapy-redis 的去重过滤器 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" # 允许暂停、恢复爬虫 SCHEDULER_PERSIST = True # 设置 redis 为 item pipeline ITEM_PIPELINES = { 'scrapy_redis.pipelines.RedisPipeline': 300 } # 设置 redis 服务器地址和端口号 REDIS_HOST = 'localhost' REDIS_PORT = 6379 ``` 4. 编写 spider ```python # coding:utf-8 import scrapy from scrapy import Request from scrapy_redis.spiders import RedisSpider class DoubanTop250Spider(RedisSpider): """爬取豆瓣电影 Top 250""" name = 'douban_top250' allowed_domains = ['movie.douban.com'] # 在 Redis 中设置起始爬取的 URL redis_key = 'douban:start_urls' def parse(self, response): # 获取电影列表 movie_list = response.css('.grid_view li') for movie in movie_list: # 获取电影名字和详情页 URL title = movie.css('.title::text').extract_first() detail_url = movie.css('.hd a::attr(href)').extract_first() yield Request(detail_url, callback=self.parse_detail, meta={'title': title}) # 获取下一页的链接 next_url = response.css('.next a::attr(href)').extract_first() if next_url: yield Request(next_url, callback=self.parse) def parse_detail(self, response): # 获取电影详情 title = response.meta['title'] score = response.css('.rating_num::text').extract_first() yield {'title': title, 'score': score} ``` 5. 运行 scrapy-redis 爬虫 首先要在终端中启动 redis 服务： ```python redis-server ``` 然后在一个终端中运行 scrapy-redis 爬虫： ```python scrapy runspider douban_top250.py ``` 在另一个终端中向 Redis 中添加起始 URL： ```python redis-cli lpush douban:start_urls https://movie.douban.com/top250 ``` 爬取结果会自动保存到 Redis 数据库中。你可以通过 redis-cli 或者其他 Redis 客户端查看结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值