python-爬虫-scrapy

入门:

下载:pip install scrapy

工程:scrapy startproject 工程名

Spider: scrapy genspider 爬虫名 url  (--nolog//可选不显示日志)

 

简介:

 

持久化存储:

1 :终端存储:scrapy crawl -o aaa.text

2 : 管道存储:items对象即穿过来的{}字典,之后存储

3open_spider()---->链接数据库,close_spider()-->关闭数据库,process_item()--->存储

代理Ip:

1自定义下载中间件

middleware.py---》

class MyProxy(object):

def process_request(self,request,spider):

# 请求ip 更换

request.meta['proxy'] = "http://202.112.51.51:8082"

2 开启下载中间件

DOWNLOADER_MIDDLEWARES = {

'firstBlood.middlewares.MyProxy': 543,

}

日志等级:

1

ERROR:错误

WARNING:警告

INFO:一般信息

DEBUG:调试信息(默认)

指定日志信息等级

settings:LOG_LEVEL = ‘ERROR’

将日志信息存储到制定文件中:

settings:LOG_FILE = ‘log.txt’

2 二级传参

yield scrapy.Request(url=url,callback=self.secondParse,meta={'item':ite

m})

调用:item = response.meta['item']

请求传参:

方式一:scrapy.Requests(method='post')

方式二:重写start_request(self)方法(推荐)

class FanyiSpider(scrapy.Spider):

def start_requests(self):

data = {

'kw':'dog'

}

for url in self.start_urls:

# FormRequest发送post请求

yield scrapy.FormRequest(url=url,formdata=data,callback=self.parse)

 

CrawlSpider:

一般多层请求是多少层多少方法,或递归方法--->yield scrapy.Request(url,callback,meta)

特殊请求有多种:

 

一:初始请求化作请求队列,功能(获取url列表,不断请求,在新页面获取新url列表)

import scrapy

from scrapy.linkextractors import LinkExtractor

from scrapy.spiders import CrawlSpider, Rule

 

class CrawlspiderSpider(CrawlSpider):

name = 'crawlSpider'

start_urls = ['https://www.qiushibaike.com/text']  

 

rules = ( Rule(LinkExtractor(allow=r'/text/page/\d+'), callback='parse_item', follow=True),)

'''

LinkExtractor : 设置提取链接的规则(正则表达式)

allow=(), : 设置允许提取的url

restrict_xpaths=(), :根据xpath语法,定位到某一标签下提取链接

restrict_css=(), :根据css选择器,定位到某一标签下提取链接

deny=(), : 设置不允许提取的url(优先级比allow高)

allow_domains=(), : 设置允许提取url的域

deny_domains=(), :设置不允许提取url的域(优先级比allow_domains高)

unique=True, :如果出现多个相同的url只会保留一个

strip=True :默认为True,表示自动去除url首尾的空格

'''

'''

rule

link_extractor, : linkExtractor对象

callback=None, : 设置回调函数

follow=None, : 设置是否跟进

process_links=None, :可以设置回调函数,对所有提取到的url进行拦截

process_request=identity : 可以设置回调函数,对request对象进行拦截

'''

def parse_item(self, response):

    div_list = response.xpath('//div[@id="content‐left"]/div')



   for div in div_list:

   item = PhpmasterItem()

   author = div.xpath('./div/a[2]/h2/text()').extract_first()

   item['author'] = str(author).strip()

   # print(author)

   content = div.xpath('./a[1]/div/span/text()').extract()

   content = ''.join(content)

   item['content'] = str(content).strip()

   yield item

 

 

二:下载img时,把img_url传到管道中,管道中下载(请求方入下级)

Spider::yield item[‘img_url’]

Setting::IMAGES_STORE = './images/'

Pip::

from qiubaipic.settings import IMAGES_STORE as images_store

from scrapy.pipelines.images import ImagesPipeline

class QiubaipicPipeline(ImagesPipeline):

    def get_media_requests(self, item, info):

        img_link = "http:"+item['img_link']

        yield scrapy.Request(img_link)        

 

图片分组:

def file_path(self, request, response=None, info=None):

        '''完成图片存储路径'''

        img_name = request.url.split('/')[-1]  # 图片名

        file_name = request.meta['file_name']  # 路径

        image_guid = file_name + '/' + img_name  # 天价世界名画/2560580770.jpg

        img_path = IMAGES_STORE + file_name + '/'  # ./image/天价世界名画/    必须存在

        if not os.path.exists(img_path):

            os.makedirs(img_path)

        print(request.url)

        return '%s' % (image_guid)

 

分布式爬虫:

 

代理IP池和UA

代理ip中间件:

http_list = []

https_list = []

def process_request(self, request, spider):

        h = request.url.split(':')[0]

        if h == 'http':

            http = 'http://'+random.choice(http_list)

        if h == 'https':

            http = 'https://'+random.choice(https_list)

        request.meta['proxy'] = http

 

Ua中间件:

user_agent_list = []

def process_request(self, request, spider):

        #从列表中随机抽选出一个ua值

        ua = random.choice(user_agent_list)

        # 4. ua值进行当前拦截到请求的ua的写入操作

        request.headers.setdefault('User-Agent',ua)

 

脚本运行scrapy项目

项目下新建xxx.py

from scrapy import cmdline

# 帮助我们直接执行scrapy 命令

cmdline.execute('scrapy crawl logrule --nolog'.split())

 

转载于:https://www.cnblogs.com/person1-0-1/p/11390552.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ScrapyPython 中一个强大的开源网络爬虫框架,可用于从网站上抓取数据。它实现了异步网络爬取、分布式爬取、自动限速、数据存储等功能,而且易于扩展。Ins 爬虫是使用 Scrapy 框架爬取 Instagram 网站上的数据,如图片、视频、用户信息等。 在使用 Scrapy 进行 Ins 爬虫时,需要先分析 Instagram 网站上的页面结构,确定需要抓取的数据类型和相应的网页元素。然后,可以编写 Scrapy爬虫程序,按照页面结构和元素进行数据抓取和解析,并将数据保存到数据库或文件中。 下面是一个简单的 Scrapy Ins 爬虫的代码示例: ```python import scrapy class InsSpider(scrapy.Spider): name = "ins" start_urls = [ 'https://www.instagram.com/explore/tags/puppy/', ] def parse(self, response): for post in response.css('article'): yield { 'image_url': post.css('img::attr(src)').get(), 'caption': post.css('a > div > div:nth-child(2) > span::text').get() } next_page = response.css('a.coreSpriteRightPaginationArrow::attr(href)').get() if next_page is not None: yield response.follow(next_page, self.parse) ``` 在这个例子中,我们定义了一个 InsSpider 类,继承自 scrapy.Spider 类。我们指定了爬虫的名称为 "ins",指定了抓取的起始 URL,即标签为 "puppy" 的帖子。在 parse() 方法中,我们使用 CSS 选择器选择了每个帖子的图片 URL 和标题,并通过 yield 语句将它们输出。然后,我们使用 CSS 选择器选择下一页的链接,如果存在,则继续访问下一页。 以上就是一个简单的 Scrapy Ins 爬虫的示例。当然,实际的爬虫程序要更加复杂,需要考虑反爬虫机制、数据清洗和存储等问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值