python 爬虫 9 （scrapy实例：翻页爬取、爬个人页、存入mysql、redis）

最新推荐文章于 2024-05-12 17:00:26 发布
最新推荐文章于 2024-05-12 17:00:26 发布
阅读量2k 收藏 33
点赞数 3
分类专栏： python系列
@BeanInJ
本文链接：https://blog.csdn.net/a__int__/article/details/105470404
版权

文章目录

写在前面

本篇笔记接【python 爬虫
7】：https://blog.csdn.net/a__int__/article/details/104762424

1、新片场翻页爬取

查看每页连接
在这里插入图片描述
爬取连接
在这里插入图片描述

        pages = response.xpath('//div[@class="page"]/a/@href').extract()
        for page in pages:
            yield response.follow(page, self.parse)

我们发现最多只能爬取到第22页
在这里插入图片描述
爬22页后面的内容需要登录

1.1、模仿登录

点击登录，抓取cookie
在这里插入图片描述
把这串证书复制下来
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
settings：
在这里插入图片描述
在这里插入图片描述
重新执行，发现抓取到100多条的时候就停止了。

1.2、访问上限

找到PHPSESSID
在这里插入图片描述
查看这串字符，长度为26
在这里插入图片描述
我们写一个PHPSESSID生成器
在这里插入图片描述
在这里插入图片描述
现在就能成功访问多条数据了
在这里插入图片描述

2、爬取个人详情页

在这里插入图片描述
把爬取视频详情页 打开
在这里插入图片描述
打开详情页发现每个用户详情页地址通过data-userid变化
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
爬取用户id
在这里插入图片描述

        creator_list = response.xpath('//@data-userid').extract()
        creator_url = 'https://www.xinpianchang.com/u%s'
        print(creator_list)
        for creator in creator_list:
            request = response.follow(creator_url % creator, self.parse_composer)
            request.meta['cid'] = creator
            yield request

在这里插入图片描述

    def parse_composer(self, response):
        banner = response.xpath('//div[@class="banner-wrap"]/@style').get()
        composer = {}
        composer['banner'], = re.findall('background-image:url\((.+?)\)', banner)
        composer['name'] = response.xpath('//p[contains(@class,"creator-name")]/text()').get()

        yield composer

运行之后其他的都没问题，visit_userid_10037339=1; 这个值会被迭代
在这里插入图片描述
访问网页发现，这个值在每次切换个人详情页的时候，就会被设置一次，每隔30几秒会自动删除，这30几秒内连续访问会迭代
在这里插入图片描述
退出登录后访问发现，访问个人详情页是不需要登录的，所以我们关掉这个页面访问时的cookie

在这里插入图片描述
再次抓取就没有这个问题了
在这里插入图片描述

3、存入mysql

创建数据库xpc： CREATE DATABASE xpc;
在这里插入图片描述
新建表composer
在这里插入图片描述

CREATE TABLE `composer`  (
 `cid` bigint(20) NOT NULL,
 `name` varchar(512)  DEFAULT NULL,
`banner` varchar(512)  DEFAULT NULL,
PRIMARY KEY (`cid`) USING BTREE
 ) ENGINE = InnoDB CHARSET = utf8mb4;

items.py


import scrapy
from scrapy import Field


class ComposerItem(scrapy.Item):
    """保存个人详情页信息"""
    table_name = 'composer'

    cid = Field()
    banner = Field()
    name = Field()

settings.py
在这里插入图片描述
pipelines.py

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
import pymysql
import redis
from scrapy.exceptions import DropItem


class RedisPipeline(object):
    def open_spider(self, spider):
        self.r = redis.Redis(host='127.0.0.1')

    def process_item(self, item, spider):
        if self.r.sadd(spider.name, item['name']):
            return item
        # 如果添加name失败就自动删除item，并停止执行process_item
        raise DropItem


class MysqlPipeline(object):
    def open_spider(self, spider):
        self.conn = pymysql.connect(
            host="127.0.0.1",
            port=3306,
            db="xpc",
            user="root",
            password="root",
            charset="utf8",
        )
        self.cur = self.conn.cursor()

    def close_spider(self, spider):
        self.cur.close()
        self.conn.close()

    def process_item(self, item, spider):
        keys, values = zip(*item.items())
        sql = "insert into {} ({}) values ({})" \
              " ON DUPLICATE KEY UPDATE {};".format(
            item.table_name,
            ','.join(keys),
            ','.join(["'%s'"] * len(values)),
            ','.join(["{}='%s'".format(k) for k in keys])
        )
        sqlp = (sql % (values*2))
        self.cur.execute(sqlp)
        self.conn.commit()
        # 显示sql语句
        print(self.cur._last_executed)
        return item

修改discovery.py

# -*- coding: utf-8 -*-
import json
import random
import re

import scrapy
from scrapy import Request
from xpc.items import ComposerItem

str = 'qazwsxedcrfvtgbyhnujmikolp1234567890'
cookies = dict(Authorization='F8FB7C7E1E8354A671E83548091E835A4181E83528E62CE43391')


def gen_sessionid():
    return ''.join(random.choices(str, k=26))


class DiscoverySpider(scrapy.Spider):
    name = 'discovery'
    allowed_domains = ['xinpianchang.com', 'openapi-vtom.vmovier.com']
    start_urls = ['https://www.xinpianchang.com/channel/index/sort-like?from=navigator']
    page_count = 0

    def parse(self, response):
        self.page_count += 1
        if self.page_count >= 100:
            cookies.update(PHPSESSID=gen_sessionid())
            self.page_count = 0

        pid_list = response.xpath('//@data-articleid').extract()
        url = "https://www.xinpianchang.com/a%s?from=ArticleList"
        for pid in pid_list:
            yield response.follow(url % pid, self.parse_post)
        pages = response.xpath('//div[@class="page"]/a/@href').extract()
        for page in pages:
            yield response.follow(page, self.parse, cookies=cookies)

    def parse_post(self, response):
        # post = {}
        # 这里get()和extract_first()一样
        # post['title'] = response.xpath('//div[@class="title-wrap"]/h3/text()').get()
        # categorys = response.xpath('//span[contains(@class,"cate")]//text()').extract()
        # post['category'] = ''.join([category.strip() for category in categorys])
        # post['created_at'] = response.xpath('//span[contains(@class,"update-time")]/i//text()').get()
        # post['play_counts'] = response.xpath('//i[contains(@class,"play-counts")]/@data-curplaycounts').get()
        # vid, = re.findall('vid: \"(\w+)\",', response.text)
        # video_url = 'https://openapi-vtom.vmovier.com/v3/video/%s?expand=resource&usage=xpc_web'
        # request = Request(video_url % vid, callback=self.parse_video)
        # request.meta['post'] = post
        # yield request

        creator_list = response.xpath('//@data-userid').extract()
        creator_url = 'https://www.xinpianchang.com/u%s'
        for creator in creator_list:
            request = response.follow(creator_url % creator, self.parse_composer)
            request.meta['cid'] = creator
            request.meta['dont_merge_cookies'] = True
            yield request

    # def parse_video(self, response):
    #     # post = response.meta['post']
    #     result = json.loads(response.text)
    #     if 'resource' in result['data']:
    #         post['video'] = result['data']['resource']['default']['url']
    #     else:
    #         d = result['data']['third']['data']
    #         post['video'] = d.get('iframe_url', d.get('swf', ''))
    #     yield post

    def parse_composer(self, response):
        banner = response.xpath('//div[@class="banner-wrap"]/@style').get()
        composer = ComposerItem()
        composer['cid'] = int(response.meta['cid'])
        banner, = re.findall('background-image:url\((.+?)\)', banner)
        composer['banner'] = banner.replace('\t', '').replace(' ', '')
        name = response.xpath('//p[contains(@class,"creator-name")]/text()').get()
        composer['name'] = name.replace('\t', '').replace(' ', '')

        yield composer

在这里插入图片描述

4、存入redis

settings.py
在这里插入图片描述

SCHEDULER = "scrapy_redis.scheduler.Scheduler"
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
REDIS_URL = 'redis://127.0.0.1:6379'

启动redis
在这里插入图片描述
查看redis的key
在这里插入图片描述
安装scrapy-redis：pip install scrapy-redis
在这里插入图片描述
启动爬虫
在这里插入图片描述
查看redis
在这里插入图片描述
在这里插入图片描述
查看discovery:dupefilter里面存的内容： srandmember discovery:dupefilter
在这里插入图片描述
zrange discovery:requests 0 0 withscores
在这里插入图片描述

在ipython里面解析字符在这里插入图片描述
分析这串数据，发现它是列表包含元组这样的结构
在这里插入图片描述
用pickle进行二进制序列化
在这里插入图片描述
在这里插入图片描述

In [1]: import redis

In [2]: r = redis.Redis(host='127.0.0.1')

In [3]: m = r.zrange('discovery:requests',0,0,withscores=True)

In [7]: import pickle

In [9]: (a,b), = m

In [10]: pickle.loads(a)

将数据存入redis（一般不会把redis当数据库用）

settings.py
在这里插入图片描述

‘scrapy_redis.pipelines.RedisPipeline’: 301,

运行爬虫
在这里插入图片描述
查看redis
在这里插入图片描述

BeanInJ
关注
  • 3
    点赞
  • 踩
  • 33
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python爬虫之Scrapy框架系列（13）——实战ZH小说爬取数据入MySql数据库
孤寒者的博客
02-09 2万+
Python爬虫之Scrapy框架系列（13）——实战ZH小说爬取数据入MySql数据库
使用ScrapyRedisMongoDB实现的一个分布式网络爬虫
08-10
使用Scrapy,Redis,MongoDB实现的一个分布式网络爬虫,底层存储MongoDB,分布式使用Redis实现
Python爬虫 | 如何使用爬虫框架scrapy爬取分页数据案例演示
白帽阿叁的博客
10-06 2632
并爬取第1~5页数据中第2条。
Python爬虫实战（一）：翻页爬取数据存入SqlServer_python爬虫翻页
最新发布
m0_61330806的博客
05-12 720
别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。最近我才对这些路线做了一下新的更新，知识体系更全面了。
scrapy中如何实现翻页抓取数据
ljf520lhy的博客
12-07 2092
scrapy中如何实现翻页抓取数据
爬虫（实战）：scrapy+mysql 豆瓣电影top250
Phillip_xian的博客
07-04 1321
作者学习了scrapy爬虫框架，想把获取的爬虫信息保存至本地mysql数据库中，查找了下不少作者的资料，这里整理了本人的学习经过，记录+分享在这里，望读者交流学习和批评建议。
python爬虫框架scrapy实战之爬取京东商城进阶篇
09-21
在Python的Web爬虫领域，Scrapy是一个功能强大的框架，常被用于高效地爬取和处理网站数据。本篇文章将深入探讨如何使用Scrapy爬取京东商城的商品信息，特别关注动态加载的内容。 **一、Scrapy框架基础** Scrapy是...
pythonscrapy爬虫实例Python爬虫Scrapy实例
02-04
### Python爬虫Scrapy实例详解 #### 创建Scrapy项目 Scrapy是一款强大的开源网页抓取框架，被广泛应用于数据采集领域。本文档旨在通过一个具体的示例，详细讲解如何使用Scrapy创建并运行一个基本的爬虫项目。 ###...
爬虫代码实例源码大全+Python 爬虫Scrapy课件源码.zip
03-27
Python Scrapy是一个强大的爬虫框架，它为开发者提供了一套高效、灵活的工具，用于处理网络数据抓取和数据处理任务。本资源包包含了多个与Scrapy相关的学习材料，包括Scrapy的安装教程、爬虫代码实例源码以及一些轻...
python基于scrapy框架爬取数据并写入到MySQL和本地
qq_43658523的博客
07-20 2257
基于scrapy框架爬取内容，持久化存储到本地和MySQL
Scrapy爬虫实战+Mysql
xiuxiuxiulai的博客
09-02 9063
本次爬取的网址为：http://www.yy6080.cn/vodtypehtml/1.html（推荐使用谷歌浏览器，方便看源码） 首先在启动命令行，创建爬虫项目: scrapy startproject NewVideoMovie 然后： cd NewVideoMovie 最后创建spider: scrapy genspider spider http://www.yy6080.cn/vod...
Python爬虫实战(二) selenium切换iframe爬取知网论文
shine4869的博客
03-28 2727
        原以为知网还挺好爬的，毕竟在八爪鱼里面都是免费的模板。没想到，爬的时候还真是坑点满满啊！ 坑点一： 一开始想都没想，直接css_selector定位，发现数据居然是空的！后来想了一下可能是需要转iframe，试了一下，没想到还真是！如下图所示，数据都是在iframe下的。 需要先用switch_to....
python爬虫翻页_Scrapy爬虫案例01——翻页爬取
weixin_39906130的博客
11-24 1504
之前用python写爬虫，都是自己用requests库请求，beautifulsoup（pyquery、lxml等）解析。没有用过高大上的框架。早就听说过Scrapy，一直想研究一下。下面记录一下我学习使用Scrapy的系列代码及笔记。安装Scrapy的安装很简单，官方文档也有详细的说明 http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/insta...
小白python爬虫入门实例2—— 翻页爬取京东商城商品数据
m0_47105676的博客
10-07 5471
import requests from bs4 import BeautifulSoup def getText(url): try: kv = {'user-agent': 'Mozilla/5.0'} r = requests.get(url, headers=kv,timeout = 30) r.raise_for_status() r.encoding = r.apparent_encoding retur.
post
c_jiji_yy的博客
03-17 240
post： export const requestPost = (url,data={},configs={}) => { let headers = { 'Content-Type': 'application/json; charset=UTF-8' } let needLoading = false if(!configs.isNQS)...
如何让爬虫一天抓取100万张网页
Python专栏
05-10 2189
前一两年抓过某工商信息网站，几三周时间大约抓了过千万多万张页面。那时由于公司没啥经费，报销又拖得很久，不想花钱在很多机器和带宽上，所以当时花了较多精力研究如何让一台爬虫机...
Python爬虫实战（一）：翻页爬取数据存入SqlServer
热门推荐
努力让自己发光，对的人才能迎着光而来
11-15 5万+
python爬虫实战基础
python网页爬虫菜鸟教程_【爬虫】菜鸟教程，支持翻页，存储
weixin_39967120的博客
11-23 469
1、项目简介豆瓣相信很多人都爬过，我也把我的方法拿出来交流学习，我也是菜鸟过来的，不会省略代码，此教程纯属娱乐，大神勿喷。2、工具requestsrepygalmysqlAnacond23、爬虫完整代码# encoding:UTF-8import reimport requestsimport MySQLdbfrom bs4 import BeautifulSoupheaders = {'User...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值