利用Scrapy爬取掘金网站用户信息

已于 2023-11-23 16:32:48 修改
阅读量145 收藏 1
点赞数 2
文章标签： scrapy 爬虫 python
于 2023-11-23 16:18:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44827933/article/details/134524595
版权

声明：该爬虫是在23年3月编写，网页元素之后可能发生改动，可以自行判断分析，修改相应内容

项目github地址：https://github.com/xsfmGenius/juejin_spider

分析需求

本项目预计爬取juejin用户信息，包含字段如下图所示。从优质作者排行榜开始爬取信息，再根据所爬用户的粉丝进行下一层爬取。
在这里插入图片描述

创建项目

cmd选择合适的文件夹，输入：

$scrapy startproject   项目名

自动生成如下结构：
在这里插入图片描述

$cd spider
$scrapy genspider 爬虫名 网址

在spiders文件夹下自动生成一个爬虫文件，便于进行修改。
在这里插入图片描述

修改配置

修改settings.py文件

USER_AGENT =自行查看USER_AGENT
ROBOTSTXT_OBEY = False

在这里插入图片描述

定义数据

修改items.py文件，该文件定义了需要获取的数据。

import scrapy
class SegmentfaultspiderItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    name = scrapy.Field()
    up = scrapy.Field()
    read = scrapy.Field()
    reputation = scrapy.Field()
    time = scrapy.Field()
    followA = scrapy.Field()
    Afollow = scrapy.Field()
    loc = scrapy.Field()
    company = scrapy.Field()
    introduce = scrapy.Field()

编写爬虫

排行榜界面

所有函数写在刚刚生成的爬虫文件的爬虫类中。设置初始网址，即最先需要爬取数据的一个或几个网站。

class UserspiderSpider(scrapy.Spider):
    name = 'userspider'
    # allowed_domains = ['https://juejin.cn/hot/authors/6809637769959178254']
    start_urls = [
                  'https://juejin.cn/hot/authors/6809635626879549454',
                  'https://juejin.cn/hot/authors/6809637773935378440',
                  'https://juejin.cn/hot/authors/6809637771511070734',
                  'https://juejin.cn/hot/authors/6809637776263217160',
                  'https://juejin.cn/hot/authors/6809637772874219534'
                  ]

由于排行榜页面是动态加载的，无法直接获取到内容。使用selenium库的WebDriver创建浏览器对象，模拟浏览器的访问过程。
需要在初始化函数中声明webdriver对象，并设置相应参数。

    def __init__(self):
        options = webdriver.ChromeOptions()
        options.add_argument('--no-sandbox')
        options.add_argument('--disable-dev-shm-usage')
        options.add_argument('--disable-gpu')
        options.add_argument('--headless')
        options.add_experimental_option('excludeSwitches',['enable-automation'])
        self.bro=webdriver.Chrome(chrome_options=options)

同时需要在middlewares.py文件中自定义中间件，用于拦截并处理Scrapy引擎接收的响应。

    def process_response(self, request, response, spider):
        # Called with the response returned from the downloader.

        # Must either;
        # - return a Response object
        # - return a Request object
        # - or raise IgnoreRequest
        bro = spider.bro
        if request.url in spider.start_urls:
            bro.get(request.url)
            sleep(3)
            page_text = bro.page_source
            new_res = HtmlResponse(url=request.url, body=page_text, encoding='utf-8', request=request)
            return new_res
        else:
            return response

parse函数是爬虫起始函数，在parse函数中写明爬虫的具体流程。本函数目的是通过排行榜界面进入上榜用户界面，获取他们的信息。
分析网址，通过xpath获取相应标签中的链接，加上固定的"https://juejin.cn"前缀获取榜上用户个人主页的链接，调用parse_detail函数，该函数用于获取个人主页中用户信息。
爬取结束后将id传入parse_follow函数，用于爬取粉丝数据。
在这里插入图片描述

如何获取xpath


在这里插入图片描述

分析网址 
    def parse(self, response):
        name_list = response.xpath('//div[@class="hot-list"]/a/@href').extract()
        # print(name_list)
        for name in name_list:
            detail_url = "https://juejin.cn" + name
            # print(detail_url)
            yield scrapy.Request(detail_url, callback=self.parse_detail)
            id = name.split("/")[-1]
            # print(id)
            yield scrapy.Request(detail_url,callback=self.parse_follow,meta={'id':id},dont_filter=True)
        # detail_url = "https://juejin.cn" + name_list[0]
        # yield scrapy.Request(detail_url, callback=self.parse_detail)

排行榜用户个人界面

parse_detail用于获取个人界面中的用户信息，分析所要爬取元素的xpath，注意如果界面变化或不存在该内容时的处理。yield newitem将获取的用户信息返回至pipeline.py中，该文件处理保存数据。

   def parse_detail(self,response):
       # print(response.text)
       # with open("tmp.html", 'w', encoding='utf-8') as f:
       #     f.write(response.text)
       newitem=SegmentfaultspiderItem()
       newitem['name']=response.xpath('//span[@class="user-name"]/text()')[0].extract()
       if len(response.xpath('//div[@class="block-body"]//span[@class="count"]').extract())==3:
           newitem['up']=response.xpath('//div[@class="block-body"]//span[@class="count"]/text()')[0].extract().replace(',', '')
           newitem['read']=response.xpath('//div[@class="block-body"]//span[@class="count"]/text()')[1].extract().replace(',', '')
           newitem['reputation']=response.xpath('//div[@class="block-body"]//span[@class="count"]/text()')[2].extract().replace(',', '')
       else:
           if len(response.xpath('//div[@class="block-body"]//span[@class="count"]').extract())==2:
               newitem['up'] = "-1"
               newitem['read'] = response.xpath('//div[@class="block-body"]//span[@class="count"]/text()')[0].extract().replace(',', '')
               newitem['reputation'] = response.xpath('//div[@class="block-body"]//span[@class="count"]/text()')[1].extract().replace(',', '')
           else:
               newitem['up']="-1"
               newitem['read'] = "-1"
               newitem['reputation'] = "-1"
       newitem['time']=response.xpath('//div[@class="item-count"]/time/text()')[0].extract().replace('\n', '').replace(' ', '')
       newitem['Afollow']=response.xpath('//div[@class="follow-block block shadow"]//div[@class="item-count"]/text()')[0].extract().replace('\n', '').replace(' ', '').replace(',', '')
       newitem['followA']=response.xpath('//div[@class="follow-block block shadow"]//div[@class="item-count"]/text()')[1].extract().replace('\n', '').replace(' ', '').replace(',', '')
       if len(response.xpath('//div[@class="position"]').extract())==0:
           newitem['loc'] = ""
           newitem['company'] = ""
       else:
           newitem['loc']=response.xpath('//div[@class="position"]/span/node()[1]')[0].extract()
           if newitem['loc']!='<!---->':
               newitem['loc']=response.xpath('//div[@class="position"]/span/node()[1]/text()')[0].extract()
           else:
               newitem['loc']=""
           newitem['company'] = response.xpath('//div[@class="position"]/span/node()[5]')[0].extract()
           if newitem['company']!='<!---->':
               newitem['company']=response.xpath('//div[@class="position"]/span/node()[5]/text()')[0].extract()
           else:
               newitem['company']=""
       if len(response.xpath('//div[@class="intro"]//span[@class="content"]/text()').extract())!=0:
           newitem['introduce']=response.xpath('//div[@class="intro"]//span[@class="content"]/text()')[0].extract().replace('\n', '')
       else:
           newitem['introduce']=""
       print(newitem)
       yield newitem

获取粉丝信息

打开用户的粉丝界面，分析传输数据发现可以直接根据请求Url获取粉丝信息，cursor参数代表请求的第一个粉丝的序号，limit=20参数表示每次请求的数据数量为20条。根据粉丝数判断循环次数。对于每一个请求Url调用parse_json函数获取粉丝的id。
在这里插入图片描述

    def parse_follow(self, response):
        # print(response.meta['id'])
        follownum=int(response.xpath('//div[@class="follow-block block shadow"]//div[@class="item-count"]/text()')[1].extract().replace('\n', '').replace(' ', '').replace(',', ''))
        i=0
        while i<follownum:
            url="https://api.juejin.cn/user_api/v1/follow/followers?aid=2608&uuid=7208838064973252151&spider=0&user_id="+str(response.meta['id'])+"&cursor="+str(i)+"&limit=20"
            time.sleep(random.randint(1,4))
            yield scrapy.Request(url, callback=self.parse_json)
            i+=20

对于每一条请求Url根据正则式获取粉丝的id并再次调用parse_detail获取其个人信息。
由于用户数量满足需求，未再进行下一层爬取，可多次循环爬取粉丝的粉丝的个人信息。

  def parse_json(self,response):
        # print(response)
        results = response.text
        pattern=r'"user_id":"(.*?)","user_name"'
        ids=re.findall(pattern,results)
        # print(ids)
        for id in ids:
            url="https://juejin.cn/user/"+id
            yield scrapy.Request(url, callback=self.parse_detail)
        # results = response.json()
        # print(results['data'][)

保存数据

pipelines.py中的默认类用于处理保存爬虫文件中yield的数据，初始化函数声明连接的数据库，process_item中写sql语句保存数据。

from itemadapter import ItemAdapter

import pymysql
from segmentfaultspider.items import SegmentfaultspiderItem

class SegmentfaultspiderPipeline(object):
    def __init__(self):
        self.connection=pymysql.connect(host='xxx.xxx.xxx.xxx(自行修改)',
                port=3306,
                user='root',
                password='xxxxxxx(自行修改)',
                db='xxxxxxx(自行修改)',
                charset='utf8mb4')
    def process_item(self, item, spider):
        if isinstance(item, SegmentfaultspiderItem):
            self.cursor = self.connection.cursor()
            try:
                self.cursor.execute('INSERT INTO users (`name`,`up`,`read`,`reputation`,`followA`,`Afollow`,`time`,`loc`,`company`,`introduce`) VALUES ("%s","%s","%s","%s","%s","%s","%s","%s","%s","%s")'%(item["name"],item["up"],item["read"],item["reputation"],item["followA"],item["Afollow"],item["time"],item["loc"],item["company"],item["introduce"]))
                self.connection.commit()
            except Exception as e:
                print(e)
                self.connection.rollback()
    #
小思非陌
关注
python怎么爬取网站所有用户_如何用 Python 爬取需要登录的网站？
weixin_39540271的博客
11-29 786
最近我必须执行一项从一个需要登录的网站上爬取一些网页的操作。它没有我想象中那么简单，因此我决定为它写一个辅助教程。在本教程中，我们将从我们的bitbucket账户中爬取一个项目列表。教程中的代码可以从我的 Github 中找到。我们将会按照以下步骤进行：提取登录需要的详细信息执行站点登录爬取所需要的数据在本教程中，我使用了以下包（可以在 requirements.txt 中找到）：requests...
网络爬虫之用户名密码及验证码登陆：爬取知乎网站
Python4857的博客
01-05 5055
前言 今天来教大家如何爬取知乎网站，最近到底有哪些有意思的事情发生呢？ 不过爬取网站首先会面临的问题，当然是登陆了。 准备 使用requests包来爬取。首先尝试用用户名密码自动登陆，如果失败，则需要采用cookie登陆。 配置文件config.ini，其中包括用户名密码信息，如果有验证码情况，需要手动登陆一次网站获取cookie信息。 判断登陆成功与否，看生成的html文件中有没有用户信息。 代码实现 # -*- coding: utf-8 -*- impo.
某站获取前N名注册用户爬虫
m0_48096446的博客
04-26 166
这段程序实现了爬取Bilibili用户个人主页的标题，其中包含了该用户的昵称和个人主页的描述。程序使用requests库发送HTTP GET请求获取页面内容，使用BeautifulSoup库解析HTML内容，然后使用正则表达式匹配标题中的昵称部分。如果找到了昵称，则输出格式为"{url}: {昵称}“，否则输出格式为”{url}: {完整标题}"。循环次数为1到100，即爬取用户编号为1到100的个人主页。也可以更改里面的值，更改要爬取的数量。
新手爬虫，教你爬掘金（二）
weixin_34292287的博客
04-29 657
距离上次教程已经过了快两周了，没办法啊，学业繁忙(¬､¬) (￢_￢) 本文用到的三个工具为 cheerio：jQuery语法，帮助你在非浏览器环境下解析网页用的 上次没用到，这个肯定用到啦 segment 一个基于盘古词库的中文分词工具，cnode大神写的，手动@leizongmin大神 cheerio用法 const cheerio = require('cheerio'), ...
使用Scrapy爬取掘金热门文章的分析和实现
繁花已落的博客
04-22 807
一、分析掘金网页 1. 获取浏览器URL 直接页面选择30内最热门的文章可得到URL地址为 https://juejin.im/timeline?sort=monthly_hottest 查看该网页Dom元素发现并没有文章的数据，可得知此为动态网页。 2. 获得数据API 由此得到获取文章的API为 https://web-api.juejin.im/query 3. 分析请求参数 在登录状态下...
Scrapy爬取新浪微博用户信息、用户微博及其微博评论转发
05-27
在本项目中，我们利用Scrapy来爬取新浪微博的用户信息、用户的微博内容以及这些微博的评论和转发，这涉及到网络爬虫的基本原理、Scrapy组件的使用、网页解析以及数据存储等多个知识点。 首先，了解网络爬虫的基本...
根据关键词使用scrapy爬取今日头条网站新闻各类信息和内容页
10-10
本项目是关于使用Scrapy爬虫框架抓取今日头条网站上与特定关键词相关的新闻信息和内容页面。Scrapy是一个强大的Python爬虫框架，适用于构建复杂的爬虫项目，能够高效地处理网络请求、解析HTML内容以及管理爬取的数据...
scrapy爬取腾讯招聘信息(可运行完整项目)
08-06
在这个项目中，我们利用Scrapy来爬取腾讯公司的招聘信息，包括职位名称、招聘地点、职位所在地区、招聘链接以及招聘人数等关键信息。 首先，我们需要了解Scrapy的基本架构。Scrapy由多个组件组成，如Spiders（蜘蛛...
爬虫项目实操四、用Scrapy爬取招聘网站的招聘信息
随风的博客
04-17 3480
项目目标:用Scrapy爬取招聘网站的招聘信息 目标网站:职友集,url:https://www.jobui.com/rank/company/ 先爬取企业排行榜四个榜单里的公司，再接着爬取这些公司的招聘信息,爬取公司名称、职位、工作地点和招聘要求。 一、创建项目 电脑终端跳转到你想要保存项目的目录下输入创建Scrapy项目的命令： scrapy startproject jobui(jobui为项目名字可自取)start- [stɑːt]–开始 project-[ˈprɔdʒekt] —n,计划,
python爬虫网页的部署，登录注册模块并入
zvckr的博客
04-01 384
参考项目源码地址：项目1。
Python POST 爬虫爬取掘金用户信息
UIBE_day_day_up的博客
07-21 2237
Python POST 爬虫爬取掘金用户信息 1. 概述 Python第三方库requests提供了两种访问http网页的函数，基于GET方式的get()函数和基于POST方式的post()函数。 get函数是最为常用的爬取方式，可以获取静态HTML页面和大部分动态加载json文件，但有一些网站对部分数据文件进行了加密处理，不能使用get来获取到文件内容，此时就需要使用post函数来进行获取。例如本文中所要爬取的掘金网站的用户信息。 POST方式与GET方式最主要的区别在于POST在发送请求时会附上一部分参
探索网络爬虫的5种数据获取方式，让你的数据分析更高效！
最新发布
一名正义的白帽黑客
08-26 2849
探索网络爬虫的5种数据获取方式，让你的数据分析更高效！
python爬虫登录网站_主流网站 Python 爬虫模拟登陆方法汇总
weixin_39571749的博客
11-20 928
欢迎关注我的公众号：高级农民工，博客：高级农民工，阅读体验更好。摘要：介绍微信、知乎、新浪等一众主流网站的模拟登陆爬取方法。网络上有形形色色的网站，不同类型的网站爬虫策略不同，难易程度也不一样。从是否需要登陆来说，一些简单网站不需要登陆就可以爬，比如之前爬过的猫眼电影、东方财富网等。有一些网站需要先登陆才能爬，比如知乎、微信等。这类网站在模拟登陆时需要处理验证码、js 加密参数这些问题，爬取难度会...
python 爬虫实战：掘金文章爬取并保存在 mysql
qq_37393071的博客
09-07 2027
文章目录一、代码目的二、爬取内容和思路2.1 爬取内容：2.2 思路爬取内容的分析存储到 mysql 一、代码目的 最近进行一个掘金爬虫，感觉还是挺有意思的，掘金的爬虫文章好像还是比较少的，记录一下。 二、爬取内容和思路 2.1 爬取内容： 主要包括两部分： 1. 对掘金的文章列表进行爬取，包括文章标题、用户名、文章简介以及文章链接； 2. 具体的文章内容，这部分只爬取了文章标题和内容。 2.2 思路 爬取内容的分析 首先分析图一，这部分通过 F12 将请求锁定在 https://apinew.juej
掘金小册爬虫，将小册转成pdf
The Hard Way To Code
05-08 5452
将已购买掘金小册转换成pdf,如,Redis 深度历险：核心原理与应用实践, MySQL 是怎样运行的：从根儿上理解 MySQL 源码请看
通过Python实现一个简单的爬虫——获取掘金网站文章列表
上辈子作恶多端，这辈子写前端。
08-11 3263
先来看下实现的结果 掘金文章爬虫源码 这里通过python命令直接运行我们的爬虫程序，很轻松的就获取到了网站首页的第一页文章（爬取的Android分类下文章），当然代码量也是只有几十行。 一： 首先我们要获取到我们要爬取的地址，然后通过分析网站返回的网页或者json数据来获取我们需要的数据；如下图： 二：接下来就需要对html解析来，这里使用到了BeautifulSoup这个h...
实战：爬取掘金热门文章——基于python爬虫
weixin_42777402的博客
03-16 965
说一说爬取中的踩得坑，印象太深刻了 缺失一些必要的请求头时，掘金网站不会报错，而是给你返回不相关的一推数据，关键这些数据从形式上看还很像请求拿回来的数据。就这个坑害我思索了很长时间，可能还是我太菜了吧~ 掘金网热门文章刷新频繁，往往几分钟前在调试页面看到的数据，跟刚请求到的数据略有不同，这又让我纠结了一些时间 最后放上源码： import requests, json,time url = "https://api.juejin.cn/recommend_api/v1/article/recommend
利用scrapy爬取南昌天气预报
06-08
好的，以下是利用Scrapy爬取南昌天气预报的步骤： 1. 创建Scrapy项目：在命令行中输入 `scrapy startproject weather_crawler`，创建一个名为weather_crawler的Scrapy项目。 2. 创建Spider：进入项目目录，使用命令 `scrapy genspider nanchang www.nmc.cn` 创建一个名为nanchang的Spider，用于爬取南昌的天气预报信息。 3. 编写Spider：打开nanchang.py文件，在start_urls中添加要爬取的页面URL，使用XPath或CSS选择器提取所需信息，并将提取到的数据存储到Item中。 4. 编写pipelines：在pipelines.py文件中编写数据处理和存储的代码，例如将数据存储到本地文件或数据库中。 5. 启动Spider：在命令行中输入 `scrapy crawl nanchang` 启动Spider，等待程序爬取数据并保存到本地文件或数据库中。 希望以上步骤能够帮助您成功爬取南昌的天气预报信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值