Scrapy爬虫+Selenium自动获取cookie爬取网易云音乐个人喜爱歌单

最新推荐文章于 2024-04-10 22:44:33 发布
最新推荐文章于 2024-04-10 22:44:33 发布
阅读量7k 收藏 93
点赞数 44
分类专栏： Python 爬虫 文章标签： selenium python cookie chrome
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44864260/article/details/113428996
版权

此货很干,跟上脚步!!!
Cookie
cookie是什么东西?
小饼干?能吃吗?
简单来说就是你第一次用账号密码访问服务器
服务器在你本机硬盘上设置一个身份识别的会员卡(cookie)
下次再去访问的时候只要亮一下你的卡片(cookie)
服务器就会知道是你来了,因为你的账号密码等信息已经刻在了会员卡上
需求分析
爬虫要访问一些私人的数据就需要用cookie进行伪装
想要得到cookie就得先登录,爬虫可以通过表单请求将账号密码提交上去
但是在火狐的F12截取到的数据就是,
网易云音乐先将你的账号密码给编了码,再发post请求
所以我们在准备表单数据的时候就已经被卡住了
这时候我们就可以使用自动化测试Selenium帮助我们去登录
登录好之后就获取cookie给爬虫使用

OK,废话也废话完了,直接开整吧!!
首先跟我创建一个爬虫项目和爬虫
在cmd创建
在这里插入图片描述

用Pycharm打开这个项目

首先修改配置文件setting.py
1.关闭机器人协议
2.取消禁用cookie的功能
在这里插入图片描述
现在就回到爬虫文件wyySpider.py准备前期的工作
修改start_urls里的网址和准备一个请求头
首先用火狐浏览器打开网易云音乐,登录后进入到个人主页
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述在这里插入图片描述

在爬虫代码那里准备一下,修改一下start_urls

import scrapy
from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
import time

class WyyspiderSpider(scrapy.Spider):
    name = 'wyySpider'
    allowed_domains = ['163.com']
    start_urls = ['https://music.163.com/playlist?id=19xxxxx7']

先实现一下自动登录功能获取cookie
首先导一下自动化测试的包(Selenium)
没有这个包的话去控制台:pip --default-timeout=100 install selenium -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
import time

导完包还要一个谷歌的驱动程序,先看一下自己的谷歌版本
在这里插入图片描述到这网站下载相同版本的驱动程序:https://sites.google.com/a/chromium.org/chromedriver/home

如果版本跟我的一样可以去网盘下载:
链接: https://pan.baidu.com/s/1M-gME2R8EEhEoFlPaDhbmA 提取码: 7iai

解压后记住这个驱动的位置,在爬虫文件写一个获取cookie的函数
以下代码的坐标不一定适合各位的电脑,不过给你们安利个物理外挂(电脑微信截图Alt+A)

        def getCookie(self):
        # 获取谷歌的驱动,参数为刚刚驱动程序的位置
        driver = webdriver.Chrome("C:/Users/Administrator/AppData/Local/Programs/Python38/Lib/site-packages/selenium/webdriver/chrome/chromedriver.exe")
        # -----------------selenium自动登录-----------------------

        # 打开谷歌然后访问指定的网站
        driver.get("https://music.163.com/")

        # 最大化,睡眠是怕网速慢没加载出来
        driver.maximize_window()
        time.sleep(1)

        # 鼠标从(0,0)向x(1435px),y(35px)移动,用左键点击一下
        ActionChains(driver).move_by_offset(1435, 35).click().perform()
        time.sleep(0.3)

        # 点击其他方式
        ActionChains(driver).move_by_offset(-480, 575).click().perform()
        time.sleep(0.3)

        # 同意条款
        ActionChains(driver).move_by_offset(-218, -10).click().perform()
        time.sleep(0.3)

        # 手机登录
        ActionChains(driver).move_by_offset(107, -100).click().perform()
        time.sleep(0.3)

        # 输入账号密码
        # 通过css选择器获取id为"p"的标签,然后send_keys就是模拟输入一些信息
        driver.find_element_by_css_selector("#p").send_keys("账号")
        driver.find_element_by_css_selector("#pw").send_keys("密码")
        time.sleep(0.3)

        # 点击登录
        ActionChains(driver).move_by_offset(110, 15).click().perform()
        time.sleep(1)

        # 找到头像悬浮
        img = driver.find_element_by_css_selector("div.head:nth-child(1) > img:nth-child(1)")
        ActionChains(driver).move_to_element(img).perform()
        time.sleep(0.5)
        # 点击我的主页
        ActionChains(driver).move_by_offset(0, 40).click().perform()
        time.sleep(0.5)
        # 点击喜欢的音乐
        ActionChains(driver).move_by_offset(-870, 830).click().perform()
        time.sleep(0.3)

        # -----------------selenium自动登录-----------------------

登录完毕后就可以获取cookie,但看一下下面的cookie

[{'domain': 'music.163.com', 'expiry': 2147483647, 'httpOnly': False, 'name': 'WM_TID', 'path': '/', 'secure': False, 'value': 'UnQj6SSNqN9BEVdubmNcEjpl%2B9DA'}, {'domain': 'music.163.com', 'expiry': 2147483647, 'httpOnly': False, 'name': 'WM_NIKE', 'path': '/', 'secure': False, 'value': '9ca17ae2e6ffcda170e2e6ee87f4508ef58483ea4a97968ea7c54e879a8eaaf445aebc83b6e933f3f1c0b4c82af0fea7c3b92af697b7a6dc7b82afc09ad98ca695bc5082ecbcb1e772b7889b3d1c15bf28da0bbfb5b95aa8795f073adbc9c98ed79a28d8aa7f450f1ae9dd9b77a85edbf9ac625f1ef84d8f970b4e7bfd8cd21b48e8c8ec17df3e7a898f74488ef9bb5c837e2a3'}, {'domain': '.music.163.com', 'httpOnly': False, 'name': 'WNMCID', 'path': '/', 'sameSite': 'Strict', 'secure': False, 'value': 'fdygqk.1611989994304.01.0'}, {'domain': '.music.163.com', 'httpOnly': False, 'name': 'WEVNSM', 'path': '/', 'sameSite': 'Strict', 'secure': False, 'value': '1.0.0'}, {'domain': 'music.163.com', 'expiry': 2147483647, 'httpOnly': False, 'name': 'WM_NI', 'path': '/', 'secure': False, 'value': '6IyEYqBqpyZMITjt9DB4tPdzuXUFC%2BNyOiu3S04CTC5Nsv2Q4gkMM0BQ2SPZxQWvItmyodTwnsbSFFqD3rS84rG3qyG%2F31L7zdp9q7N%2BpRDmBw19hwtHD1UTE%3D'}, {'domain': '.music.163.com', 'expiry': 1927349994, 'httpOnly': False, 'name': 'NMTID', 'path': '/', 'secure': False, 'value': '00O-pWx8ZDJJQfiFkHzsgin07nYSmUAAAF3UhdN2w'}, {'domain': '.163.com', 'expiry': 4765589994, 'httpOnly': False, 'name': '_ntes_nuid', 'path': '/', 'secure': False, 'value': '738fc9cd89d6d8799fa76b3348d25d7d'}, {'domain': '.163.com', 'expiry': 4765589994, 'httpOnly': False, 'name': '_ntes_nnid', 'path': '/', 'secure': False, 'value': '738fc9cd89d6d8799fa76b3348d25d7d,1611989994150'}, {'domain': '.music.163.com', 'expiry': 1769671794, 'httpOnly': False, 'name': '_iuqxldmzr_', 'path': '/', 'secure': False, 'value': '32'}, {'domain': '.music.163.com', 'expiry': 1769671794, 'httpOnly': False, 'name': 'JSESSIONID-WYYY', 'path': '/', 'secure': False, 'value': 'OoCMxNwGV%5CfZD2OSzAXovf4ASVZsJ8UQ4sgg7JfH075cKTD%2FW3sMzZj%2BpayS1EnNVXzRm%2F2GxfzIoNv3FTjYxKeNFZWqf6UeiMSc1%2BG98kgsEM94juuE%5Cs18k2%2BPNPAp3hU0G%5CFDUtjkimCR5pgOIOI%3A1611991794102'}]

是列表加字典的结构,而Scrapy的cookie是字符串类型的,所以我们要做一个转型

# 将driver获取的字典类型的cookie提取name和value封装成字符串
        temp = []
        for i in driver.get_cookies():
            temp.append(i['name'] + "=" + i['value'])
        # 返回字符串cookie
        return ';'.join(temp)

所以这个函数基本就写完了,自动登录后获取cookie是不是很爽!!!
现在重写一下def start_requests(self),这个函数是在请求发起前执行的

在这个函数把请求头给塞进去,因为setting那边没有定义

    def start_requests(self):
        # 定义请求头的时候调用一下getCookie获取一下cookie
        headers = {
            'Cookie': self.getCookie(),
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'
        }
        # 注意url是个列表这里拿下标[0],然后把headers请求头塞进去,交给parse函数
        yield scrapy.Request(url=self.start_urls[0], headers=headers, callback=self.parse)

请求前一切准备好之后,在解析函数(parse)进行保存一下数据,记得导re包

    def parse(self, response):
        # 匹配歌曲名的正则表达式
        patt = re.compile(r'<a href="/song.id=.*?">([^<|{]*?)</a>')

        # 找到所有歌曲名
        listdata = re.findall(patt, response.text)
        
        # 把数据写进txt文件
        with open(file="../response.txt", mode="w+", encoding="utf-8") as file:
            for item in listdata:
                file.write(item+"\n")

一句启动爬虫的命令,眨眨眼的时间 ~
数据就进去了哦!原来我的喜爱歌单只有不到500~
在这里插入图片描述

下面就是爬虫源代码

import scrapy
from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
import time
import re

class WyyspiderSpider(scrapy.Spider):
    name = 'wyySpider'
    allowed_domains = ['163.com']
    start_urls = ['https://music.163.com/playlist?id=19xxxxx7']

    def getCookie(self):
        # 获取谷歌的驱动,参数为刚刚驱动程序的位置
        driver = webdriver.Chrome("C:/Users/Administrator/AppData/Local/Programs/Python38/Lib/site-packages/selenium/webdriver/chrome/chromedriver.exe")
        # -----------------selenium自动登录-----------------------

        # 打开谷歌然后访问指定的网站
        driver.get("https://music.163.com/")

        # 最大化,睡眠是怕网速慢没加载出来
        driver.maximize_window()
        time.sleep(1)
		# 以下坐标以自己的电脑为准
        # 鼠标从(0,0)向x(1435px),y(35px)移动,用左键点击一下
        ActionChains(driver).move_by_offset(1435, 35).click().perform()
        time.sleep(0.3)

        # 点击其他方式
        ActionChains(driver).move_by_offset(-480, 575).click().perform()
        time.sleep(0.3)

        # 同意条款
        ActionChains(driver).move_by_offset(-218, -10).click().perform()
        time.sleep(0.3)

        # 手机登录
        ActionChains(driver).move_by_offset(107, -100).click().perform()
        time.sleep(0.3)

        # 输入账号密码
        # 通过css选择器获取id为"p"的标签,然后send_keys就是模拟输入一些信息
        driver.find_element_by_css_selector("#p").send_keys("账号")
        driver.find_element_by_css_selector("#pw").send_keys("密码")
        time.sleep(0.3)

        # 点击登录
        ActionChains(driver).move_by_offset(110, 15).click().perform()
        time.sleep(1)

        # 找到头像悬浮
        img = driver.find_element_by_css_selector("div.head:nth-child(1) > img:nth-child(1)")
        ActionChains(driver).move_to_element(img).perform()
        time.sleep(0.5)
        # 点击我的主页
        ActionChains(driver).move_by_offset(0, 40).click().perform()
        time.sleep(0.5)
        # # 点击喜欢的音乐
        # ActionChains(driver).move_by_offset(-870, 830).click().perform()
        # time.sleep(0.3)


        # -----------------selenium自动登录-----------------------

        # 将driver获取的字典类型的cookie提取name和value封装成字符串
        # 临时存放每个拼接好的key=value字符串
        temp = []

        # 遍历driver给的cookies字典
        for i in driver.get_cookies():
            temp.append(i['name'] + "=" + i['value'])

        # 返回字符串cookie
        return ';'.join(temp)

    def start_requests(self):
        # 定义请求头的时候调用一下getCookie获取一下cookie
        headers = {
            'Cookie': self.getCookie(),
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'
        }
        # 注意url是个列表这里拿下标[0],然后把headers请求头塞进去,交给parse函数
        yield scrapy.Request(url=self.start_urls[0], headers=headers, callback=self.parse)

    def parse(self, response):
        # 匹配歌曲名的正则表达式
        patt = re.compile(r'<a href="/song.id=.*?">([^<|{]*?)</a>')

        # 找到所有歌曲名
        listdata = re.findall(patt, response.text)

        # 把数据写进txt文件
        with open(file="response.txt", mode="w+", encoding="utf-8") as file:
            for item in listdata:
                file.write(item+"\n")

在这里插入图片描述

原创不易,请给博主一个小小的赞吧~

我不是秃头sheep
关注
  • 44
    点赞
  • 踩
  • 93
    收藏
    觉得还不错? 一键收藏
  • 14
    评论
专栏目录
Python爬虫实战之爬取web网易云音乐——解析
date3_3_1kbaicai的博客
07-14 1万+
网易云音乐爬虫，以python代码中execjs模块进行爬取，对细节进行具体的分析。
Python爬虫实战：网易云音乐爬取！
爬遍所有网站
11-12 5473
本次目标 爬取网易云音乐 https://music.163.com/ PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资料以及群交流解答点击即可加入 环境 python 3.6 pycharm 爬虫代码 导入工具 import requestsimport re 请求网站、解析网站数据 def get_music_url(music_id, music_title): url = 'https://api.zhuol..
Python爬虫网易云音乐，Tkinter制作音乐播放器
享你所想
10-25 1804
我们先来看一下，歌曲是如何从网页上爬取出来的，我们先来爬取飙升榜前Top100首歌曲。页面的美化以及功能还有待升级~使用语言：python3.7。开发工具：PyChram。
如何使用Selenium处理Cookie，今天彻底学会了！_selenium获取cookies
最新发布
2401_83739411的博客
04-10 1054
p1024b （备注软件测试）**[外链图片转存中…(img-yhjVi8hR-1712760257025)]
利用python获取网易云音乐的歌曲，原理+代码！简单易懂
qq_56182387的博客
05-29 4356
原理：使用了 requests 库发送 HTTP 请求，通过访问网易云音乐的搜索接口（https://music.163.com/api/search/get/web）来获取搜索结果的 JSON 数据。然后，使用 json 模块解析 json 数据，提取所需的歌曲信息。# 解析歌曲列表信息，并逐个提交下载任务到线程池。来看效果，输入想要搜索的歌曲，然后自动进行下载。
Python爬虫实践--爬取网易云音乐
xxue345678的博客
06-12 4246
最近，网易的音乐很多听不到了，刚好也看到很多教程，跟进学习了一下，也集大全了吧，本来想优化一下的，但是发现问题还是有点复杂，最后另辟捷径，提供了简单的方法啊！用python，就一定要简单，我认为复杂的东西，还是尽量少做，能取巧就取巧，所以本文没有使用selenium+phantomjs实践。注：本文只是技术交流，请不要商业用途~ 如有违反，本人一概不负责。全部代码又是非常简单的100行代码完事！！！
Python爬虫练习：爬取网易云音乐评论(2024附完整代码)
白诗。的博客
03-14 4374
爬取网易云音乐评论(2024附完整代码)
Python爬虫 - 网易云音乐下载
Life And Code
01-18 5925
因为网页中，只能显示出歌单的前20首歌曲，所以仅支持下载前20首歌曲（非VIP音乐）爬取网易云音乐实战，仅供学习，不可商用，出现问题，概不负责！联系邮箱：mango_1698@163.com。分为爬取网易云歌单和排行榜单两部分。下载部分与下载歌单歌曲相同。
用selenium和BeautifulSoup爬取网易云音乐歌手id
01-20
本人正在点亮爬虫技能树，写blog以记录 selenium和bs4介绍 Selenium 自动化测试工具。它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，如果你在这些浏览器里面...我们爬取页面为网易云音乐的歌
基于Python Scrapy实现的网易云音乐music163数据爬取爬虫系统 含全部源代码
07-10
基于Python Scrapy实现的网易云音乐music163数据爬取爬虫系统 含全部源代码 基于Scrapy框架的网易云音乐爬虫，大致爬虫流程如下： - 以歌手页为索引页，抓取到全部歌手； - 从全部歌手页抓取到全部专辑； - 通过...
scrapy+selenium之中国裁判文书网文书爬取
12-23
爬取框架：scrapy框架 + selenium模拟浏览器访问 开始想暴力分析网页结构获取数据，哈哈哈哈哈，天真了。看来自己什么水平还真不知道。 之后锁定pyspider框架，搞了四五天。该框架对于页面超链接的连续访问问题，...
python爬取网易云音乐评论
04-01
在Python编程领域，爬虫是一项常见的技术，用于自动获取网页数据。本项目专注于使用Python爬取网易云音乐的评论信息，这涉及到网络请求、解析HTML或JSON数据、模拟登录等多方面知识。以下是对这些知识点的详细解释：...
Python爬虫实战 | (21) Scrapy+Selenium爬取新浪滚动新闻-附件资源
03-02
Python爬虫实战 | (21) Scrapy+Selenium爬取新浪滚动新闻-附件资源
【Python爬虫】爬取网易云音乐，打造音乐下载器
热门推荐
ZoomToday
03-12 1万+
在前一篇文章，正好总结过了Tkinter以及canvas画布的使用，学以致用，用Tkinter来创建一个窗口，在此基础上实现音乐的下载逻辑，并在最后打包成exe文件。 最近刚好学了Tkinter和Canvas画布，顺便总结了一下，想着那它来做点什么练练手，我平常挺喜欢听音乐，特别是在大型评论APP平台——网易云音乐（滑稽），歌不仅推荐的好，而且评论“个个说话又好听”。所以想着自己做一个音乐...
微信小程序网易云音乐获取视频列表数据(需要登录获取携带cookie)
weixin_48952990的博客
07-06 1747
微信小程序网易云音乐获取视频列表数据（需要登录获取写到cookie）
python爬虫实例网易云-Python3爬虫实例之网易云音乐爬虫
weixin_37988176的博客
10-30 2626
本篇文章给大家带来的内容是Python3爬虫实例之网易云音乐爬虫。有一定的参考价值，有需要的朋友可以参考一下，希望对你们有所帮助。此次的目标是爬取网易云音乐上指定歌曲所有评论并生成词云具体步骤：一：实现JS加密找到这个ajax接口没什么难度，问题在于传递的数据，是通过js加密得到的，因此需要查看js代码。通过断掉调试可以找到数据是由core_8556f33641851a422ec534e33e6f...
python爬网易云_如何用爬虫获取网易云音乐歌单中的歌曲？
weixin_39866817的博客
11-21 206
—————————————————————————————————泻药，以我抓取了307835首网易云音乐的歌单歌曲的经验，讲一下这个问题。喜欢用Github的可以直接看我的项目源码，代码简单、具体使用方法和数据库细节介绍的很全面：Chengyumeng/spider163我使用的技术栈是Python + MySQL，数据库相关的配置可在spider163.conf中配置。我使用的策略是，通过热门...
网易云音乐爬虫超简单，告别会员享受听觉盛宴
weixin_44099558的博客
12-26 3331
小编下面给大家分享一个爬虫干货案例，爬取网易云付费音乐。你心动了么？ 学习Python中有不明白推荐加入交流裙                 号：735934841                 群里有志同道合的小伙伴，互帮互助，                 群里有免费的视频学习教程和PDF！ 先来看效果图： TIM截图20180716011847.png 使用方法： 到网...
scrapy+selenium爬取网页动态加载数据实例讲解
07-12
当使用 Scrapy 和 Selenium 结合进行网页动态加载数据的爬取时，可以按照以下步骤进行操作： 1. 安装所需库：确保已安装 Scrapy 和 Selenium 库。可以使用以下命令进行安装： ``` pip install scrapy pip install selenium ``` 2. 创建 Scrapy 项目：使用以下命令创建一个新的 Scrapy 项目： ``` scrapy startproject dynamic_scraping ``` 3. 创建 Spider：进入项目目录，并使用以下命令创建一个新的 Spider： ``` cd dynamic_scraping scrapy genspider example example.com ``` 这将在 `spiders` 目录下创建一个名为 `example.py` 的 Spider。 4. 配置 Spider：打开 `example.py` 文件，并按照以下示例进行配置： ```python import scrapy from scrapy_selenium import SeleniumRequest from scrapy.selector import Selector class ExampleSpider(scrapy.Spider): name = 'example' allowed_domains = ['example.com'] def start_requests(self): yield SeleniumRequest( url='https://example.com', callback=self.parse ) def parse(self, response): sel = Selector(response) # 在这里使用 XPath 或 CSS 选择器提取动态加载的数据 # 示例：提取标题 title = sel.xpath('//h1/text()').get() print(title) ``` 在上面的示例中，我们使用了 `SeleniumRequest` 替代了普通的 `scrapy.Request`，这使得 Scrapy 可以使用 Selenium 来处理动态加载的内容。 5. 配置 Selenium：为了使用 Selenium，你需要配置相关的 Web 驱动程序。根据你使用的浏览器，下载并安装相应的驱动程序，并将其添加到系统的 PATH 环境变量中。 6. 运行 Spider：使用以下命令运行 Spider： ``` scrapy crawl example ``` 这将启动爬取过程，并在控制台上打印出提取的动态加载数据。 通过以上步骤，你可以使用 Scrapy 和 Selenium 结合进行爬取动态加载数据的操作。你可以根据实际需求修改 Spider 中的代码来提取所需的数据，并将其保存到文件或数据库中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 14
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值