用selenium进行网易云音乐进行评论爬取

用selenium进行网易云音乐进行评论爬取,然后做成词云图
这个是抓取刀郎-黄玫瑰的评论词云

在这里插入图片描述

以下是抓取的代码,初学者,可能不是很完美,能运行。。呵呵。

#!/usr/bin/python
# -*- coding: <encoding name> -*-

import time
from selenium import webdriver
import re


comment_list = [] # 定义评论列表文件

browser = webdriver.Chrome()
url = 'https://music.163.com/song?id=168091' # 输入需要抓取网易音乐的单曲页面
browser.get(url)
browser.implicitly_wait(5)
browser.switch_to.frame('contentFrame') # 进入frame

for x in range(6): # 64是需要抓取的页面总数***
    button = browser.find_element_by_link_text('下一页') # 通过找到‘下一页’的按钮进行翻页
    time.sleep(2)
    #print(button.text)
    aa = browser.find_elements_by_xpath('//div/div[2]/div[1]/div[1]') # 定位评论文字
    for i in aa:
        #print(i.text)
        a = re.search(':', i.text) # 通过正则表达式进行“:”定位,得出左边是评论者,这个要去掉
        #print(a)
        if a:
            n = i.text.index(':') + 1
            m = i.text[n:] # 只保留从“:”右边的文字,就是纯正的评论文字
            comment_list.append(m)
        else:
            #comment_list.append('')
            print('继续工作......')

    print('抓取了>>>>' + str(x) + '<<<<页')
    button.click() # 自动进行“下一页”的按钮

with open('e:/python-result/music.txt','a',encoding = 'utf-8') as f: # 保存文本文件
    f.write(str(comment_list))
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值