提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
前言
提示:这里可以添加本文要记录的大概内容:
python爬取网抑云音乐评论
提示:以下是本篇文章正文内容,下面案例可供参考
一、python爬取网抑云音乐评论
最近有一个需求,是需要获取网易云音乐的网页上的音乐评论,所以我就编写了这个代码。
这个代码依托于Selenium自动化工具,可以在Python库的帮助下得到我们想要的内容。
二、使用步骤
1.引入库
代码如下(示例):
import time
from selenium import webdriver
2.代码部分
代码如下(示例):
def parse_data(driver):
#2.进入嵌套标签,提取对应标签数据
divs = driver.find_elements_by_css_selector('div.itm')
print(divs)
return divs
def save_data(divs):
#3.保存数据
with open('网易云评论.txt', mode='a', encoding='utf-8') as f:
for div in divs:
view = div.find_element_by_css_selector('div.cnt.f-brk').text
print(view)
f.write(view + '\n')
print('保存成功!')
def click_next(driver, page):
#4.发生点击事件,跳转到下一页
js = 'document.documentElement.scrollTop=document.documentElement.scrollHeight'
driver.execute_script(js)
driver.find_element_by_css_selector('.znxt').click()
print('<'*50 +'第{}页翻页成功!'.format(page)+ '>'*50)
time.sleep(5)
#1.实例化浏览器对象,隐式等待,最大化窗口
driver = webdriver.Chrome('chromedriver.exe')
driver.get('https://music.163.com/#/playlist?id=924680166')
driver.implicitly_wait(10)
driver.maximize_window()
driver.switch_to.frame(0)
#循环遍历五页数据
for i in range(1, 6):
#获取及解析数据
list_div = parse_data(driver)
#保存数据
save_data(list_div)
#翻页操作
click_next(driver, i)
#5.阻塞以及退出
input()
driver.quit()
python爬取网抑云音乐评论
总结
提示:这里对文章进行总结:
例如:以上就是今天要讲的内容,本文仅仅简单介绍了python爬取网抑云音乐评论的方法,多多练习哦