四十行Python代码，带你爬取热门音乐评论，制作评论词云图！

请求页面数据

driver.get(‘https://music.163.com/#/song?id=569213220’) #

selenium无法直接获取到嵌套页面里面的数据

switch_to.frame() 切换到嵌套网页

driver.switch_to.frame(0)

让浏览器加载的时候, 等待渲染页面

driver.implicitly_wait(10)

driver.page_source 获取请求页面的 html 数据

print(driver.page_source)

下拉页面, 直接下拉到页面的底部

js = ‘document.documentElement.scrollTop = document.documentElement.scrollHeight’

driver.execute_script(js)

控制翻页 速度太快

for page in range(10):

解析评论数据

divs = driver.find_elements_by_css_selector(‘.itm’) # 所有div css语法: 定位到 html 数据/xpath/正则

for div in divs:

cnt = div.find_element_by_css_selector(‘.cnt.f-brk’).text

cnt = re.findall(‘：(.*)’, cnt)[0] # 中英文有区别

print(cnt)

with open(‘contend.txt’, mode=‘a’, encoding=‘utf-8’) as f:

f.write(cnt + ‘\n’)

翻页 , 找到下一页标签, 点击?

driver.find_element_by_css_selector(‘.znxt’