webdriver爬取网易云歌单信息

import time
from selenium import webdriver


driver =  webdriver.Chrome()


driver.get("https://music.163.com")
driver.find_element_by_link_text("歌单").click()
iframe = driver.find_element_by_tag_name("iframe")
driver.switch_to.frame(iframe)
class_list = driver.find_elements_by_xpath(".//div[@class='bd']/dl")	#根据歌单大分类分组
for cla in class_list:
	ch_class_list = cla.find_elements_by_xpath("./dd/a")	# 小分类分组)
	for ch_class in ch_class_list:
		print(ch_class.get_attribute("href"))
		print(ch_class.get_attribute("data-cat"))	#打印分类的连接，以及分类名



time.sleep(3)
driver.close()

同样的，在网易云音乐中发现也需要做frame的切换

网易云音乐的分类是一层层分类的，所以设置了两层循环，如果要保存url便于后续的信息抓取，应当使用一个字典保存