提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
前言
通过Python爬取米游社最新文章的标题并保存到csv文件中,然后利用其它网站制作成词云。
ps:我是工管的,Python是我业余学的,所以代码写的比较丑陋请见谅…
一、爬取过程中出现的问题
因为米游社文章的刷新是通过鼠标下滑的方式实现的,因为没有爬取过类似的页面,所以查询相关资料后发现selenium库可以模拟鼠标下滑操作。具体操作实现:
#找到chromedriver.exe的位置,然后模拟打开米游社
chrome_driver=r'C:\Users\user\AppData\Roaming\Python\chromedriver.exe'
driver = webdriver.Chrome(executable_path=chrome_driver)
driver.get('https://bbs.mihoyo.com/ys/home/26?type=2')
time.sleep(2)#休息几秒以防意外
#利用selenium模拟鼠标下拉操作
for i in range(100):
a=str((i+1)*3)+'000'
driver