利用python中的selenium和BeautifulSoup库爬取米游社最新文章的标题

本文介绍了如何利用Python的selenium库模拟鼠标操作,结合BeautifulSoup库,爬取米游社的最新文章标题,并将数据保存到CSV文件。之后,作者通过词云网站wordart.com展示了数据可视化效果。
摘要由CSDN通过智能技术生成

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档


前言

通过Python爬取米游社最新文章的标题并保存到csv文件中,然后利用其它网站制作成词云。
ps:我是工管的,Python是我业余学的,所以代码写的比较丑陋请见谅…


一、爬取过程中出现的问题

因为米游社文章的刷新是通过鼠标下滑的方式实现的,因为没有爬取过类似的页面,所以查询相关资料后发现selenium库可以模拟鼠标下滑操作。具体操作实现:

#找到chromedriver.exe的位置,然后模拟打开米游社
chrome_driver=r'C:\Users\user\AppData\Roaming\Python\chromedriver.exe'
driver = webdriver.Chrome(executable_path=chrome_driver)
driver.get('https://bbs.mihoyo.com/ys/home/26?type=2')
time.sleep(2)#休息几秒以防意外
#利用selenium模拟鼠标下拉操作
for i in range(100):
    a=str((i+1)*3)+'000'
    driver
  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值