selenium对雪球新闻爬取

最新推荐文章于 2025-05-03 20:09:04 发布

a1515820713

最新推荐文章于 2025-05-03 20:09:04 发布

阅读量777

点赞数

文章标签： selenium javascript 爬虫

本文链接：https://blog.csdn.net/a1515820713/article/details/120631241

版权

该博客展示了如何利用selenium库进行网页交互，抓取雪球网站的实时新闻。通过模拟页面滚动和点击加载更多按钮，遍历并提取新闻标题及链接。示例代码包括有界面和无界面两种模式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from selenium import webdriver
import time

url = 'https://xueqiu.com/?category=livenews'
driver = webdriver.Chrome()
driver.get(url)
driver.implicitly_wait(5)

driver.find_element_by_xpath('//*[@id="app"]/div[3]/div[1]/div[2]/div[1]/a[2]').click()

## 下拉到页面底端
for y in range(200):
js = 'window.scrollBy(0,100)' ## 下拉滚动条
driver.execute_script(js) ##执行js代码

time.sleep(0.01)
continue

## 下拉到页面底端出现加载更多按钮
for t in range(20):
## 点击加载更多按钮重复20次
driver.find_element_by_xpath('//*[@id="app"]/div[3]/div[1]/div[2]/div[2]/a').click()
for j in range(200): ## 下拉
js = 'window.scrollBy(0,100)'
driver.execute_script(js)

time.sleep(0.01)

#js = 'window.scrollTo(0,10000)'
#driver.execute_script(