记录一次爬虫实战中使用selenium遇到的问题

最新推荐文章于 2021-11-29 15:04:05 发布

小伟哥哥ww

最新推荐文章于 2021-11-29 15:04:05 发布

阅读量317

点赞数

分类专栏：遇到的问题文章标签： selenium

本文链接：https://blog.csdn.net/qq_34731627/article/details/88725779

版权

遇到的问题专栏收录该内容

9 篇文章 1 订阅

订阅专栏

目标站点https://iplay.163.com/hot (网易LOOK直播网站)

1.首先分析页面，发现获取主播的数据接口请求是加密的，通过下滑出发JS发送请求。不想分析
2.采用selenium 模拟下滑(问题)
3.配置selenium 不加载图片(省去不必要的时间)

chrome_options = webdriver.ChromeOptions()
prefs = {
    'profile.default_content_setting_values': {
         'images': 2,
        'javascript': 2
    }
}
chrome_options.add_experimental_option('prefs', prefs)

等待元素出现执行操作

WebDriverWait(driver, 20).until(lambda driver:driver.find_element_by_css_selector('.price > strong'))

准备用去执行js模拟下滑

var q=document.documentElement.scrollTop=10000;
self.driver.execute_script(js)

但是发现就一直无效，经过摸索这个是针对html节点的
总结方法：
6. 如果滚动条是针对整个HTML可以用如下方式：

js = "var q=document.documentElement.scrollTop=10000"  # documentElement表示获取根节点元素
self.driver.execute_script(js)

如果滚动条是针对整个body可以用如下方式：

js = "var q=document.body.scrollTop=10000"  # documentElement表示获取body节点元素
self.driver.execute_script(js)

如果滚动条是针对某个div可以用如下方式：该页面的滚动条就是针对class='main’的div而言的

js = "var q=document.getElementsByClassName('main')[0].scrollTop = 10000"  # getElementsByClassName表示获取class='main'的元素列表，0表示第一个，所以使用的时候要加索引
self.driver.execute_script(js)