![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
selenium
忆雨星辰
这个作者很懒,什么都没留下…
展开
-
综合使用python爬虫技术,selenium模块动态抓取“视觉中国”网站上的图片的url
一、 导入模块 import time from selenium import webdriver from lxml import etree 本文章纯粹用来练手,于是我使用了etree,其实光使用find_elements…的方法也可以 二、开始干活 1.首先创建driver对象 driver=webdriver.Chrome() 2.打开网站 driver.get("https://ww...原创 2018-10-28 15:35:24 · 1394 阅读 · 0 评论 -
使用爬虫python中的selenium模块抓取某小说网站某一章节中的JavaScript动态加载的内容
使用selenium抓取小说内容 创建一个browser对象,用chrome启动 from selenium import webdriver 直接启动会报错“ Message: ‘chromedriver’ executable needs to be in PATH” 使用这个的前提要安装一个chromedriver.exe放在项目下,去网上找与你的chrome对应的版本 browser=...原创 2018-10-23 21:43:35 · 961 阅读 · 0 评论 -
使用selenium爬取淘宝页面中的商品信息
一、分析 淘宝页面中的商品都是用js动态加载的,所以使用selenium模块抓取内容 1.首先分析如何用关键字搜索内容 2.打开浏览器 3.然后分析页面结构,抓取信息 4.其次获取商品具体信息的话需要打开二级页面 5.需要找到下一页的按钮用于模拟点击下一页,从而获取所有页面的相关信息 二、开始操作 1.首先分析如何用关键字搜索内容 注意到页面的规律为https://s.taobao.com/sea...原创 2018-10-31 21:14:46 · 2757 阅读 · 0 评论 -
selinum中获取js加载的页面中滚动条的一些操作
js = "var q=document.body.scrollHeight;return (q)" res=driver.execute_script(js) for i in range(res//800+1): js = "window.scrollTo("+str(i*800)+","+str(i*800+800)+")" driver.execute_script(js) ...原创 2018-10-31 21:51:25 · 1219 阅读 · 0 评论