利用selenium 爬取网页数据

有些网站的数据是加密过的,不能直接通过请求的方式获取。于是我们可以利用脚本测试工具selenium来控制浏览器从而爬取数据。

安装:

chrome:

地址栏输入 chrome://settings/help 查看浏览器版本信息:

去:http://chromedriver.storage.googleapis.com/index.html

下载相对应的驱动然后放入浏览器的安装目录:

win:C:\Program Files (x86)\Google\Chrome\Application

Linux / mac:/usr/local/bin

若win下无法启动。可能原因是权限的问题。可以把该下载的可执行文件复制到代码同一目录即可。

from selenium import webdriver

browser = webdriver.Chrome()#初始化
browser.get(url)

browser.close()

以上代码即可打开一个浏览器

更多:

路径选择器:

browser.find_element_by_xpath("//div[@class='leftContent']")

获取网页源码:

get_attribute('innerHTML')

 

 

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值