linux安装chrome_记linux安装chrome及chrome driver

5680f780913cdde34a896ed8558945c7.png

1、部门让我负责爬取某个网站,但是一个特殊需求就是爬取经纬度,而经纬度在对方那里使用js异步执行得到的,因此使用一般的爬虫方法获取不到经纬度,后来各种搜寻了解到pantomjs可以处理这方面的需求,后面了解到pantomjs已经停止更新,进一步了解原来chrome或者firefox无头浏览器已经替代了pantomjs,后面在windosw上测试通过。使用这种方式必须保持chrome浏览器和驱动版本是一致的。

2、后来准备把项目迁移到linux上线,在服务器安装chrome出现各种问题,诸如Requires: libstdc++.so.6(GLIBCXX_3.4.15)(64bit)这种缺少各种依赖,因此只要把依赖安装好就可以啦。但是我的linux总是出现No package XXX available。导致这个有2个原因:一是本地base仓库没有该包,得依赖第三方包,这里可以加入阿里云epel.repo;二是本地base不存在该包,因为base.repo默认用的是公司自己的repo,还是换上阿里云的yum源就可以啦。

3、然后在可能会出现其他问题,把chrome和driver加入path环境,或者设置chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument("window-size=1024,768")
chrome_options.add_argument("--no-sandbox")

会解决很多问题。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值