linux下无界面环境安装并使用chrome,chromedriver,selenium进行爬虫设计

最新推荐文章于 2024-05-07 02:23:33 发布
最新推荐文章于 2024-05-07 02:23:33 发布
阅读量3.1k 收藏 11
点赞数
分类专栏： python 爬虫 py 文章标签： python linux vim
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42262769/article/details/115008086
版权

学习目标：

linux下无界面环境安装并使用chrome,chromedriver,selenium进行爬虫设计
例如：掌握linux下 python爬虫环境的搭建与测试

学习内容：

需要的环境：
python3
chrome
chromedriver
selenium

1、 测试Python环境（没有的话进行安装）

whereis python

whereis pythonwhereis python 查看当前系统的python环境（可以看到我这个里面有python2、python3，这两个是不太兼容的，个人常用的是python3）

python3

python3
这里可以看到我的是python3.6.8，打开这个命令窗口后可以按 ctl+z 或者使用命令

exit()

最低0.47元/天 解锁文章
ZzikoWong
关注
  • 0
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
Linux服务器上搭建Python+Selenium+Chrome的运行环境（静默模式、无图形）
reading-conference-writing
09-02 6829
在Linux服务器上快速安装Chrome、ChromeDriver，然后安装Selenium包、通过Python开发、驱动Chrome无图形运作，完成页面爬取和自动化测试。
linux上使用chrome自动化测试（无界面）
weixin_30263277的博客
12-23 633
selenium自动化测试主要是用于有图形界面的系统上，对于无图形界面的情况可以通过以下方法来实现 服务器信息 [root@spider01 ~]# hostnamectl Static hostname: spider01 Icon name: computer-vm Chassis: vm Machine ID: 1c40...
在Linux上使用Selenium驱动Chrome浏览器无头模式
最新发布
若不知道要驶向哪个码头，那么任何风都不会是顺风。
05-07 3005
大家好，我们平时在做UI自动化测试的时候，经常会用到Chrome浏览器的无头模式（无界面模式），并且将测试代码部署到Linux系统中执行，或者平时我们写个爬虫爬取网站的数据也会使用到，接下来和大家分享一下在Linux系统中使用Chrome无头模式。
linux selenium chrome chromedriver及无浏览器界面运行方式
热门推荐
wudaoshihun的博客
10-06 1万+
1. 安装chrome 我使用的是Centos7,使用如下安装方式 配置yum下载源： 在目录 /etc/yum.repos.d/ 下新建文件 google-chrome.repo, 并且在该文件中添加如下内容： [google-chrome] name=google-chrome baseurl=http://dl.google.com/linux/chrome/rpm/stable/$b...
【亲测】linux【centos7】+java+无界面Chrome自动化
weixin_42272093的博客
04-09 250
【亲测】linux【centos7】+java+无界面Chrome自动化 1.配置项目环境，我的是java+maven+testing JDK安装这里就不啰嗦了，自行百度吧 -------maven安装 我是直接把idea下的maven拷贝进去，tar命令解压一下 最后执行命令 mvn -v 能打印出maven版本信息标识安装完成 最后把maven配置到/etc/profile 中，齐活儿 --------testng这个直接就是pom文件中配置即可 2. 安装无界面chrome 下载驱动 wget htt
linux 终端打开chrome,我应该输入什么命令来从终端运行Chrome？
weixin_39723102的博客
05-03 6865
问题描述我有VNC和jwm桌面访问的远程盒子。没有菜单，没有桌面图标，只有终端窗口。我已经下载了Chrome的.deb软件包并进行了安装。如何从终端窗口运行它？最佳解决思路简单地输入google-chrome对我来说很好。如果您安装了Chromium，它可能无法正常工作。 chromium-browser用于 chrome 。对于Chrome：google-chrome对于 chrome ：chr...
无图形界面Linux安装chrome实现自动化测试
极境的博客
05-17 3126
文章目录前言一、安装二、测试 前言 记录在无图形界面的环境下，实现自动化测试的方法。环境：云服务器ubuntu，使用xshell连接。$ ：本文表示在命令行中输入。 一、安装 1.在服务器中安装谷歌 $ wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb $ sudo dpkg -i google-chrome*.deb # 如果出错，执行下一个命令 $ sudo apt-get install -f
【一文搞懂】Linux CentOS无界面模式安装chrome和chromedriver(Linux系统通用)
weixin_42075154的博客
08-26 5422
sz filename：从服务器下载文件至本地。给chromedriver加最高的权限。查看chromedriver文件权限。拷贝chromedriver。rz：从本地上传文件至服务器。查看chrome版本。安装selenium。
Linux 服务器配置selenium 爬虫
UIBE_day_day_up的博客
02-11 4012
在 Linux 服务器运行爬虫有时可以取得奇效，但在 Linux 服务器环境（即无图形化界面）下配置爬虫环境、代理 IP 与常见的 Windows 环境有着较大区别。本文为对在 Linux 服务器上配置 selenium 及 Google Chrome 环境并基于代理 IP 运行爬虫的经历记录，针对一些笔者遇到的坑提供了解决方案，供读者参考。
linux上面运行python抓取数据时由于chromedriver和chromium没有关闭导致的内存泄漏的问题解决方案
qq1300375795的博客
09-01 2341
在linux上面通过selenium的webdriver抓取数据的时候需要正确的关闭浏览器，不然就会出现内存泄漏的问题,注意下面的close和quir都需要加上去，其中close是关闭chromium，而quit则是关闭chromedriver的例如:simulated_browser = webdriver.Chrome() simulated_browser.get("www.baidu.com
python+selenium+chromedriver实现爬虫示例代码
09-17
你需要下载与你本地 Chrome 浏览器版本匹配的 ChromeDriver，并将其路径添加到系统环境变量，以便 Selenium 能够找到并使用它。 **禁止 Chrome 自动更新**： 为了避免 Chrome 更新导致的兼容性问题，可以禁用 ...
Python+Chrome+Chromedriver+Selenium.zip
11-10
接下来，安装适用于当前版本Chrome的Chromedriver，并将其路径添加到系统环境变量，这样Selenium才能找到并启动Chrome。 编写秒杀脚本时，首先需要导入Selenium库，然后创建一个Chrome浏览器实例，指定Chromedriver...
python+selenium+chromedriver实现爬虫
01-20
下载好所需程序 1.Selenium简介 Selenium是一个用于Web应用程序测试的工具，直接运行在浏览器中，就...解决Pycharm无法使用已经安装Selenium的问题 3.禁止谷歌浏览器自动更新 搜索本地：管理工具-服务-Google自动更新服
chromedriver_linux64 (ChromeDriver 89.0.4389.23).zip
05-16
总结来说，"chromedriver_linux64 (ChromeDriver 89.0.4389.23).zip"是一个用于Linux系统的Chrome自动化测试驱动程序，主要配合Selenium WebDriver进行Web自动化测试和爬虫开发。使用时，需要确保与Chrome浏览器版本...
linux 提取数据命令,Linux提取命令grep(一)
weixin_39609573的博客
05-12 267
grep作为linux中使用频率非常高的一个命令，和grep检索的条件是多种多样的，甚至还可以和正则表达式合作来检索。下面我们来看grep的用法# grep [选项] ‘字符串’ 文件名说明：grep用法中，字符串就是我们想要检索的字符串；文件名就是数据来源，也就是我们需要分析的数据。因为grep可以接受来自标准输入的数据，所以一般情况下grep作为管道命令来使用。首先我们来看一个实例，该实例不使...
linux-网页抓取
雨夜聆风的专栏
05-16 3316
最近一直在学习stevens的unix网络编程，对于网络通信有了一定的认识，所以也想练练手。聊天程序之前用winsock做过，这次不想做重复的。之前看到一哥们写过windows下抓取猫扑的帖子，我觉得抓页面也是一个不错想法。我也喜欢逛猫扑，有时候也去追追里面写的文章，猫扑帖子少了一个很重要的功能，就是只看楼主的帖子。猫扑水人很多，容易把楼主的帖子淹没在大海里面。         查看了一下猫扑帖
元数据与数据治理实战｜ Google Chrome抓包分析详解（7）
十年呵护的专栏
01-27 1369
开篇点题 虽然和数据主力关系不大，在学习的过程当中，无意穿插了爬虫的知识，也就有了此篇的抓包分析，感兴趣的可以看下，还是有用的。 正文部分 前言：因作LaGou网翻页教程，频繁访问，导致IP被封，所以先来篇我们该如何抓包。 目标：学会利用Chrome浏览器的开发者工具进行HTTP请求分析 一：什么是抓包 即抓取我们本地电脑与远端服务器通信时候所传递的数据包 二：Chrome浏览器讲解...
使用selenium爬虫并解析网页
06-10
好的，我可以帮你解答这个问题。使用Selenium进行爬虫需要以下步骤： 1. 安装Selenium库和对应的浏览器驱动（如ChromeDriver）。 2. 创建一个浏览器对象并访问目标网址。 3. 使用Selenium提供的API进行页面元素的查找和交互操作，比如点击按钮、输入文本等。 4. 获取页面源代码并进行解析，可以使用Python的BeautifulSoup库或者其他解析库。 下面是一个使用Selenium爬取百度首页并打印标题的简单示例代码： ```python from selenium import webdriver from bs4 import BeautifulSoup # 创建浏览器对象并访问目标网址 driver = webdriver.Chrome() driver.get("https://www.baidu.com") # 查找页面标题元素并打印内容 html = driver.page_source soup = BeautifulSoup(html, 'html.parser') title = soup.find('title') print(title.text) # 关闭浏览器 driver.quit() ``` 需要注意的是，使用Selenium进行爬虫可能会被网站识别为机器人并进行拦截，因此需要设置一些请求头信息、使用代理等策略来规避风险。另外，Selenium使用的是浏览器内核进行页面渲染，相比于直接请求网页源代码，会消耗更多的资源和时间，因此在爬取大量数据时需要谨慎使用。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值