Selenium模拟浏览器访问

VIP文章 已于 2022-09-11 18:05:53 修改
阅读量3.2k 收藏 11
点赞数 2
分类专栏： 爬虫 文章标签： selenium python 测试工具
于 2022-09-11 18:04:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44302046/article/details/126774306
版权
最低0.47元/天 解锁文章
我的眼里只有学习
关注
  • 2
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
微信公众号的爬取 Selenium+Chromedriver
09-20
自动爬取微信公众号历史所有文章以及封面图片 Selenium + Chromedriver
python-selenium登陆今日头条
a942242856的博客
03-10 1939
原文地址：http://www.bianbingdang.com/article_detail/148.html #python-selenium登陆今日头条 在运营今日头条的过程当中，有时候未免要进行一些重复无味的劳动。比如在发放微头条的时候，写好了许多内容，并不像每次登陆然后逐个发表。比如我想每个整点去发表一些东西。那么自动登陆今日头条就很有必要了。 选择selenium 选择这个工具的原...
selenium中ChromeDriver配置，一把过，并且教你伪装
knighthood2001
03-07 1134
最近正值毕业季，我之前不是写了个问卷星代码嘛，昨晚上有人凌晨1点加我，问我相关内容。由于我之前C盘重装了一下，导致我很多东西空有其表，实际不能用，借此机会，向大家编写ChromeDriver配置，这是实现selenium自动化的第一步。很多人觉得这一步很麻烦，其实也还好。首先就是chromedriver和chrome版本是对应的，你不能跨版本安装，否则就会提示版本不适配，报错。具体步骤可以看目录，也就是查看chrome版本->资源获取->复制到chrome路径下->复制到python解释器路径下。
python爬虫之selenium模拟浏览器
爱编程的鱼的博客
12-24 3199
之前在异步加载（AJAX）网页爬虫的时候提到过，爬取这种ajax技术的网页有两种办法：一种就是通过浏览器审查元素找到包含所需信息网页的真实地址，另一种就是通过selenium模拟浏览器的方法[1]。当时爬的是豆瓣，比较容易分析出所需信息的真实地址，不过一般大点的网站像淘宝这种是不好分析的，所以利用selenium模拟浏览器的行为来爬取数据是一个比较可行的办法。
【Selenium】浏览器配置
xmfboss.科技
05-27 2060
通过selenium启动浏览器是，会发现是启动的一个新的浏览器，我们的一些登录信息，浏览器配置都会清楚，通过执行比较不方便，那么这一篇就简单介绍下如何配置Chrome浏览器的配置。我们通过selenium每次启动的时候都会发现地址栏下存在Chrome正在受到自动测试软件的控制提示语，安静表示不美观，想要去除，也可以通过上述方法，添加浏览器配置信息进行去除。在配置之前，首先查看下浏览器的信息，这样方便下一步进行配置，最主要的是找到个人配置文件路径，然后在启动浏览器的时候添加进去。
python 使用selenuim模拟浏览器， 获取请求头
qq_32739515的博客
12-04 3506
某些网站请求数据需要一些加密的参数，所以使用selenuim模拟访问 获取 selenuim 中 请求自动生产的 加密参数 from selenium import webdriver from selenium.webdriver.common.desired_capabilities import DesiredCapabilities     caps = { &n...
[爬虫]2.2.1 使用Selenium库模拟浏览器操作
Andy0214的专栏
07-22 6146
Selenium是一个非常强大的工具，用于自动化Web浏览器的操作。它可以模拟真实用户的行为，如点击按钮，填写表单，滚动页面等。由于Selenium可以直接与浏览器交互，所以它可以处理那些需要JavaScript运行的动态网页。
selenium模拟浏览器操作
weixin_50646402的博客
06-17 471
Selenium是一个用于Web应用程序测试的工具。Selenium主要用于自动化测试，测试直接运行在浏览器中，就像真正的用户在操作一样。同样，selenium可以模拟用户在浏览器的行为，利用网页定位获取网页信息。
selenium（五）伪造浏览器
weixin_30394669的博客
02-06 2809
简介： 这个就比较好玩了，大家还记得以前的QQ小尾巴么？还有百度贴吧的小尾巴，就是那个来自***的iphone7，这个功能。 这个功能是基于浏览器的user-agent功能实现的。 还是httpbin.org http://httpbin.org/user-agent User Agent中文名为用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系...
Python 爬虫：requests 和 selenium 伪装 headers 和代理应对反爬机制
weixin_55154866的博客
03-25 3000
目录 [1、requests 伪装 headers 发送请求] [2、selenium 模拟使用浏览器伪装 headers] [3、requests 使用 ip 代理发送请求] [4、selenium webdriver 使用代理 ip]
selenium 模拟正常的浏览器，而不是机器操作
高压锅博客
03-24 763
selenium启动的浏览器，会非常容易的被检测出来，通常可以通过window.navigator.webdriver的值来查看，如果是true则说明是使用了selenium模拟浏览器，如果是undefined则通常会被认为是正常的浏览器。
Python爬虫之selenium模拟浏览器
05-01
Python爬虫之selenium模拟浏览器，通过selenium模拟浏览器操作，达到访问百度首页并搜索的目的
招聘网站分析-前程无忧网站的爬虫设计与实现
07-14
1.了解招聘网站的数据分析目标 2.学会针对不同的网站设计数据存储方式 3.掌握数据存储相关的库
【避坑 超详细】Ubuntu使用python的selenium以及chrome模拟真实浏览器访问网页
12-20
在Ubuntu系统上使用python的selenium，另外加上chrome和chromedriver，用于模拟浏览器访问网页。 下面教程在阿里云的Ubuntu 14.04 64位测试成功，其他linux系统大同小异。   安装chrome浏览器 1、更新系统 apt-get...
Selenium爬取京东商品数据 课程设计
01-06
7. 使用了Selenium的WebDriver来模拟浏览器操作，包括登录、搜索、翻页等。 8. 通过OpenPyXL库创建和保存Excel文件，将爬取的数据存储在Excel表格中。 9. 忽略了警告信息以提高输出的清晰度。
python模拟浏览器滚动懒加载获取自己CSDN下所有文章
11-20
该脚本通过模拟浏览器的滚动行为触发懒加载，以确保获取到用户所有的文章列表，然后逐一访问每篇文章并提取相关信息。 实现这个功能的核心步骤包括： 1. 模拟浏览器打开CSDN用户主页。 2. 使用自动化工具（如...
selenium绕过网站检测的方法
Keras深度学习
04-12 382
在这里可使用一个selenium提供的插件undetected_chromedriver，使用这个可以通过检测。使用这个，对于一些有网站有瑞数加密的都可以通过，非常强大。发现webdriver被检测到了。
自动化测试Selenium(4)
asdssadddd的博客
04-19 799
通过类似下面这种形式可以定位一组元素.
利用selenium发挥vip残存的价值
最新发布
风团团
04-19 154
找到与你电脑当前谷歌浏览器版本一致的驱动然后下载下来(大版本一致即可)。我本地版本是 99.0.04844.51。这里需要注意的是，由于我用的是mac，谷歌浏览器的安装位置对于空格命名需要用 \ 处理一下。我这里把 chromedriver 放到 /usr/local/bin 下面了。然后打开我们的控制台，利用命令行方式开启一个 9222 端口的谷歌浏览器窗口。爬哪个网页自己研究下网页结构，xpath定位下就行。出现如下信息说明谷歌浏览器调试功能开好了。找到包里面的这个玩意的路径。
用pycharm使用selenium模拟浏览器访问京东，爬取京东网站商品
05-13
首先，你需要安装selenium和chromedriver。chromedriver是Chrome浏览器的驱动程序，它可以让你通过代码控制Chrome浏览器。 在安装完selenium和chromedriver之后，你可以按照以下步骤使用selenium模拟浏览器访问京东并爬取商品： 1. 导入必要的库 ```python from selenium import webdriver import time ``` 2. 打开Chrome浏览器，并访问京东网站 ```python browser = webdriver.Chrome() browser.get('https://www.jd.com/') ``` 3. 在搜索框中输入要搜索的商品，并点击搜索按钮 ```python search_box = browser.find_element_by_xpath('//*[@id="key"]') search_box.send_keys('商品名称') search_button = browser.find_element_by_xpath('//*[@id="search"]/div/div[2]/button') search_button.click() ``` 4. 等待页面加载完成，并滚动到页面底部，使所有商品都加载出来 ```python time.sleep(5) # 等待5秒钟，让页面加载完成 browser.execute_script('window.scrollTo(0, document.body.scrollHeight)') # 滚动到页面底部，使所有商品都加载出来 ``` 5. 爬取商品信息 ```python goods = browser.find_elements_by_class_name('gl-item') # 获取商品列表 for good in goods: title = good.find_element_by_xpath('.//div[@class="p-name"]/a/em') # 获取商品标题 price = good.find_element_by_xpath('.//div[@class="p-price"]/strong/i') # 获取商品价格 print(title.text, price.text) ``` 6. 关闭浏览器 ```python browser.quit() ``` 完整代码如下： ```python from selenium import webdriver import time browser = webdriver.Chrome() browser.get('https://www.jd.com/') search_box = browser.find_element_by_xpath('//*[@id="key"]') search_box.send_keys('商品名称') search_button = browser.find_element_by_xpath('//*[@id="search"]/div/div[2]/button') search_button.click() time.sleep(5) browser.execute_script('window.scrollTo(0, document.body.scrollHeight)') goods = browser.find_elements_by_class_name('gl-item') for good in goods: title = good.find_element_by_xpath('.//div[@class="p-name"]/a/em') price = good.find_element_by_xpath('.//div[@class="p-price"]/strong/i') print(title.text, price.text) browser.quit() ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值