使用selenium爬取动态网页评论

最新推荐文章于 2024-09-26 21:22:03 发布
最新推荐文章于 2024-09-26 21:22:03 发布
阅读量867 收藏 3
点赞数
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TQCAI666/article/details/80172754
版权
本文介绍如何利用selenium爬取动态网页上的评论。首先定位到frame，然后针对每条评论的div进行操作。在给定的网站示例中，通过selenium的特定方法成功找到了评论并进行了遍历，最后展示运行结果。
摘要由CSDN通过智能技术生成

爬取网站：http://www.santostang.com/2017/03/02/hello-world/

首先定位到frame：

通过Ctrl+Shift+C定位，并且搜索frame，定位框架所在位置：
这里写图片描述
找到HTML代码：

    < iframe
    title = "livere"
    scrolling = "no"
    src = "https://livere.me/comment/
最低0.47元/天 解锁文章
数学工具构造器
关注
专栏目录
爬虫：动态页面爬取Selenium
二十四桥明月夜
01-05 1万+
Ajax其实也是JavaScript动态渲染的页面的一种情形，不过JavaScript 动态渲染的页面不止Ajax 这一种： 比如中国青年网（详见 http://news.youth.cn/gn/ ), 它的分页部分是由 JavaScript 生成的，并非原始 HTML代码，这其中并不包含 Ajax 请求。 比如 ECharts 的官方实例（详见 http: //echarts.baidu.com/demo.html#bar-negative ），其图形都是经过 JavaScript 计算之后生成的。 再有
Selenium爬取网页
weixin_50909683的博客
12-10 1980
基于Selenium爬取动态网页一、打开百度并进行搜索二、爬取名人名言1. 爬取一页2. 爬取5页3. 数据储存4. 总代码三、爬取京东书籍信息四、总结 一、打开百度并进行搜索 打开百度： from selenium.webdriver import Chrome web = Chrome() web.get('https://www.baidu.com') 找到开发者选项： 输入要查询的值并回车： input_btn = web.find_element_by_id('kw') input_btn.
爬取动态网页：Selenium
哎呀妈呀脑壳疼脑壳疼
11-12 216
爬取动态网页：Selenium 参考：http://blog.csdn.net/wgyscsf/article/details/53454910 概述 在爬虫过程中，一般情况下都是直接解析html源码进行分析解析即可。但是，有一种情况是比较特殊的：网页的数据采用异步加载的，比如ajax加载的数据，在我们“查看网页源代码”是查看不到的。采用常规的爬虫这...
Python下利用Selenium获取动态页面数据
最新发布
2401_83387413的博客
09-26 1130
本文中获取下一页的位置是通过driver.find_element_by_link_text方法来实现的，这是因为在此网页中，这个标签没有唯一可标识的id，也没有class，如果通过xpath定位的话，第一页和其他页的xpath路径又不完全相同，需要加个if进行判断。selenium的功能非常强大，用在爬虫上能够解决很多一般爬虫解决不了的问题，它可以模拟点击、鼠标移动，可以提交表单（应用如：登陆邮箱账号、登陆wifi等，网上有很多实例，本人暂时还没有尝试过），当你遇到一些非常规的网站。
Selenium爬取动态网页
m0_66302373的博客
06-26 279
动态静态网页爬取
【网络爬虫】基于Selenium爬取动态网页
热门推荐
YangMax1的博客
12-04 1万+
目录一、Selenium介绍与配置1.Selenium简介2. Selenium+Python环境配置二、网页自动化测试1.启动浏览器并打开百度搜索2.定位元素三、爬取动态网页的名人名言1. 网页数据分析2. 翻页分析3.爬取数据的存储4. 爬取数据四、爬取京东网站书籍信息五、总结六、参考 一、Selenium介绍与配置 1.Selenium简介   Selenium 是ThoughtWorks专门为Web应用程序编写的一个验收测试工具。Selenium测试直接运行在浏览器中，可以模拟真实用户的行为。支持的
使用Selenium实现动态网页的信息爬取
weixin_45654230的博客
12-17 4103
一、配置环境 1.下载selenium 官网链接：Downloads | Selenium Chrome浏览器驱动下载链接：ChromeDriver Mirror 2.解压 3.添加环境变量PATH 4.安装selenium conda install selenium pip install selenium 5.安装webdriver_manager 二、打开百度进行测试 1.进入搜索界面 from selenium import webdriver drive..
Python使用selenium爬取动态网页时遇到的问题
qq_41521792的博客
10-21 1635
我们在做京东手机信息的爬取时，遇到的一些问题，现在就来跟大家分享一下。 1.首先，京东的网页是动态的，当我们搜索一个商品时，需要把页面往下翻，下面的内容才会出来，这也是我们选selenium方法的原因 解决方法：让浏览器模拟下拉几次页面即可 from selenium import webdriver import time import random url = 'https://www.jd....
Python selenium爬取微信公众号文章代码详解
09-16
主要介绍了Python selenium爬取微信公众号历史文章代码详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
使用Selenium爬取动态网页的实战指南
动态网页爬虫是爬虫技术的一个重要分支，它针对那些使用Ajax（Asynchronous JavaScript and XML）技术来动态加载内容的网页。Ajax允许网页在不刷新整个页面的情况下与服务器交互，提升用户体验。然而，这同时也给...
利用selenium和火狐爬取网易云评论爬取
usernameisone的博客
10-13 960
网易云音乐评论是异步加载且每次请求的参数都是加密处理过，身为一个小白，借鉴网上的解密方法后还是觉得太复杂了，于是就想尝试用selenium来暴力爬取。 本文最后以沙漠骆驼为实例爬取 当然，相比解密的爬虫，这个方法更慢，但相对的，不容易被封。 在写方法开始前，把之前的尝试简要说一遍。一开始，我用网页cookies值，headers调用后获取了网易云的评论页面，是个json格式，然后解析后发现参数...
Selenium爬取网易云音乐评论
A1L__的博客
08-08 1238
Selenium爬取网易云音乐评论 一、爬取工具 1.1 selenium ​ selenium这是一个第三方库我们可以通过 pip install selenium来安装这个第三方库。 ​ Selenium 是一个 Web 的自动化测试工具，最初是为网站自动化测试而开发的，就像玩游戏用的按键精灵，可以按指定的命令自动操作。Selenium 测试工具直接操控浏览器中，就像真正的用户在操作一样。Selenium 可以根据的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否
python selenium 大众点评餐厅信息+用户评论 爬虫
weixin_46011275的博客
12-03 6284
这次爬取的目标是大众点评里餐厅的信息以及用户的评论。 大众点评的反爬内容比较丰富,这里也只是记录了如何通过selenium模拟访问大众点评,以及大众点评的woff文件构建字典并对加密文字进行替换。 目标url='http://www.dianping.com/shop/G7RgscHLjDjXY9hg' 进入目标网页,对我们想要的商店名进行分析,发现它在开发者工具与页面显示的并不一样, 同时发现这个字体的"font-family"属性为’PingFangSC-Regular-address’。 继续分析
selenium爬取评论
weixin_48718856的博客
05-05 639
from selenium import webdriver driver=webdriver.Chrome() # 自动访问的网站 driver.get("http://www.santostang.com/2018/07/04/hello-world/") fo = open("result.txt", "a+") fo.truncate(0) for ii in range(0, 3): # i指的是每页有10小页 for i in range(0, 10): .
用python的selenium模块自动爬取歌曲评论和登录豆瓣
littlespider889的博客
06-02 512
大家好，我是天空之城，今天给大家带来用python的selenium模块自动爬取歌曲评论，最大程度避免被反爬。需要大家自己安装selenium模块以及安装webdriver驱动放到pychram文件夹里面。 from selenium import webdriver import time driver=webdriver.Chrome() driver.get('https://y.qq.com/n/yqq/song/000xdZuV2LcQ19.html') # 访问页面 time.sleep(
基于selenium的twitter博文评论爬虫
Pythoner的博客
02-22 2684
技术合作联系：13958075150 【1】首次登录获取cookies并存为文件 from selenium import webdriver import time import json br = webdriver.Chrome() br.get("https://twitter.com/login?prefetchTimestamp=1574961630352") # 填写手...
网易新闻评论爬虫（python+selenium+PhantomJS）
白辰甲
06-29 3013
警示：请勿转载内容 网易新闻评论爬虫设计 废话不多说，我们要爬取这样一个网易的新闻评论页面，页面URL如下：url = "http://comment.news.163.com/news3_bbs/APLP5TVS00014JB6.html" 这是动态网页，下载网页源代码后是无法直接解析出内容的，我们需要用浏览器内核去解析源代码，直接得到正文。这是一种偷懒的技术，但是可以帮助我们快速获取数据。当然这种方
【Python爬虫实战】使用Selenium爬某音乐歌曲及评论信息啦~
xy258009的博客
07-17 1404
Selenium是一个用于测试网站的自动化测试工具，支持各种主流界面浏览器。简而言之，Selenium是一个用来做网站自动化测试的库，它的定位是做自动化测试的。我们也可以利用它来做爬虫，获取一些网页信息，并且这种爬虫是模拟真实浏览器操作的，实用性更强。Selenium是市面上唯一一款可以与付费产品竞争的自动化测试工具。如果想了解更多，可以前往Selenium中文网学习。.........
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值