Python爬虫实践（十一）：selenium+phantomjs+正则表达式爬取文章并保存

最新推荐文章于 2024-04-21 14:36:15 发布
最新推荐文章于 2024-04-21 14:36:15 发布
阅读量4k 收藏 3
点赞数
分类专栏： Python 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/horseinch/article/details/51764934
版权
本文介绍了如何在Ubuntu环境下使用Python爬虫结合selenium和phantomjs抓取《三联生活周刊》中关于英国“脱欧”的文章内容。首先，安装wingide 5.0.1并进行破解，接着安装PhantomJS和selenium。通过观察页面源代码，使用正则表达式匹配文章段落。最后，定义工具类tool清除不需要的元素，成功获取并保存文章文本。
摘要由CSDN通过智能技术生成

爬取的是三联生活周刊的这篇文章：

英国"脱欧"：蝴蝶的翅膀动了（url：点击打开链接）

一、环境准备：

系统：Ubuntu

IDE：wingide

安装以及破解wingide可参考这篇文章：点击打开链接，需要注意的是，经过验证，这个破解的py脚本对最新的wingide 5.1破解失败，在官网下载wingide的时候，点击older version，安装5.0.X的版本，我安装的是5.0.1版本。

安装Phantom可以直接在这里下载，利用 tar 命令解压，之后将可执行文件放入系统路径，使用命令࿰

最低0.47元/天 解锁文章
Ian ma
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
selenium关于正则表达式匹配webdriver.Chrome().page_source中文的问题
xiemanR的专栏
02-23 8687
本文以网站https://mm.taobao.com/self/model_album.htm?user_id=687471686 点击打开链接为例子，介绍如何匹配总页数，如下图所示。 webdriver.Chrome().page_source的类型为Unicode，所以匹配字符串也要是unicode，测试代码如下： from selenium impor
正则，selenium
weixin_72050316的博客
12-23 246
正则，selenium
利用正则表达式抽取网页信息
wlchn
08-11 1070
import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStreamReader;
Python爬虫———正则表达式
lhh的博客
01-09 207
爬虫： 先讲一下爬虫的应用和分类，对爬虫有个大致的了解。 定义：是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本（百度百科的解释），其实就是从Html源代码获取你需要信息的一种手段。 应用场景： 1.做数据分析（大数据）将分析出来的结果制成（饼状图、柱状图、折线图）； 2.将数据应用于公司的网站或者app； 技术手段：urllib、request、bs4、pyspider（框架）、scra...
selenium利用正则表达式定位元素
江南皮革
10-16 1万+
如果想查找某个元素内所有匹配以arch__main__开头的元素，可以选择正则表达式这种方式。 先获取该元素下的所有元素信息，并转换成字符串：element.get_attribute('innerHTML').encode('utf-8') 或者通过driver.page_source()的方式获取整个页面的元素信息。 import re @staticmethod def regul...
基于Python3的动态网站爬虫，使用selenium+phantomjs实现爬取动态网站, 本项目以爬取今日头条为例.zip
04-08
【基于Python3的动态网站爬虫，使用selenium+phantomjs实现爬取动态网站】 在互联网信息时代，数据采集成为获取有价值信息的重要手段。Python3作为一种强大的编程语言，因其简洁易学的语法和丰富的库支持，常被用于...
基于Selenium和PhantomJs的Python爬虫
03-02
这是基于Selenium和PhantomJs的Python爬虫，具体可以参考我的博客：http://blog.csdn.net/ProgramChangesWorld/article/details/59489406
python爬虫系列Selenium定向爬取虎扑篮球图片详解
09-21
### Python爬虫系列：Selenium定向爬取虎扑篮球图片详解 #### 前言 在互联网时代，图片是信息传播的重要载体之一。对于爱好篮球的朋友们来说，虎扑篮球论坛是一个不可多得的好去处，这里不仅有大量的篮球资讯，还有...
不踩坑的Python爬虫：Python爬虫开发与项目实战，从爬虫入门 Python
03-21
Python爬虫作为一种强大的数据获取工具，近年来受到了广泛的欢迎。它能帮助我们从互联网上抓取大量有价值的信息，如社交媒体上的热门话题、电商网站的商品数据、房地产市场的价格走势等。Python之所以成为爬虫开发的...
phantomjs 抓取房产信息
weixin_34067980的博客
03-15 60
　　　　抓取https://sf.taobao.com/item_list.htm信息   　　　　 　　　　 　　　　driver=webdriver.PhantomJS(service_args=['--ssl-protocol=any']) 　　　　or 　　　　driver = webdriver.PhantomJS( service_args=['--ignore-s...
爬虫攻守道 - 2023最新 - Python Selenium 实现 - 数据去伪存真，正则表达式谁与争锋 - 爬取某天气网站历史数据
biaobro的博客
01-13 1806
爬虫攻守道 - 2023最新 - Python Selenium 实现 - 数据去伪存真，正则表达式谁与争锋 - 爬取某天气网站历史数据
selenium_使用By.CSS_SELECTOR定位
最新发布
HYSliuliuliu的博客
04-21 633
selenium_使用By.CSS_SELECTOR定位。
python3+selenium(十三)正则表达式获取网页href属性
Amy8020的博客
03-28 4516
命题 获取百度界面上所有a标签内的href属性 思路 思路类似爬虫 https://blog.csdn.net/Amy8020/article/details/88844309 读取网页中源码 根据网页源码制定正则表达式，进行匹配 将匹配结果存入指定文件 知识点 href+连接文字 : <a.+?href="(.+?)".*>(.+) 单独href ： <a.+?href=...
webdriver搜索页面指定文本（支持正则表达式）
02-21 2537
webdriver搜索页面指定文本（支持正则表达式） 废话不多说，直接贴代码，java基础不好的就查查API public static boolean searchText(WebDriver web, String text) { Pattern pattern = null; try { pattern = Pattern.compile(text); } catch (PatternS...
python爬虫解析库：正则表达式，pyquery，selenium，xpath等等
AhriLove
01-11 1255
1.正则表达式 '.' 默认匹配除\n之外的任意一个字符，若指定flag DOTALL,则匹配任意字符，包括换行 '^' 匹配字符开头，若指定flags MULTILINE,这种也可以匹配上(r"^a","\nabc\neee",flags=re.MULTILINE) '$' 匹配字符结尾， 若指定flags MULTILINE ,re.search('foo.$','fo...
python实现selenium断言和验证
热门推荐
黑面狐
05-03 2万+
最近在学习自动化测试，网上资料是挺多的，但是都是很基础的，想深入一点了解就没有资料了。于是开始自己研究。 这两天在看selenium验证和断言方面的资料。 断言就是判断是否跟预期结果一致，不一致的话，测试用例直接失败，程序便不再执行下去。 验证也是判断是否跟预期结果一致，不一致的话，测试用例还会执行下去。 如何简单的理解断言和验证呢？举个简单的例子。比如点击某个按钮会跳转到某个页面
基于PhantomJS的网页抓取及写入文件
weixin_33690963的博客
02-11 476
# coding=utf-8 from selenium import webdriver from selenium.webdriver.common.desired_capabilities import DesiredCapabilities if __name__=="__main__": url = "http://XXX.XXXXX.com/XX.html" ...
Python中使用正则表达式
SherlockBlaze
08-28 390
正则表达式 在Python中使用正则 Python中使用正则来切分字符串 python中使用正则来分组 正则表达式 通常我们使用正则表达式来验证某个字符串是否符合要求。 接下面我们简单讲一下正则表达式的表现形式及意义： 形式 含义 \w 匹配一个数字/字母 \d 匹配一个数字 \s 匹配一个空格 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值