![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python3网络爬虫开发实战
文章平均质量分 72
Hello_Git
这个作者很懒,什么都没留下…
展开
-
【网络爬虫 12】使用 Beautiful Soup
前面介绍了正则表达式的相关用法,但是一旦正则表达式写的有问题,得到的可能就不是我们想要的结果了。而且对于一个网页来说,都有一定的特殊结构和层级关系,而且很多节点都有 id 或 class 来作区分,所以借助它们的结构和属性来提取不也可以吗?这一节中,我们就来介绍一个强大的解析工具 Beautiful Soup,它借助网页的结构和属性等特性来解析网页。有了它,我们不用再去写一些复杂的正则表达式,只需要简单的几条语句,就可以完成网页中某个元素的提取。1. 简介简单来说,Beautiful Soup .原创 2021-02-09 23:19:13 · 220 阅读 · 1 评论 -
【网络爬虫 11】使用 XPath
上一章中,我们实现了一个最基本的爬虫,但提取页面信息时使用的是正则表达式,这还是比较烦琐,而且万一有地方写错了,可能导致匹配失败,所以使用正则表达式提取页面信息多多少少还是有些不方便。对于网页的节点来说,它可以定义 id、class 或其他属性。而且节点之间还有层次关系,在网页中可以通过 XPath 或 CSS 选择器来定位一个或多个节点。那么,在页面解析时,利用 XPath 或 CSS 选择器来提取某个节点,然后再调用相应方法获取它的正文内容或者属性,不就可以提取我们想要的任意信息了吗?在 Pyth.原创 2021-02-09 22:25:57 · 325 阅读 · 0 评论 -
【网络爬虫 20】文件存储
一.TXT 文本存储本节中,要保存知乎上 “发现” 页面的 “热门话题” 部分,将其问题和答案统一保存成文本形式。注意:因为网页结构换了,所以不适用了首先,可以用 requests 将网页源代码获取下来,然后使用 pyquery 解析库解析,接下来将提取的标题、回答者、回答保存到文本,代码如下:这里主要是为了演示文件保存的方式,因此 requests 异常处理部分在此省去。首先,用 requests 提取知乎的 “发现” 页面,然后将热门话题的问题、回答者、答案全文提取原创 2021-02-09 21:05:23 · 168 阅读 · 0 评论 -
【网络爬虫 09】requests基本用法
上一节中,了解了 urllib 的基本用法,但是其中确实有不方便的地方,比如处理网页验证和 Cookies 时,需要写 Opener 和 Handler 来处理。为了更加方便地实现这些操作,就有了更为强大的库 requests,有了它,Cookies、登录验证、代理设置等操作都不是事儿。1. 实例引入urllib 库中的 urlopen() 方法实际上是以 GET 方式请求网页,而 requests 中相应的方法就是 get() 方法,是不是感觉表达更明确一些?下面通过实例来看一下:impor.原创 2021-02-08 22:05:08 · 3468 阅读 · 0 评论 -
【网络爬虫 09】分析 Robots 协议
利用 urllib 的 robotparser 模块,我们可以实现网站 Robots 协议的分析。1. Robots 协议Robots 协议也称作爬虫协议、机器人协议,它的全名叫作网络爬虫排除标准(Robots Exclusion Protocol),用来告诉爬虫和搜索引擎哪些页面可以抓取,哪些不可以抓取。它通常是一个叫作 robots.txt 的文本文件,一般放在网站的根目录下。当搜索爬虫访问一个站点时,它首先会检查这个站点根目录下是否存在 robots.txt 文件,如果.原创 2021-02-08 21:14:19 · 572 阅读 · 0 评论 -
【网络爬虫 08】解析链接
urllib 库里还提供了 parse 这个模块,它定义了处理 URL 的标准接口,例如实现 URL 各部分的抽取、合并以及链接转换。它支持如下协议的 URL 处理:file、ftp、gopher、hdl、http、https、imap、mailto、 mms、news、nntp、prospero、rsync、rtsp、rtspu、sftp、 sip、sips、snews、svn、svn+ssh、telnet 和 wais。本节中,我们介绍一下该模块中常用的方法来看一下它的便捷之处。1.urlpars.原创 2021-02-06 23:22:34 · 463 阅读 · 0 评论 -
【网络爬虫-07】处理异常
前一节了解了请求的发送过程,但是在网络不好的情况下,如果出现了异常,该怎么办呢?这时如果不处理这些异常,程序很可能因报错而终止运行,所以异常处理还是十分有必要的。urllib 的 error 模块定义了由 request 模块产生的异常。如果出现了问题,request 模块便会抛出 error 模块中定义的异常。1.URLErrorURLError 类来自 urllib 库的 error 模块,它继承自 OSError 类,是 error 异常模块的基类,由 request 模块.原创 2021-02-06 22:35:09 · 273 阅读 · 0 评论 -
【网络爬虫 -06】使用 urllib-发送请求
一.使用 urllib4 个模块request它是最基本的 HTTP 请求模块,可以用来模拟发送请求。就像在浏览器里输入网址然后回车一样,只需要给库方法传入 URL 以及额外的参数,就可以模拟实现这个过程了。error异常处理模块,如果出现请求错误,我们可以捕获这些异常,然后进行重试或其他操作以保证程序不会意外终止。parse一个工具模块,提供了许多 URL 处理方法,比如拆分、解析、合并等。robotparser主要是用来识别网站的 robots.txt 文件,然原创 2021-02-06 19:28:12 · 573 阅读 · 0 评论 -
【网络爬虫-04】
Scrapy安装(Anaconda 安装-简单、省力)原创 2021-02-05 23:38:38 · 95 阅读 · 0 评论 -
【网络爬虫-03】 请求库的安装
1.Requests 的安装2.Selenium 的安装3.ChromeDriver 的安装注意——配置到环境变量验证chromedriver4.PhantomJS的安装验证phantomjs5.目前安装到mysql,还没安装,已无力吐槽,提前把后面的python包安装上。...原创 2021-02-05 23:20:03 · 60 阅读 · 0 评论 -
【网络爬虫-02】Anaconda和Pycharm的配合
理解anaconda就是个全家桶,有主食,有各大菜系,不需要再安装一个python。一般数据分析的基本需求可以满足T^T,我这种菜鸡很喜欢用jupyternotebook>3<。当然anconda里还有Spyder,但是没pycharm好看T^Tpycharm是个套餐,但是没有主食,还需要安装python,是一个很高端的菜系,界面很好看,分专业版和社区版,学生认证可以用专业版。而且远程访问服务器用pycharm很方便。作者:和太阳肩并肩链接:https://www.zhihu.co原创 2021-02-05 22:13:41 · 354 阅读 · 1 评论 -
【网络爬虫-01】Anaconda的安装
安装 Anaconda注意之处配置环境变量如果是windows的话需要去 控制面板\系统和安全\系统\高级系统设置\环境变量\用户变量\PATH 中添加 anaconda的安装目录的Scripts文件夹D:\English_Name\Anaconda3\Scripts(上述来自网上,个人尝试失败)成功尝试验证:打开命令行(最好用管理员模式打开) 输入 conda --version管理虚拟环境技巧:之前安装一些python,担心冲突,可采用添加别名原创 2021-02-05 21:35:15 · 253 阅读 · 0 评论