Python爬虫学习
文章平均质量分 89
Connor_Zhang
学习一时爽,一直学习一直爽
展开
-
Python 爬虫十六式 - 第一式:HTTP协议
1.HTTP 与 HTTPS   1.1 什么是HTTP协议 有的人一说什么是HTTP协议就犯愁,写东西的时候就是写东西,也没想过什么是HTTP协议,只是知道HTTP协议是用来网页传输的,但是再深究一点就不明白了,所以今天我们来讲一讲什么是HTTP协议。 超文本传输协议(HTTP,HyperText Transfer Protocol)原创 2019-01-03 20:30:39 · 2190 阅读 · 2 评论 -
Python爬虫十六式 - 第四式: 使用Xpath提取网页内容
Xpath:简单易用的网页内容提取工具学习一时爽,一直学习一直爽 ! Hello,大家好,我是Connor,一个从无到有的技术小白。上一次我们说到了 requests 的使用方法。到上节课为止,我们已经学完了所有的 Python 常用的访问库。那么当我们获取到了访问的内容之后,我们就应该从网页上提取我们想要的内容了。所以,今天我们来讲网页内容的常用提取工具之一:Xpath 。相比于 Be...原创 2019-01-10 18:02:26 · 8449 阅读 · 1 评论 -
Python 爬虫十六式 - 第二式:urllib 与 urllib3
学习一时爽,一直学习一直爽!大家好,我是 Connor,上一次我们说到了什么是HTTP协议,那么这一次我们就要动手,来真正的了解如何使用Python访问一个网站了。今天我们要说的是Python自带的标准库,Urllib与Urllib3。Python请求标准库 urllib 与 urllib31.urllib库1.1urllib的简介 urllib`是Python中请求url连接的官...原创 2019-01-06 20:45:16 · 3763 阅读 · 1 评论 -
Python 爬虫十六式 - 第五式:BeautifulSoup-美味的汤
#BeautifulSoup 美味的汤学习一时爽,一直学习一直爽! Hello,大家好,我是Connor,一个从无到有的技术小白。上一次我们说到了 Xpath 的使用方法。Xpath 我觉得还是比较绕该怎么办呢???有没有更加简单易懂的方法呢?答案是肯定的,当然有更加简单易懂的方法了,那就是 BeautifulSoup 美味的汤。这个方法对于正则和 Xpath 来说更加的简单方便,更加...原创 2019-01-13 16:20:12 · 1741 阅读 · 1 评论 -
Python爬虫十六式 - 第三式:Requests的用法
Requests: 让 HTTP 服务人类学习一时爽,一直学习一直爽 Hello,大家好,我是Connor,一个从无到有的技术小白。今天我们继续来说我们的 Python 爬虫,上一次我们说到了 urllib 与 urllib3 ,不知道大家看了以后有何感想,今天我们来继续聊聊 Python爬虫中的另一个常用库——requests,相信你今天看了这篇文章以后一定有想要揍我的冲动。1.r...原创 2019-01-08 17:53:20 · 1508 阅读 · 0 评论 -
Python 爬虫十六式 - 第六式:JQuery的假兄弟-pyquery
PyQuery:一个类似jquery的python库学习一时爽,一直学习一直爽 Hello,大家好,我是 Connor,一个个从无到有的技术小白。上一次我们说到了 BeautifulSoup 美味的汤,BeautifulSoup 很适合刚刚接触爬虫的新手使用。虽然 BeautifulSoup 好用,但是也有它的局限性。今天我们来讲一讲 PyQuery,让我们以 JQuery的方式来快速提...原创 2019-01-27 00:16:23 · 1342 阅读 · 0 评论 -
Python 爬虫十六式 - 第七式:RE:用匹配来演绎编程的艺术
RE:用匹配来演绎编程的艺术学习一时爽,一直学习一直爽 Hello,大家好,我是 Connor,一个个从无到有的技术小白。上一次我们说到了 pyquery 今天我们将迎来我们数据匹配部分的最后一位重量级人物,也是编程语言中普及率最高的一个东西,它就是正则。正则长期以来占据着编程新手的禁忌之地,大家对它是又爱又恨。今天,我们将揭开他神秘的面纱,直面正则,并助你征服它,让它成为你的得力助手!...原创 2019-02-12 12:52:33 · 1274 阅读 · 3 评论 -
Python 爬虫十六式 - 第八式:实例解析 - 全书网
实例解析- 全书网学习一时爽,一直学习一直爽 Hello,大家好,我是Connor,一个从无到有的技术小白。前面我们就算是把所有的网页访问与网页解析的方法给大家讲完了。为了帮助大家更好的使用这些方法。我们专门抽出一期,来做一个例子,看看在实际应用中我们是如何使用前面的这些知识的。 好吧,那我们快点开始。本期,我们以全书网为例,来爬取全书网的小说下面我们就开始进行分析吧,下面是全书网...原创 2019-02-25 09:44:44 · 1045 阅读 · 3 评论