python爬虫学习之路

python爬虫学习之路

第一章：爬虫基础

1.爬虫前奏

爬虫的实际例子：

1.搜索引擎（百度、谷歌、360搜索等。）

2.伯乐在线

3.惠惠购物助手

4.数据分析与研究（数据冰山知乎专栏）.

5.抢票软件等。

什么是网络爬虫

1.通俗理解：爬虫是一个模拟人类请求网站行为的程序。可以自动请求网页、并数据抓取下来，然后使用一定的规则提取有价值的数据。

2.专业介绍：百度百科

通用爬虫和聚焦爬虫：

1.通用爬虫：通用爬虫是搜索引擎抓取系统（百度、谷歌、搜狗等）的重要组成部分。主要是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。

2.聚焦爬虫：是面向特定需求的一种网络爬虫程序，他与通用爬虫的区别在于：聚焦爬虫在实施网页抓取的时候会对内容进行筛选和处理，尽量保证只抓取与需求相关的网页信息。

为什么用Python写爬虫程序：

1.PHP：PHP是世界上最好的语言，但他天生不是做这个的，而且对多线程、异步支持不是很好，并发处理能力弱。爬虫是工具性程序，对速度和效率要求比较高。

2.Java:生态圈很完善，是Python爬虫的最大竞争对手。但是Java语言本身很笨重，代码量很大。重构成本比较高，任何修改会导致代码大量改动。爬虫经常要修改采集代码。

3.C/C++:运行效率是无敌的。但是学习和开发成本高。写个小爬虫程序可能要大半天时间。

4.Python：语法优美、代码简洁、开发效率高、支持的模块多。相关的HTTP请求模块和HTML解析模块非常丰富。还有Scrapy和Scrapy-redis框架让我们开发爬虫变得异常简单。

准备工具：

1.Python3.8开发环境

2.Pycharm2019 professional版

3.虚拟环境：virtualenv/virtualenvwrapper

2.http协议和Chrome抓包工具

什么是http和https协议：

HTTP协议：全称是HyperText Transfer Protocol,中文意思是超文本传输协议，是一种发布和接收HTML页面的方法。服务端口号是80端口。

HTTPS协议：是HTTP协议的加密版本，在HTTP下加入了SSL层。服务器端口是443端口。

在浏览器中发送一个http请求的过程：

1.当用户在浏览器的地址栏中输入一个URL并按回车键之后，浏览器会向HTTP服务器发送HTTP请求。HTTP请求主要分为“Get”和“Post”两种方法。

2.当我们在浏览器中输入URL：http://www.baidu.com 的时候，浏览器发送一个Request请求去获取http://www.baidu.com 的html文件，服务器把Response文件对象发送回给浏览器。

3.浏览器分析Request中的HTML，发现妻子引用了很多其他文件，比如Images文件，CSS文件，JS文件。浏览器就会自动在次发送Request去获取图片，CSS文件，或者JS文件。

4.当所有的文件都下载成功后，网页会根据HTML语法结构，完整的显示出来了。

url详解

URL是Uniform Resource Locator的简写，统一资源定位符。

一个URL由以下几部分组成：

scheme://host:port/path/?query-string=xxx#anchor

• scheme:代表的是访问的协议，一般为http或者https以及ftp等。

• host:主机名，域名，比如：www.baidu.com

• port:端口号。当你访问一个网站的时候，浏览器默认使用80端口。

• path：查找路径。比如：www.jianshu.com/trending/now ,后面的trending/now就是path

• query-string:查询字符串，比如：www.baidu.com/s?wd=python,后面的wd=python就是查询字符串

• anchor：锚点，后台一般不用管，前端用来做页面定位的。

  在浏览器中请求一个url，浏览器回对这个url进行一个编码。除英文字母，数字和部分符号外，其余的全部使用百分号+十六进制编码值进行编码。

  常用的请求方法

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-a3bl5gkK-1654702202964)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20200725001334246.png)]

  常见响应状态码：

  • 200 - 请求成功

  • 301 -永久重定向。 资源（网页等）被永久转移到其它URL，比如在访问www.jingdong.com 的时候会重定向到www.jd.com

  • 302:临时重定向。比如在访问一个需要登录的页面的时候，而此时没有登录，那么就会重定向到登录页面。

  • 400：请求的url在服务器上找不到。换句话说就是请求的url错误

  • 403：服务器拒绝访问，权限不够

  • 404 ：请求的资源（网页等）不存在

  • 500 - 内部服务器错误。可能是服务器出现bug了。

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3imOVCSG-1654702202970)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20200725002014225.png)]

3.urllib库

urllib库是python中一个最近的网络请求库。可以模拟浏览器的行为，向指定的服务器发送一个请求，并可以保持服务器放回的数据。

urlopen函数：

在python3的urllib库中，所有和网络请求相关的方法，都被集合到urllib.request模块下，以先来看下urlopen函数的使用：

from urllib import request
resp = request.urlopen("http://www.baidu.com")
print(resp.read())

实际上，使用浏览器访问百度，右键查看源代码。你会发现，跟我们刚才打印出来的数据是一模一样的。也就是说，上面的三行代码就一家帮我妈吧百度的首页全部代码爬取下来了。一个基本的url请求对应的python代码真的非常简单。

1.url：请求的url

2.data:请求的data，如果设置了这个值，那么将变成post请求

3.返回值：返回值是一个http.client.HTTPResponse对象，这个对象是一个类文件句柄对象。

有read(size)、readline、readlines以及getcode等方法。

urlretrieve函数：

这个函数可以方便地将网页上的一个文件保存到本地。以下代码可以非常方便的将百度的首页下载到本地：

from urllib import request
resp = request.urlretrieve("http://www.baidu.com/","baidu.html")

urlencode函数：

用浏览器发送请求的时候，如果url中包含了中文或者其他特殊字符，那么浏览器会自动的给我吗进行编码。而如果使用代码发送请求，那么就必须手动进行编码，这时候就应该使用urlencode函数来实现。urlencode可以把字典转化为URL编码的数据。

from urllib import parse
data = {"name":"爬虫基础",'greet':'hello world','age':100}
qs = parse.urlencode(data)
print(qs)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EQQ3tePo-1654702202976)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20200725004024675.png)]

parse_qs函数：

可以将经过编码后的url参数进行编码。示例代码如下：

from urllib import parse
qs ="name=%E7%88%AC%E8%99%AB%E5%9F%BA%E7%A1%80&greet=hello+world&age=100"
print(parse.parse_qs(qs))

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5NAAoNkd-1654702202977)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20200725004304523.png)]

urlparse和urlsplit：

有时候拿到一个url，想要对这个url中的各个组非常部分进行分割，那么这时候就可以使用urlparse或者是urlsplit来进行分割。实例代码如下：

from urllib import parse,request
url = 'http://www.baidu.com/s?username=zhiliao'
# result = parse.urlsplit(url)
result = parse.urlparse(url)
print("scheme:",result.scheme)
print("netloc:",result.netloc)
print("path:",result.path)
print("query:",result.query)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zYsAas5x-1654702202979)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20200725005109613.png)]

注意：urlparse和urlsplit基本上是一模一样的。唯一不同的地方是，urlparse里面多一个params属性，而urlsplit没有这个params属性。比如有一个url为：url=’http://www.baidu.com/s;hello?wd=python&username=abc#1‘,那么urlparse可以获取到’hello’，而urlsplit却获取不到’hello’。url中的params也用的比较少

request.Request类：

如果想要在请求的时候增加一些请求头，那么就必须 使用request.Request类来实现。比如要增加 一个User-Agent,实例代码如下：

from urllib import parse,request
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3766.400 QQBrowser/10.6.4163.400'
}
url = 'http://www.baidu.com'
req = request.Request(url=url,headers=headers)
resp = request.urlopen(req)
print(resp.read())

或者：

from urllib import parse,request
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3766.400 QQBrowser/10.6.4163.400',
    'referer': 'https://www.zhipin.com/web/geek/recommend?ka=header-personal'

}
data = {
    'first':'true',
    'pn':1,
    'kd':'python'
}
url = 'https://www.lagou.com/jobs/list_python%20%20%20%20%20/p-city_213?&cl=false&fromSearch=true&labelWords=&suginput='
req = request.Request(url=url,headers=headers,data=parse.urlencode(data).encode('utf-8'),method='GET')
resp = request.urlopen(req)
print(resp.read().decode("utf-8"))

内涵段子爬虫实战作业：

1.url链接：http://neihanshequ.com/bar/1/

2.要求：能爬取一页的数据就可以了。

ProxyHandler处理器（代理设置）

很多网站会检测某一段时间某个IP的访问次数（通过流量统计，系统日志等），如果访问次数多的不像正常人，它会禁止这个IP的访问，所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。urllib中通过ProxyHandler来设置使用代理服务器，下面代码说明如何使用自定义opener来使用代理：

from urllib import parse,request
#这个是没有使用代理的
# resp = request.urlopen("http://httpbin.org/get")
# print(resp.read().decode('utf-8'))
# 这个是使用代理的
# 1.使用ProxyHandler，传入代理构建一个handler
handler = request.ProxyHandler({'http':"113.194.131.48:9999"})
# 2.使用上面创建的handler传入一个opener
opener = request.build_opener(handler)
# 3.使用opener去发送一个请求
resp = opener.open('http://httpbin.org/ip')
print(resp.read())

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Kha6WQAq-1654702202981)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20200726213010186.png)]

常用的代理用：

• 西刺免费代理IP：http://www.xicidaili.com/
• 快代理：http:www.kuaidaili.com/
• 代理云：http://www.dailiyun.com/

cookie原理和格式详解

什么是cookie

在网站中，http请求是无状态的。也就是说即使第一次和服务器连接后并且登录成功后，第二次服务器依然不能知道当前请求的是哪个用户。cookie的出现就是为了解决这个问题，第一次登录后服务器返回一些数据（cookie）给浏览器，然后浏览器保存在本地，当该用户发送第二次请求的时候，就会自动的把上次请求存储在cookie数据自动的携带给服务器，服务器通过浏览器携带的数据就能判断当前用户是哪个了。cookie存储的数据量有限，不同的浏览器有不同的存储大小，但一般不超过4kb。因此是用cookie只能储蓄一些小量的数据。

cookie的格式

Set-Cookie:NAME=VALUE;Expires/Max-age=DATE;Path=PATH;Domain=DOMAIN_NAME;SECURE

参数意义：

• NAME：cookie的名字。
• VALUE:cookie的值。
• Expires:cookie的过期时间。
• Path:cookie作用的路径。
• Domain:cookie作用的域名
• SECURE:是否只在https协议下起作用。

使用cookielib库和HTTPCookieProcessor模拟登陆：

Cookie是指望着服务器为了辨别用户身份和进行Session跟踪，而储蓄在用户浏览器上的文本文件，Cookie可以保持登陆信息到用户下次与服务器的会话。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PENnSP3E-1654702202983)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20200726215600629.png)]

这里以人人网为例。人人网中，要访问某个人的主页，必须先登陆才能访问，登录说白了就是要有cookie信息。那么如果我们想要用代码的方式访问，就必须要有正确的cookie信息才能访问。解决方案有两种，第一种是使用浏览器访问，然后将cookie信息复制下来，放到headers中，示例代码如下：

ssor模拟登陆：

Cookie是指望着服务器为了辨别用户身份和进行Session跟踪，而储蓄在用户浏览器上的文本文件，Cookie可以保持登陆信息到用户下次与服务器的会话。

[外链图片转存中…(img-PENnSP3E-1654702202983)]

这里以人人网为例。人人网中，要访问某个人的主页，必须先登陆才能访问，登录说白了就是要有cookie信息。那么如果我们想要用代码的方式访问，就必须要有正确的cookie信息才能访问。解决方案有两种，第一种是使用浏览器访问，然后将cookie信息复制下来，放到headers中，示例代码如下：