00 初识爬虫

# Author:Nimo_Ding

'''
爬虫的工作原理：
第0步：获取数据。
    爬虫程序会根据我们提供的网址，向服务器发起请求，然后返回数据。
第1步：解析数据。
    爬虫程序会把服务器返回的数据解析成我们能读懂的格式。
第2步：提取数据。
    爬虫程序再从中提取出我们需要的数据。
第3步：储存数据。
    爬虫程序把这些有用的数据保存起来，便于你日后的使用和分析。
这就是爬虫的工作原理啦，无论之后的学习内容怎样变化，其核心都是爬虫原理。
'''

# 体验爬虫
# 获取数据，用requests.get()方法

# 引入requests库
import requests

# requests.get是在调用requests库中的get()方法，它向服务器发送了一个请求，
# 括号里的参数是你需要的数据所在的网址，然后服务器对请求作出了响应。
# 我们把这个响应返回的结果response对象赋值给变量res

# 这里的网址是小说三国演义
res = requests.get('https://localprod.pandateacher.com/python-manuscript/crawler-html/sanguo.md')
print(res)
# <Response [200]>
print(type(res))
# <class 'requests.models.Response'>
# 从结果看出，res这个对象是属于requests.models.Response类，


# 先看下response对象常用的四个属性：
# 1、检查请求是否成功
print(res.status_code)
# 200 # 200代表请求成功

# 2、把response对象的内容转换成二进制数据，适用于图片音频视频的下载。
# print(res.content)

# 示例：下载图片https://res.pandateacher.com/2018-12-18-10-43-07.png
import requests
res_pic=requests.get('https://res.pandateacher.com/2018-12-18-10-43-07.png')
pic=res_pic.content # 将response对象的内容以二进制数据的形式返回
photo=open('00ppt.jpg','wb') # 图片内容需要以二进制wb读写，
                           # 相当于在当前路径下新建了一个ppt.jpg文件。
photo.write(pic)           # 获取pic的二进制内容写入图片中
photo.close()  # 关闭文件

# 3、把response对象内容转换成字符串数据，即打印了小说内容
# 适用于文字、网页源代码的下载
# print(res.text)
print(res.text[500:550]) # 这里只输出55个字

# 我们保存到文件中：
novel=open('00《三国演义》.txt','a+') # 创建txt文档，指针放在文件末尾，追加内容。
novel.write(res.text) # 写进文件中
novel.close()  # 关闭文件

# 4、定义response对象的编码
print(res.encoding)
# utf-8

# 还以三国演义小说为例，当我们得到res对象后，把res对象的编码定义成gbk
res = requests.get('https://localprod.pandateacher.com/python-manuscript/crawler-html/sanguo.md')
res.encoding='gbk'
print(res.text[:40])
# 这样打印出前40个字是乱码的情况：
'''
    ## 涓夊浗婕斾箟
    浣滆�咃細缃楄疮涓�
    ### 绗�涓�鍥� 瀹存
'''

# 因为目标数据本身有它的编码类型，之前我们用print(res.encoding)查看了是utf-8。
# 而编解码是要用同一种编码类型的，这里res.encoding='gbk'就直接定义成了gbk，跟本身的utf-8就不一致，所以导致乱码。

# 一般我们不需要对返回的对象做编码定义res.encoding='gbk'，因为requests库会对数据的编码类型做出自己的判断。
# 但是这个判断可能准确也可能不准确。
# 总之，我们遇上文本乱码的时候才考虑用res.encoding

 

 

 

 

 

总结： 

 

'''
补充：
爬虫伦理：
就像是两个人在来来往往的相处中，会考虑对方的感受；在互联网的世界中，我们也要考虑一下服务器对爬虫的感受是怎样的。
我们说过，服务器其实就是一个超级电脑，拥有这个服务器的公司，对爬虫其实也有明确的态度。
通常情况下，服务器不太会在意小爬虫，但是，服务器会拒绝频率很高的大型爬虫和恶意爬虫，因为这会给服务器带来极大的压力或伤害。
不过，服务器在通常情况下，对搜索引擎是欢迎的态度（刚刚讲过，谷歌和百度的核心技术之一就是爬虫）。
当然，这是有条件的，通常这些条件会写在robots协议里。

robots协议是互联网爬虫的一项公认的道德规范，它的全称是“网络爬虫排除标准”（robots exclusion protocol），
这个协议用来告诉爬虫，哪些页面是可以抓取的，哪些不可以。
我们使用robots协议的场景通常是：看到想获取的内容后，检查一下网站是否允许爬取。
因此我们只需要能找到、简单读懂robots协议就足够了。

我们截取了一部分淘宝的robots协议(http://www.taobao.com/robots.txt)，
可以看到淘宝对百度和谷歌这两个爬虫的访问规定，以及对其它爬虫的规定。
User-agent:  Baiduspider # 百度爬虫
Allow:  /article # 允许访问 article 
Allow:  /oshtml # 允许访问 oshtml 
Allow:  /ershou # 允许访问 ershou 
Allow: /$ # 允许访问根目录，即淘宝主页
Disallow:  /product/ # 禁止访问product文件夹下面的所有文件，但是product文件夹本身允许被访问
Disallow:  / # 禁止访问除 Allow 规定页面之外的其他所有页面
​
User-Agent:  Googlebot # 谷歌爬虫
Allow:  /article
Allow:  /oshtml
Allow:  /product # 允许访问product文件夹及product文件夹下面的所有文件
Allow:  /spu
Allow:  /dianpu
Allow:  /oversea
Allow:  /list
Allow:  /ershou
Allow: /$
Disallow:  / # 禁止访问除 Allow 规定页面之外的其他所有页面
​
…… # 文件太长，省略了对其它爬虫的规定，想看全文的话，点击上面的链接
​
User-Agent:  * # 其他爬虫
Disallow:  / # 禁止访问所有页面

可以看出robots协议是“分段”的,每个段落都含有以下两种字段：
    一种是User-agent:，
    另一种是Allow:或Disallow:

User-agent表示的是爬虫类型，上面的示例代码注释了“百度爬虫”和“谷歌爬虫”，
          我们自己写的爬虫一般要看User-Agent: *，*指向所有未被明确提及的爬虫。
Allow代表允许被访问，Disallow代表禁止被访问。字段对应的值都含有路径分隔符/，
     限制了哪些或哪一层目录的内容是允许或者禁止被访问的。
     可以对比上述百度爬虫Disallow: /product/和谷歌爬虫Allow: /product的注释行理解一下。
     比如淘宝禁止其他爬虫访问所有页面，也就是说，我们自己写的爬虫不被欢迎爬取www.taobao.com域名下的任何网页。
     有趣的是，淘宝限制了百度对产品页面的爬虫，却允许谷歌访问。
     所以，当你在百度搜索“淘宝网”时，会看到下图的这两行小字。
        由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），
        系统无法提供该页面的内容描述 - 了解详情

因为百度很好地遵守了淘宝网的robots.txt协议，自然，你在百度中也查不到淘宝网的具体商品信息了。
互联网并非法外之地，和爬虫相关的法律也在建立和完善之中，目前通用的伦理规范就是robots协议，我们在爬取网络中的信息时，应该有意识地去遵守这个协议。
网站的服务器被爬虫爬得多了，也会受到较大的压力，因此，各大网站也会做一些反爬虫的措施。不过呢，有反爬虫，也就有相应的反反爬虫，这些我们会在后面关卡中会详细说。
爬虫就像是核技术，人们可以利用它去做有用的事，也能利用它去搞破坏。
恶意消耗别人的服务器资源，是一件不道德的事，恶意爬取一些不被允许的数据，还可能会引起严重的法律后果。
工具在你手中，如何利用它是你的选择。当你在爬取网站数据的时候，别忘了先看看网站的robots协议是否允许你去爬取。
同时，限制好爬虫的速度，对提供数据的服务器心存感谢，避免给它造成太大压力，维持良好的互联网秩序，也是我们该做的事

有的同学可能就要问了：“域名是什么？域名和URL（网址）有什么关系？”很敏锐哟！
我们前面说过，如果把一个网页类比为一幢房子，URL指示了网页的地址，
就像房子在地球上的详细到某某街道某某号的具体地址，那么域名就像房子所在的国家，指示了网站的地址。

如果我们看到一个网页，想爬上面的内容，怎么找到它的URL我们刚刚学过了，
如果网页的URL是https://pypi.org/project/requests/，那么，此网站的域名是pypi.org；
如果网页的URL是http://cn.python-requests.org/zh_CN/latest/，那么网站的域名是cn.python-requests.org。
我们再来看一个，
如果网页的URL是https://www.taobao.com/markets/3c/tbdc?spm=a21bo.2017.201867-main.11.5af911d9VV8EyS，
那么网站的域名是www.taobao.com。


'''