Python爬虫学习：入门

1. 什么是爬虫

网络爬虫：WebSpider，把互联网想象成一个类似于蜘蛛网一样的构造，那么爬虫在上面爬来爬去获取我们所需资源
我们之所以能够通过百度或谷歌这样的搜索引擎检索到你的网页，靠的就是他们大量爬虫每天在互联网上爬来爬去，对网页中的每个关键词进行索引，建立索引数据库。在经过复杂的算法排序后，这些结果将按照与搜索关键词的相关度高低，依次排序

2. Python如何访问互联网

这就需要用到Python为此准备的“电池” urllib模块
urllib是URL和lib两个单词共同构成的：URL，就是平常所说的网页的地址；lib就是library（库）的缩写。
urllib 是一个包，里面共有四个模块，第一个模块是最复杂也是最重要的，因为它包含了对各个方面服务器请求的发出、跳转、代理和安全等

其实Python爬取的内容是以UTF-8编码的bytes对象（上面打印的字符前面有个b，表示这是个bytes对象，可以理解为字符串的每个字符用于存放一个数据）
如果想要还原带中文的代码需要对其进行解码，即将其变成Unicode编码

import urllib.request
response = urllib.request.urlopen('http://www.baidu.com')
html = response.read()
# 查看网页具体是什么编码格式在进行如下转码
html = html.decode('utf-8')
# html = html.decode('gbk')
print(html)

更多关于编码的内容：可参考