爬虫基础回顾

前面提到过要复习一下python爬虫的知识，当然了，一些web的常识肯定也要温故一遍呀。

静态网页和动态网页

使用Hexo搭建的博客就是静态网页，而那些可动态解析URL参数变化，关联数据库，并且实现登陆注册功能的网页是动态网页，我们遇到的大多数网站都是动态网站。

说到登录，就不得不提一下会话和Cookies，两者共同作用，才能拿到登录的凭证。

会话和Cookies

HTTP协议对事务处理是没有记忆能力的，也就是说服务器不知道客户端是什么状态，而会话和Cookies就是用来保持HTTP连接状态的。

会话在服务端，也就是网站的服务器，用来保存用户的会话信息；Cookies在客户端，可以理解为浏览器端，有了Cookies，浏览器在下次访问时就可以附带着把Cookies发给服务器，服务器通过识别Cookies并鉴定出是哪个用户，然后判断用户是否为登陆状态，同时根据状态返回响应

会话Cookie是把Cookie放在浏览器内存里，浏览器关闭后失效；持久Cookie会保存到客户端的硬盘里，用于长期保持用户的登录状态。

urlopen( )

import urllib.request

response = urllib.request.urlopen('http://www.python.org')
print(response)
print(response.status)
print(response.getheader('Server'))
print(response.getheaders())

requests

urlopen()还是比较鸡肋的，用的比较少，requests就强大多了

import requests

res = requests.get('http://www.baidu.com')
print(type(res))
print(res.status_code)
print(res.text)
print(res.cookies)

不仅有get()、post()、put()以及delete()等方法直接调用，而且也可以在参数中添加请求的信息，如下：

data = {
    ......	# 添加数据信息
}
headers = {
    ......	# 添加请求的头部信息
}
proxies = {
    ......	# 添加有效的代理
}

res = requests.get('http://www.baidu.com', params=data)
res = requests.get('http://www.baidu.com', headers=headers)
res = requests.get('http://www.baidu.com', proxies=proxies)

其他

爬虫的基础当然还有很多，比如网页的状态码，正则表达式，还有网页源码的阅读分析，这些放在以后的代码注释里体现吧，其实还是因为我太懒了呀0.0