python爬虫笔记（一）

python爬虫中主要分为两个方面：
数据获取和数据处理：
首先是数据获取
利用python中requests模块：
在cmd中直接用pip指令安装：
pip install requests
安装后在py文件中导入模块
import requests
首先设置头部文件：
头部文件主要包括cookie和User-Agent还有Referer三部分
cookie：主要负责导入登录信息，储存账号密码之类，网上介绍很多，这里不多讲
User-Agent：是最主要而且几乎是必须要的头部文件，主要作用是向服务器提供你的系统/浏览器信息，
Referer：负责存储进入这个页面前的页面（进入网页前的上一个页面）
User-Agent和Referer写入方法是使用字典形式具体如下：

headers = {    
'User-Agent':'XXXXXXXXXXXXXXXXXXX',
'Referer':'XXXXXXXXXXX.XXXXXXXXXXX.XXXXXX'
}

注意这个逗号，字典中的，不知道的可以了解了解py中的字典语法
接下来是cookie获取：
用到了py中的http.cookiejar可以将cookie内容保存为本地文件
然后在使用时可以从文件中读取：

from urllib import request
from http.cookiejar import MozillaCookieJar
cookiejar = MozillaCookieJar('cookie.txt')
handler = request.HTTPCookieProcessor(cookiejar)
opener = request.build_opener(handler)
resp = opener.open('XXXXXXXXXXX)
cookiejar.save()

用这个方法可以实现将网页中的cookie保存到本地的操作，方便后续使用