《python》002 网络爬虫

python3.6 安装 Scrapy 1
安装 2
安装直接看这个！！最简单！！

Request使用大全
简单了解
爬取网站
趣头条爬取
网络爬虫实例
小甲鱼零基础python 视频
小甲鱼视频 爬虫篇

对象 = obj
一、import urllib.request
urllib = URL +lib（库）
URL: 协议 + 域名系统/IP地址 + 资源具体地址
1、obj.urlopen( url 参数 / Request对象 ) 返回类文件对象
obj = urllib.request.urlopen(req/ url) 是将服务器从网页上获取的过程，url为字符串地址
req/ url = urllib.request.Request(url)
2、obj. read（） 读取网站信息，返回JSon格式字符串
obj.geturl() 返回请求的 URL
obj.getcode() 返回HTTP状态码
obj.info() 返回 httplib.HTTPMessage
3、新的 obj.decode(‘utf-8’) 将utf-8 解码为 Unicode
obj.encode(‘utf-8’)

4、urllib.parse.urlencode(data).encode(‘utf-8’)① 独立模块解析 --> 作 urlopen()第二个参数②将Unicode重新编码

5、 Json 模块： import json
Json.loads(字符串) 返回解析内容,使内容成为易读的（字典形式）

6、head: 代理
obj.add_header(key, value) 动态追加修改浏览器