爬虫

1 url管理器，把获取的url放进来
2 url内容下载器，下载url列表里面的内容
3 解析url，用到beautifulsoup，网页基础
4 存储数据

2url获取
简单的静态网页获取的基本代码
rest=requests.get() 获得一个response对象
print(response.text) 获得response对象里面的内容。
https://blog.csdn.net/qq_39241986/article/details/80721717
(1)Get是向服务器发索取数据的一种请求；而Post是向服务器提交数据的一种请求，要提交的数据位
于信息头后面的实体中。GET和POST只是发送机制不同，并不是一个取一个发.
(2)GET请求时其发送的信息是以url明文发送的，其参数会被保存在浏览器历史或web服务器中，而post则不会某（这也是后面我们翻页的时候发现拉勾网翻页时 浏览器 url栏地址没有变化的原因。）