python爬虫

爬虫

第一个爬虫程序

在url （网址）里面有一个请求的模块，这个模块里面有一个open
先准备一个网址 url= " `````````````"，用urlopen打开，此时这个内容还看不到，返回的是一个httprespose。要想看怎么办，加个read
decode是编码方式，一般都是utf-8

from urllib.request import urlopen

url = "http://www.baidu.com"
resp = urlopen(url)
print(resp.read().decode("utf-8"))

假如这里换成了https
看到的会是这些

web请求过程

第一种：（数据直接在网页里面的）

解释一下：
首先你在电脑里面输入一个网址baidu.com，当按下回车那一瞬间，就相当于对百度服务器发送了一次请求（这个请求中一定要有你要看的信息），然后百度服务器进行检索，把关于周杰伦的信息整合成一个网页（html）,反馈给你，浏览器收到反馈的html后，就开始执行。百度服务器反馈给你的电脑这一行为就叫响应

第二种

同样的和上面一样，你发送了一个请求，但是第一次服务器只返回给你一个html，里面没有数据，但是含有一些脚本，当你的浏览器收到这些脚本后就开始执行，会再次发送请求，服务器再次响应，这次返回的只有数据。
为什么要分两步呢？
当访问人数过多时，分布式可以减轻服务器压力（先这么理解啊）