python爬虫开发 从入门到实战_python网络爬虫从入门到实战开发

1、简单的抓取网页

from urllib import request

req=request.Request("http://www.baidu.com")

response=request.urlopen(req)

html=response.read()

html=html.decode("utf-8")

print(html)

2、这里补充点Post和Get提交数据的差别

如果使用POST提交表单数据，将会在地址栏中看到类似“http://www.victim.com/process_input.php, 而如果使用GET提交表单数据，那么地址栏看到的内容是”http://victim.com/process_input.php?foo=input&bar=input", URL最长2048个字节，所以说GET方法传递的参数是有限制的，POST提交的则没有限制，除了POST和GET方法之外，WEB机制中还使用cookie，服务端连接使用cookie来存储、检索客户端连接的信息，