大家都知道**requests库,**既可以做接口测试 ,也可以爬虫.
它是基于 urllib完成, urllib是基于Socket 完成. 要进行网络请求,数据库连接等操作
实际用到最底层就是这个 Socket, Socket 是直接和TCP/IP 传输协议打交道 .
可想而知 Socket 在编程的重要性.
为了证明Socket是最底层,我们来用Socket模拟HTTTP 请求.
我直接拿来代码讲解吧 ,代码我看是没有问题,怎么就是运行不了 ,错误点在connect.
import socket
from urllib.parse import urlparse #解析URL ,不做发起请求
def get_url(url):
url=urlparse(url)
print(url)
host=url.netloc
print(host)
path=url.path #这段代码代表解析URL ,把host 和path 分离出来
if path=="":
path="/" #如果为空,把“/”加入进来,这是URL 规范
client = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
client.connect((host,80)) #做个 socket 连接
client.send("GET{}HTTP/1.1\r\nHost:{}\r\nConnection:close\r\n".format(path,host).encode("utf8"))
#模拟发送请求,我们传递了三个参数,调用了get 方法
data=b"" #设置为bytes 类型
while True:
d=client.recv(1024)
if d:
data+=d
else:
break #这段的意思是如果1024 不能容纳返回的内容,会一直调用recv进行返回直到取值完毕
data=data.decode("utf8") #decode 下是为了能打印出来,这个utf8 是服务器规定的,存在headers 里面
print(data)
client.close() #关掉我们的连接.
get_url("http://www.baidu.com/")