socket爬虫

socket是我的认知中python比较底层的一种爬虫框架，话不多说代码搞起：

URL = "https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1570852539907&di=636c22a4dfc8f820190b4625ad2e9db7&imgtype=0&src=http%3A%2F%2Fimg.ewebweb.com%2Fuploads%2F20190403%2F14%2F1554272079-rzHwVAkPNU.jpg"

import socket
# 创建一个链接(套接字)
client = socket.socket()
print(client)         # <socket.socket fd=204, family=AddressFamily.AF_INET, type=SocketKind.SOCK_STREAM, proto=0>

个人理解：套接字相当于一个管道，连接pc端和网页端，将网页端的数据通过这个套接字管道引流到pc端。现在管道铺设好了，下一步就是给一个网站（URL）

# 链接百度
client.connect(('timgsa.baidu.com',80))

因为比较底层，这个报文的请求得自己手动编写：

# 请求方法+空格+URL+空格+版本协议+回车符+换行符   ---请求行
# GET / HTTP/1.0\r\nHost:www.baidu.com\r\n\r\n
# 构造报文
request = 'GET /timg?image&quality=80&size=b9999_10000&sec=1570852539907&di=636c22a4dfc8f820190b4625ad2e9db7&imgtype=0&src=http%3A%2F%2Fimg.ewebweb.com%2Fuploads%2F20190403%2F14%2F1554272079-rzHwVAkPNU.jpg HTTP/1.0\r\nHost:timgsa.baidu.com\r\n\r\n'

报文构造好了，管道也有了，现在应该将构造的报文发送给对应的网页提交对应的请求，也就是提交给百度

# 发消息给百度
client.send(request.encode())

最后一步就是接受返回的信息并保存

# 循环接收百度返回的数据
res = b''   # 接收的数据
data = client.recv(1024)

while data:
    res += data
    data = client.recv(1024)

image_content = re.findall(b'\r\n\r\n(.*)',res,re.S)
# r表示字符串，b表示bytes re.S表示换行匹配
with open('car.jpg','wb') as f:
    f.write(image_content[0])

上面是拆分的代码块，下面是整个的一个demo

import socket
import re
# 创建一个链接(套接字)
client = socket.socket()

# 链接百度
client.connect(('timgsa.baidu.com',80))

# 构造报文
request = 'GET /timg?image&quality=80&size=b9999_10000&sec=1570852539907&di=636c22a4dfc8f820190b4625ad2e9db7&imgtype=0&src=http%3A%2F%2Fimg.ewebweb.com%2Fuploads%2F20190403%2F14%2F1554272079-rzHwVAkPNU.jpg HTTP/1.0\r\nHost:timgsa.baidu.com\r\n\r\n'


client.send(request.encode())

# 循环接收百度返回的数据
res = b''   
data = client.recv(1024)

while data:
    res += data
    data = client.recv(1024)

image_content = re.findall(b'\r\n\r\n(.*)',res,re.S)
# r表示字符串，b表示bytes re.S表示换行匹配
with open('car.jpg','wb') as f:
    f.write(image_content[0])