使用Scrapy批量上传文件

文件上传

使用Scrapy批量上传数据，需要编写Header信息与在Body部写入文件信息

#生成一个字符串
boundary = '-----------------------------{0}'.format(random.random() * 1e10)

#编写头部
headers = { "accept": "application/json, text/plain, */*",
            "accept-encoding": "gzip, deflate, br",
            "accept-language": "zh-CN,zh;q=0.9",
            "content-type": "multipart/form-data; boundary={0}".format(boundary)}

#一个字符串流buffer
buffer = io.BytesIO()

#需要上传文件的URL
uploadUrl = "https://upload.XXX.cn"

#生成Body部分的信息
buffer.write(str.encode('--{0}\r\n'.format(boundary)))
buffer.write(str.encode('Content-Disposition: form-data; name="{0}"; filename="{1}"\r\n'.format('input', filename)))
buffer.write(str.encode('Content-Type: {0}\r\n'.format(self.get_content_type(filename))))
buffer.write(str.encode('\r\n'))
buffer.write(uploadfile.tobytes())
buffer.write(str.encode('\r\n'))
buffer.write(str.encode('--{0}--\r\n'.format(boundary)))
buffer.write(str.encode('\r\n'))

#跳转画面
yield scrapy.Request(
	url=uploadUrl,
	method="POST",
	body=buffer.getvalue(),
	headers=headers,
	callback=self.upload)

如果有幸帮到你，请帮我点个【赞】