python socket接收数据不完整_Python中用socket发送HTTP请求,数据接收不完整的问题...

由于工作的需求,需要用python做一个类似网络爬虫的采集器。虽然Python的urllib模块提供更加方便简洁操作,但是涉及到一些底层的需求,如手动设定User-Agent,Referer等,所以选择了直接用socket进行设计。当然,这样的话,需要对HTTP协议比较熟悉,HTTP协议这里就不做讲解了。整个python的代码如下:

#!/usr/bin env python

import socket

host="www.baidu.com"

se=socket.socket(socket.AF_INET,socket.SOCK_STREAM)

se.connect((host,80))

se.send("GET / HTTP/1.1\n")

se.send("Accept:text/html,application/xhtml+xml,*/*;q=0.8\n")

#se.send("Accept-Encoding:gzip,deflate,sdch\n")

se.send("Accept-Language:zh-CN,zh;q=0.8,en;q=0.6\n")

se.send("Cache-Control:max-age=0\n")

se.send("Connection:keep-alive\n")

se.send("Host:"+host+"\r\n")

se.send("Referer:http://www.baidu.com/\n")

se.send("user-agent: Googlebot\n\n")

print se.recv(1024)

代码运行正常,但是发现一个比较重要的问题,运行结果只返回了HTTP的头部信息,网页的内容则没有被返回。网上查找了很多资料,一无所获,经过一夜的思考,突然想到了一个问题,有可能我请求的资源非常大,一个网络的IP包的大小,它是受很多因素制约的,最典型的便是MTU(最大传输单元),那么会不会我请求的数据被分割了,HTTP的头部信息只是一部分,其它数据还在传输或者缓冲区呢?于是做了这样一个遍历:

while True:

buf = se.recv(1024)

if not len(buf):

break

print buf

这样发现所有请求的数据均被返回了,看来要想做好网络变成,深入理解TCP/IP协议是非常必要的。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值