http
文章平均质量分 56
mycar001
这个作者很懒,什么都没留下…
展开
-
【经验总结】Http,网页访问,HttpRequest,HttpResponse相关的知识
以下记录自己在用C#语言,实现网页内容抓取,模拟登陆网页等过程中,所从无到有,一点点知道的一些知识,记录下来,以供参考(高手不要笑哈): 1.Host不是自己指定/设置的,而是http请求会自动去设置用C#写http请求的header中,开始以为Host也是自己设置的:req.Headers.Add(“Host”, “login.live.com”);结果发转载 2017-10-30 10:43:45 · 534 阅读 · 0 评论 -
设置Accept-Encoding为gzip,deflate,返回的网页是乱码
用C#写代码去获取网页内容。其中request的header中,设置Accept-Encoding为gzip,deflate:req = (HttpWebRequest)WebRequest.Create(gSkydriveUrl);req.Headers.Add("Accept-Encoding", "gzip,deflate");结果始终返回是乱码:转载 2017-10-30 10:59:35 · 44162 阅读 · 6 评论 -
Python中Http的GET或POST请求支持Gzip压缩
【问题】 在用python抓取网页的时候,很多网页返回的html的数据量比较大,比如好几十KB, 希望在提交http的请求的时候,支持Gzip压缩,已减少数据量传输。【解决过程】 1.参考 http://flyash.itcao.com/post_1117.html 中说的, 只需要在header中添加accept-encoding就可以了。 去试试。 2.转载 2017-10-30 11:03:19 · 3554 阅读 · 0 评论 -
零基础写python爬虫之urllib2中的两个重要概念:Openers和Handlers
在开始后面的内容之前,先来解释一下urllib2中的两个个方法:info / geturl urlopen返回的应答对象response(或者HTTPError实例)有两个很有用的方法info()和geturl()1.geturl():这个返回获取的真实的URL,这个很有用,因为urlopen(或者opener对象使用的)或许会有重定向。获取的URL或许跟请求URL不同转载 2017-11-01 14:36:29 · 358 阅读 · 0 评论