netstat -nat|grep -i "80"修改 /etc/sysctl.conf, 添加两条数据#打开重用net.ipv4.tcp_tw_reuse = 1#打开快速回收net.ipv4.tcp_tw_recycle = 1保存后执行 sysctl -p 生效临时生效的办法：sysctl -w net.ipv4.tcp_tw_reuse=1sysctl -w...

需要手动处理redirect。 （以获得中间过程的 Location, 有时中间这个转向在URL中包含了某个参数）HttpClient4.0的GET方法完全redirect，POST方法部分支持redirect，也就是说，我们在大部分情况下爬网页时中间的一些redirect过程可以当作是透明的，输入一个URL得到的是redirect后的最终结果页。 刚好，我需要redirect过程中的一个

httpclient使用post提交json参数，（跟使用表单提交区分）：[java] view plaincopyprivate void httpReqUrl(List list, String url)              throws ClientProtocolException, IOException {

定向爬虫基本原理定向爬虫就是指定某一些网站的数据源做为数据来源，进行页面数据的抓取，这里有别于传统的搜索引擎爬虫，传统的搜索引擎爬虫主要是针对整个互联网的数据进行爬取以及数据分析，难度更大，不论是从抓取的调度，还是性能要求，又或者是数据的存储都有很大的区别。定向爬虫只有单个或者少量的网站做为数据源头，抓取整个网站有用的数据以及图片等信息，本文主要介绍利用Java开源库用于处理http请求以