Web数据抓取注意点

1. 应该判断host是不是合法的。如google.com合法，但是googlecom或者google.abcde就不构成一个合法的host。
2. 地址中含有中文, 与操作系统环境
3. 需要设置timeout。
4. 使用异步方式或多线程(多进程)方式以提高抓取速度
5. 数据内容验证：判断content-type
6. 抓取下来的数据需要完整性的验证，最基本的方法是content-length和实际获取的数据大小进行比较，但是当Transfer-Encoding=chunked时，返回的header没有content-length，此方法失效
7. 有时你需要设置User-Agent和Referer。 :P