python爬虫进阶(模拟人为上网)

python爬虫进阶(模拟人为上网)

在 某些服务器上，禁止别人去爬站里的内容。所以必须模拟真实上网，才能抓取 内容。所以在上一篇博客里的爬虫只适用于服务器对爬虫没有限制的情况下。但是大多数网站都有限制，即防止你通过网络爬虫来获取网站里的信息。所以需要让爬虫来模拟用户真实的行为来骗过服务器。基本思想就是酱紫。

注意：我运行的python IDE 是 IDLE(Python GUI)，桌面环境是windows 8，然后py源文件的同目录下需要有一个名为kim的文件夹，这样程序才能正常运行。

上代码先。

import random
import socket
import urllib2
import