使用python进行抓取的一个例子
from mechanize import Browser
br = Browser()
br.addheaders = [('User-agent', 'xxxxx'),]
br.set_handle_robots(False)
# use proxy
br.set_proxies({"http":"user_name:passwd@host:port"})
br.open(url)
br.response().read()
使用python进行抓取的一个例子
from mechanize import Browser
br = Browser()
br.addheaders = [('User-agent', 'xxxxx'),]
br.set_handle_robots(False)
# use proxy
br.set_proxies({"http":"user_name:passwd@host:port"})
br.open(url)
br.response().read()