论一只爬虫的自我修养

Python如何访问互联网？

URL的一般格式为（带方括号[]的为可选项）： protocol :// hostname[:port] / path / [;parameters][?query]#fragment URL由三部分组成： 第一部分是协议：http，https，ftp，file，ed2k… 第二部分是存放资源的服务器的域名系统或IP地址（有时候要包含端口号，各种传输协议都有默认的端口号，如http的默认端口为80）。 第三部分是资源的具体地址，如目录或文件名等。

隐藏

修改 headers

通过Request的headers参数修改

通过Request.add_header()方法修改

代理

步骤：

1. 参数是一个字典 {‘类型’:‘代理ip:端口号’} proxy_support = urllib.request.ProxyHandler({})

2. 定制、创建一个 opener opener = urllib.request.build_opener(proxy_support)

3a. 安装 opener