爬虫（一）

什么是爬虫？

请求网站并提取数据的自动化程序

str类型：unicode的呈现形式
bytes：互联网上数据都是以二进制方式传输的
http：超文本传输协议，默认80端口
https：http+ssl（安全套接字层）默认端口号：443
https比http更安全，但性能更低

url的形式

形式：scheme://host[:port#]/path/…/[?query-string][#anchor]
scheme:协议（例如http，https）
host：服务器的IP地址或域名
port：服务器端口号
path：访问资源的路径
query-string：参数，发送给http服务器的数据
anchor：锚（跳转到网页指定锚点位置）
例如（http：//localhost:400/file/part/1.html）（http://item.jd.com/111936.html#product-detail）

例如请求百度头：