python 爬虫基础

• str使用encode 方法转化为bytes
• bytes 通过decode 转化为str

基础知识

http和https的概念

• HTTP：超文本传输协议，默认端口号:80
• HTTPS：HTTP+SSL（安全套接字层），默认端口号:443
• HTTPS比HTTP更安全，但是性能更低。

爬虫的流程

url的形式

具体形式

scheme://host[:port#]/path/.../[?query-string][#anchor]

scheme	协议：比如http,https,ftp
host	服务器的IP地址或者域名
port	服务器的端口（如果走协议默认端口 80 or 443）
path	访问资源的路径
query-string	参数，