qq_43617372的博客

形式 scheme://host[:port#]/path/…/[?query-string][#anchor]scheme: 协议（http、https、ftp）host: 服务器ip或者域名port：服务器的端口path: 访问资源的路径query-string: 参数，发送给http服务器的数据anchor: 锚点（跳转到网页指定位置）...

写爬虫的时候，修改User-Agent可以达到模仿不同浏览器的效果，chorme、ie或者手机版浏览器chorme: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36手机版User-Agent:Mozilla/...

方法（空格）url（空格）协议GET / HTTP/1.1请求头部host:主机名Host: www.baidu.com连接类型：（长连接）Connection: keep-alive升级为安全连接：（https）Upgrade-Insecure-Requests: 1浏览器标识User-Agent: Mozilla/5.0 (iPad; CPU OS 11_0 lik...

爬虫的分类同用爬虫：通常指搜索引擎的爬虫聚焦爬虫：针对特定网站的爬虫