python爬虫思维导图
python爬虫爬虫基础简介robots协议也称君子协议:规定该网站哪些内容可以爬,哪些不可以爬。 可以通过网站域名 + /robots.txt的形式访问该网站的协议详情,例如:www.taobao.com/robots.txthttp协议/https协议概念:服务器和客户端进行数据交互的一种形式请求头信息:user-agent:浏览器身份标识connection:请求完毕后,是断开连接(close)还是保持连接(keep-alive)响应头信息:Content-
复制链接