本文介绍了Python爬虫的基本概念，包括通过URL爬取网页内容和解析数据。爬虫类型分为通用爬虫和聚焦爬虫，前者用于搜索引擎，后者针对特定需求抓取数据。还探讨了反爬虫策略，如User-Agent、代理IP、验证码以及动态加载页面的应对方法。同时提到了数据处理，如HTTP响应的处理和网页内容的解码编码。
爬虫解释：
通过程序，根据url（http://taobao.com）进行网页的爬取 获取有用的信息
实用程序模拟浏览器，去向服务发送请求，获取响应信息
爬虫的核心
爬取网页：爬取整个网页 包含了网页中所的内容
解析数据：将网页中得到的数据 进行解析
难点：爬虫和但爬虫之间的博弈
爬虫的类型
实例
通用爬虫
百度，360，Google，搜狗等搜索引擎
功能
访问网页-》抓取数据-》数据储存-》数据处理-》提供检索服务
robots协议
一个约定俗成的协议，添加robots.txt文件 来说明本网站哪些内容不可被抓取，起不到限制作用 自己写的爬虫无需遵守
网站排名（seo）
1根据pagerank算法进
最低0.47元/天 解锁文章
985
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
