m0_37823460的博客

原创 爬虫第一天

一,数据的来源 1 企业生产的用户数据 2 数据管理咨询公司 3 政府/机构提供的公开的数据 4 第三方数据平台购买数据 5 爬虫爬取数据 二爬虫分类 根据使用场景，网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种. 通用爬虫 通用爬虫：搜索引擎用的爬虫系统。搜索引擎和web服务商提供的爬虫。 目标： 就是尽可能的；把互联网上的所有的网页下载下来，放到本地服务器里形成备分，在对这些网页做相关处理(提取...