m0_37823460的博客

原创 爬虫第一天

一,数据的来源1 企业生产的用户数据2 数据管理咨询公司3 政府/机构提供的公开的数据4 第三方数据平台购买数据5 爬虫爬取数据二爬虫分类根据使用场景，网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种.通用爬虫通用爬虫：搜索引擎用的爬虫系统。搜索引擎和web服务商提供的爬虫。目标：就是尽可能的；把互联网上的所有的网页下载下来，放到本地服务器里形成备分，在对这些网页做相关处理(提取...