![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
还你一梦
路漫漫其修远兮,吾将上下而求索!
展开
-
初始大数据-02-日志采集大数据和爬虫采集大数据
6. 通过系统日志采集大数据 目前使用最广泛的、用于系统日志采集的海量数据采集工具有 Hadoop 的 Chukwa、ApacheFlumeAFacebook 的 Scribe 和 LinkedIn 的 Kafka 等。 以上工具均采用分布式架构,分布式采集速度更快。 Flume 的基本概念 此图借鉴网站 关键字 事件驱动,事件一般是一条记录 Source 捕获事件,进行特定的格式...原创 2020-04-11 08:58:29 · 873 阅读 · 2 评论 -
初识大学据-01
1. 大数据是什么 why:大数据时代 阿里提出"DT时代",未来将是数据推动发展的时代。 what:概念 大数据是指无法在有限时间内用常规软件工具对其进行获取、存储、管理和处理的数据集合。 特点 4v特点:Volume、Velocity、Variety 和 Value 四个特征 Volume:数据量大 Velocity:表示大数据的数据产生、处理和分析的速度在持续加快 Variety ...原创 2020-04-09 20:32:18 · 520 阅读 · 1 评论