![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
Wz4J
这个作者很懒,什么都没留下…
展开
-
大数据BigData总结笔记(三) Flume
Flume 分布式日志收集工具 Flume是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据。 特点 具有基于流数据流的简单灵活的体系结构。 具有可调整的可靠性机制以及许多故障转移和恢复机制,具有强大的功能和容错能力。 它使用一个简单的可扩展数据模型,允许在线分析应用程序。 工作流程: webServer --> agent(source-chann...原创 2020-02-25 09:51:07 · 172 阅读 · 0 评论 -
大数据BigData总结笔记(二) : Hadoop
Apache Hadoop 1.历史 搜索引擎 Google 获取数据 -- 爬虫:获取到超大量的数据 存储数据 -- GFS 处理数据 -- Mapreduce 检索数据 -- 倒排索引 << google file system >> : Google公司的数据存储技术论文 << Mapreduce> > : Goog...原创 2020-02-21 18:21:23 · 290 阅读 · 0 评论 -
大数据BigData总结笔记(一)
一 什么是大数据? 大数据(big data),IT行业术语,P级甚至是E级数据量! 是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合, 是需要新处理模式才能具有更强的决策力、洞察发现力和 流程优化能力的海量、高增长率和多样化的信息资产。 eg: 19g 的txt文件--打开失败:常规软件无法捕捉管理,处理.. 买枪案例:洞察发现力.. 啤酒和尿布案例:洞察发现力,流程优...原创 2020-02-21 09:28:33 · 2160 阅读 · 0 评论