Big Data
佰无一用是书生
这个作者很懒,什么都没留下…
展开
-
大数据分析常用组件、框架、架构介绍(Hadoop、Spark、Storm、Flume、Kafka、Logstash、HDFS、HBase)
(一)常用组件介绍:具有特定功能的可复用组件正是计算机领域中的利器。在大数据的浪潮下,许多用于处理大数据的组件应运而生,分别应用在“数据传输”“数据存储”“数据计算”以及“数据展示”的环节中。这里,我们将着重介绍一些常用组件的内部原理以及使用方式,并讲述在大数据处理领域中的一些通用架构模式。1.数据传输:数据传输时数据处理中至关重要的一步,数据工程师需要利用高效的传输方式把分散在不同机房不同地...原创 2019-06-22 00:01:09 · 11486 阅读 · 3 评论 -
大数据、数据科学概述(数据分析工具、数据分析师知识图谱、数据处理流程)
数据处理的一般流程:明确目标 、确定方案、数据整理、建模分析、结果验证、总结展现。“数据分析”能力从实践角度来讲需要工程师给出分析建模的策略,解决业务中遇到问题的能力,并对此制定有效的建模策略;完成此项策略需要工程师至少具备以下三类知识储备:统计分析、数据挖掘、深度学习。“数据工程”能力,就是灵活运用数据处理组件及相关技术,实现数据分析中拟定决策的能力。包含了**“数据搜集”、“数据传输”、“...原创 2019-06-18 09:23:31 · 510 阅读 · 1 评论