- 博客(3)
- 收藏
- 关注
原创 数据仓库
数据仓库的主要特征 数据仓库是 面向主题的(Subject-Oriented )、 集成的(Integrated)、 非易失的(Non-Volatile)和 时变的(Time-Variant )数据集合,用以支持管理决策 。 1,面向主题 传统数据库中,最大的特点是面向应用进行数据的组织,各个业务系统可能是相互分离的。而数据仓库则是面向主题的。主题是一个抽象的概念,是较高层次上企业信息系...
2019-04-23 16:30:27 287
原创 MapReduce 的序列化
MapReduce 的 序列化 序列化(Serialization)是指把结构化对象转化为字节流。 反序列化(Deserialization)是序列化的逆过程。把字节流转为结构化对象。 当要在进程间传递对象或持久化对象的时候,就需要序列化对象成字节流, 反之当要将接收到或从磁盘读取的字节流转换为对象,就要进行反序列化。 Java 的序列化(Serializable)是一个重量级序列化框架,一个...
2019-04-23 15:53:25 968
原创 Hadoop学习 MapReduce
MapReduce 思想 MapReduce 思想在生活中处处可见。或多或少都曾接触过这种思想。 MapReduce 的思想核心是“ 分而治之”,适用于大量复杂的任务处理场景(大规模 数据处理场景)。即使是发布过论文实现分布式计算的谷歌也只是实现了这种思 想,而不是自己原创。 Map 负责“分”,即把复杂的任务分解为若干个“简单的任务”来并行处理。 可以进行拆分的前提是这些小任务可以并行计算,彼...
2019-04-11 16:12:21 345
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人