- 博客(2)
- 收藏
- 关注
RSS订阅原创 大数据MapReduce(Java实现)
一、MapReduce流程分析Map的任务是将大任务转换成小任务，Reduce是汇总的意思注意：1、所有的输入和输出都是key-value类型，总共四对2、key2 value2和key3 value3数据类型一致，value3是一个集合，集合中的每个元素是value2k1 value分别是偏移量和输入的数据 k2 value2是进行分词后的单词和频率 k3 value3 ，v...
2018-09-09 14:24:24
1301
原创 大数据基础入门总结
一、大数据的本质： （1）：数据的存储：分布式文件系统（多台机器进行分布式存储） （2）：数据的计算：分布式计算也指的就是hadoop中的hdfs来解决大数据的存储问题，hdfs的结构是由一个管理员NameNode名称节点和多个DataNode组成的一个hdfs，搭建这个集群最少需要三台机器，我是搭建了3台linux机器解决的问题：使用分布式文件系统能够解决的问题，能...
2018-09-09 13:53:28
804
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人