- 博客(3)
- 收藏
- 关注
RSS订阅原创 Scala中的:: , .::,+:, :+, :::, ++, 等操作的区分
package test object listCop{ def main(args: Array[String]): Unit = { val list = List(1,2,3) val list2=List(A,B) // :: 用于的是向队列的头部追加数据,产生新的列表, x::list,x就会添加到list的头部 println(0 :: list) //输出: List(0, 1, 2, 3) // .:: 这个是list的一个方法;作用和上面的...
2020-05-13 23:18:39
453
原创 MapReduce运行机制详解
MapReduce概念 MapReduce是一个分布式运算程序的编程框架，核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在Hadoop集群上。 Hadoop MapReduce构思 如何处理大量数据：分而治之 对相互间不具有计算依赖关系的大数据，实现并行最自然的办法就是采取分而治之的策略。并行计算的第一个重要问题是如何划分计算任务或者计算数据...
2019-07-10 00:02:27
523
原创 HDFS的读取和写入
HDFS读取过程 上述为HDFS读取文件的机制。 值得我们注意的是： 1.上述读取过程可以采用多线程的方式读取block块，加快读取的效率 2.如果读取过程中block块中断或者丢失的话，之前读取的block块就要删除掉，重新和datanode通信，建立pipeline管道，传输数据。 HDFS文件的写入过程 上述为HDFS写入文件的过程 ...
2019-07-03 14:17:31
169
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人