- 博客(5)
- 收藏
- 关注
转载 Hadoop的RPC
Hadoop的RPC RPC RPC就是远程过程调用,具体什么是RPC,看一个例子就会明白。 比如客户端有一个RPC协议类Protocol。 interfce Protocol{ int add(int a, int b); } 但是客户端没有其实现的具体类,该类在服务端 Class...
2018-10-29 09:22:00
308
转载 非整数0-1背包问题
0-1背包问题通常情况下物品的重量是整数的,采用动态规划可以解决,在解决物品重量非整数情况下的背包问题之前,我们先来回顾整数背包问题,并从中寻找解决非整数背包问题的方法。 问题定义:有n种物品和一个容量为c的背包,第i件物品的重量为wi,价格为vi,求出哪种物品组合放入背包使物品价值总和最大...
2018-09-01 10:18:00
2503
转载 hdfd扩容
hdfs的存储容量不足,需要放入新磁盘扩容 扩容有两种方式,一种是linux层面的,一种是hdfs层面的 hdfs的datanode存储的目录可以查看hdfs-site.xml的dfs.datanode.data.dir的值 linux层面 linux层面的就是将hdfs的datanode所挂...
2018-07-24 20:31:00
240
转载 mapreduce 排序
mapreduce的排序主要分部分排序、全排序和辅助排序(二次排序) 可以直接在reduce中在对数据进行排序,但是这对于reduce的负担太重,数据处理的时间消耗也会大大增加 mapreduce机制中排序只会针对键进行排序,所以如果想对某个数据进行排序,一定要将其设置为map输出的键,排序主...
2018-07-18 09:21:00
551
转载 Hadoop 小文件的处理
hadoop的HDFS和MapReduce本身都是用户处理大量数据的大文件,对于小文件来说,由于namenode会在记录每个block对象,如果存在大量的小文件,会占用namenode的大量内存空间,而且HDFS存储文件是按block来存储,即使一个文件的大小不足一个block的大小,文件还是...
2018-07-06 10:33:00
221
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人