- 博客(5)
- 收藏
- 关注
RSS订阅转载 Hadoop的RPC
Hadoop的RPC RPC RPC就是远程过程调用,具体什么是RPC，看一个例子就会明白。 比如客户端有一个RPC协议类Protocol。 interfce Protocol{ int add(int a, int b); } 但是客户端没有其实现的具体类，该类在服务端 Class...
2018-10-29 09:22:00
289
转载 非整数0-1背包问题
0-1背包问题通常情况下物品的重量是整数的，采用动态规划可以解决，在解决物品重量非整数情况下的背包问题之前，我们先来回顾整数背包问题，并从中寻找解决非整数背包问题的方法。 问题定义：有n种物品和一个容量为c的背包，第i件物品的重量为wi，价格为vi,求出哪种物品组合放入背包使物品价值总和最大...
2018-09-01 10:18:00
2444
转载 hdfd扩容
hdfs的存储容量不足，需要放入新磁盘扩容 扩容有两种方式，一种是linux层面的，一种是hdfs层面的 hdfs的datanode存储的目录可以查看hdfs-site.xml的dfs.datanode.data.dir的值 linux层面 linux层面的就是将hdfs的datanode所挂...
2018-07-24 20:31:00
224
转载 mapreduce 排序
mapreduce的排序主要分部分排序、全排序和辅助排序（二次排序） 可以直接在reduce中在对数据进行排序，但是这对于reduce的负担太重，数据处理的时间消耗也会大大增加 mapreduce机制中排序只会针对键进行排序，所以如果想对某个数据进行排序，一定要将其设置为map输出的键，排序主...
2018-07-18 09:21:00
504
转载 Hadoop 小文件的处理
hadoop的HDFS和MapReduce本身都是用户处理大量数据的大文件，对于小文件来说，由于namenode会在记录每个block对象，如果存在大量的小文件，会占用namenode的大量内存空间，而且HDFS存储文件是按block来存储，即使一个文件的大小不足一个block的大小，文件还是...
2018-07-06 10:33:00
209
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人