- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 linux 清洗文件
1、去除文件fileName1中字符串的所有空格，并将去除掉空格的数据放入fileName2文件中sed s/[[:space:]]//g fileName1 > fileName2 2、去除文本中的空行grep -v "^$" fileName 3、统计文件中文本行数awk 'END{print NR}' fileName 3、对文件中的内容进行去重...
2018-08-30 13:21:02
638
转载 Hadoop中Combiner和Partitioner应用场景
Combiner和Partitioner是用来优化MapReduce的。可以提高MapReduce的运行效率。Combiner集群上的可用带宽限制了MapReduce作业的数量，因此尽量避免map和reduce任务之间的数据传输是有利的。Hadoop允许用户针对map任务的输出指定一个combiner（就像mapper,reducer）。combiner函数的输出作为reduce函数的输入...
2018-08-15 23:49:53
1933
转载 Hadoop数据倾斜处理
何为数据倾斜？在弄清什么是数据倾斜之前,我想让大家看看数据分布的概念: 正常的数据分布理论上都是倾斜的，就是我们所说的20-80原理：80%的财富集中在20%的人手中, 80%的用户只使用20%的功能 , 20%的用户贡献了80%的访问量 , 不同的数据字段可能的数据倾斜一般有两种情况:一种是唯一值非常少，极少数值有非常多的记录值(唯一值少于几千)一种是唯一值比较多，这个字段...
2018-08-15 23:11:27
757
转载 Java内存与垃圾回收调优
要了解Java垃圾收集机制，先理解JVM内存模式是非常重要的。今天我们将会了解JVM内存的各个部分、如何监控以及垃圾收集调优。Java（JVM）内存模型正如你从上面的图片看到的，JVM内存被分成多个独立的部分。广泛地说，JVM堆内存被分为两部分——年轻代（Young Generation）和老年代（Old Generation）。年轻代年轻代是所有新对象产生的地方。当年轻代内存...
2018-08-03 13:47:18
135
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人