- 博客(4)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 shell循环日期
1. touch test.sh2.[java] view plain copy #!/bin/sh startdate=`date -d "$1" +%Y-%m-%d` enddate=`date -d "$2" +%Y-%m-%d` while [[ $startdate do ec
2017-02-27 11:46:42
1380
转载 hive中order by,sort by, distribute by, cluster by作用以及用法
1. order by Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局排序，所以说，只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的block只会启动一个reducer）。但是对于大量数据这将会消耗很长的时间去执行。 这里跟传统的sql
2017-02-27 11:20:19
279
转载 Spark性能优化：数据倾斜调优
Spark性能优化：数据倾斜调优 继《Spark性能优化：开发调优篇》和《Spark性能优化：资源调优篇》讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。1.数据倾斜调优调优概述 有的时候，我们可
2017-02-15 16:18:25
397
转载 Hbase 统计表行数的3种方式总结
有些时候需要我们去统计某一个Hbase表的行数，由于hbase本身不支持SQL语言，只能通过其他方式实现。可以通过一下几种方式实现hbase表的行数统计工作：1.count命令最直接的方式是在hbase shell中执行count的命令可以统计行数。[html] view plain copyhbase> co
2017-02-06 16:35:58
1472
文本分类语料库
2016-10-25
Scala编程(完整中文版)
2016-09-06
redis设计与实现(第二版)
2016-09-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人