- 博客(6)
- 资源 (8)
- 收藏
- 关注
原创 shell通过日期循环做处理逻辑
#! /bin/sh #传入开始日期结束日期包含开始和结束两天 date=`date -d "+0 day $1" +%Y%m%d` enddate=`date -d "+1 day $2" +%Y%m%d` #date_1=`date -d "+0 day $1" +%Y-%m-%d` #enddate_1=`date -d "+1 day $2" +%Y-%m-%d` echo "----...
2018-04-25 09:59:07 828
原创 Java对域名一二级区分实现
1.引入maven文件 <dependency> <groupId>de.malkusch.whois-server-list</groupId> <artifactId>public-suffix-list</artifactId> <!--<version>2.2.0</
2018-04-19 13:59:30 1332 1
原创 阿里云的oss上传到cdh的hdfs集群
1.oss可以上传到hdfs,支持emr集群还支持其他开源的hdfs版本。emr-tools兼容Hadoop 2.4.x、2.5.x、2.6.x、2.7.x版本,如果有其他Hadoop版本兼容性的需求,请提交工单给阿里云。下载https://helpcdn.aliyun.com/document_detail/63822.htmltar jxf emr-tools.tar.bz22.oss到hdf...
2018-04-10 18:10:49 1047
转载 Kylin源码解析——Cube构建过程中如何实现降维
-维度简述Kylin中Cube的描述类CubeDesc有两个字段,rowkey和aggregationGroups。@JsonProperty("rowkey") private RowKeyDesc rowkey; @JsonProperty("aggregation_groups") private List<AggregationGroup> aggregationGroups...
2018-04-04 14:16:55 533
原创 Java调用oozie提交spark on yarn任务
1.需要在oozie-site.xml设置如下属性:<property> <name>hadoop.proxyuser.cenyuhai.hosts</name> <value>*</value> </property> <property> <name>
2018-04-04 13:25:28 2220 1
原创 hive-1.1-CDH永久注册UDF
第1种、创建临时函数。如在hive CLI执行下面命令hive> add jar ipudf.jar;hive> create temporary function iptocc as 'com.wct.hive.udf.IptoccUDF';hive> select iptocc(t.col1) from t limit 10;hive> drop temporary f...
2018-04-04 10:53:12 671
go语言开发实战特好用
2018-06-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人