Small-Apple的博客

hive参数调整及优化1.hive表查空间及其占用空间大小命令2.数据倾斜调试2.1.自动mapjoin开关参数调整2.2.输入文件合并参数2.3.输出文件合并参数3.hive时间戳不支持13位4.sql中取当前记录的上一条记录或下一条记录：5.分区修复：6.hive时间格式转换：6.1.第一种方法：6.2.第二种方法：7.hive获取当前日期及当前时间戳:8.hive表加字段语法：9.null参与排序时的位置：10.获取hive表的字段名10.1.获取hive表的字段名,并使用逗号分隔，去掉表名脚本：10

Phoenix各个参数的含义及设置 ：属性名称 属性描述 默认值 phoenix.query.timeoutMs 查询超时时间，默认为10分钟，单位：毫秒 600000 phoenix.query.keepAliveMs 当客户端的线程超过线程池的核心线程数量时，空闲线程等等待任务的默认时间。超过这个时间，空闲线程就会关闭，默认是60s 60000...

MapReduce对应的java类：package com.paic;import java.io.IOException;  import java.util.Iterator;  import java.util.StringTokenizer;  import org.apache.hadoop.fs.Path;  import org.apache.hadoop.io....

日期字符串拆分算法的java类：package com.paic.lbdp.intf.base.util;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.ArrayList;import java.util.Calendar;import java.util.D...

Python示例代码：#!/usr/bin/env python############################################################################## Licensed to the Apache Software Foundation (ASF) under one# or more contributor li...

--------------------------------txt格式  无分区-------------------------------use an_pafc_safe;create table an_pafc_safe.sx_ela_bp_info(id_ela_bp_info   string,code             string,agent_no ...

------------------------------------------------------------------指定分隔符------------------------------------------------------------------use an_pafc_safe; create table an_pafc_safe.agg_lbk_toa...

shell脚本：#!/bin/shsource ExitCodeCheck.shopts=$@getparam(){arg=$1echo $opts |xargs -n1 |cut -b 2- |awk -F'=' '{if($1=="'"$arg"'") print $2}'}IncStart=`getparam inc_start`IncEnd=`getpar...

sqoop导出脚本：#!/bin/shsource ExitCodeCheck.shopts=$@getparam(){arg=$1echo $opts |xargs -n1 |cut -b 2- |awk -F'=' '{if($1=="'"$arg"'") print $2}'}IncStart=`getparam inc_start`IncEnd=`getp...

shell脚本示例：#!/bin/shsource ExitCodeCheck.shopts=$@getparam(){arg=$1echo $opts |xargs -n1 |cut -b 2- |awk -F'=' '{if($1=="'"$arg"'") print $2}'}IncStart=`getparam inc_start`IncEnd=`getp...

spark脚本：#!/bin/shsource ExitCodeCheck.shexitCodeCheck(){if [ $1 -ne 0 ]; then  echo 'shell execute return value is' $1 'is not 0'  exit $1else  echo 'shell execute success'fi}opts=$@ge...

1。测试取下来(jar包)cd /tmp/hduser0101                 hadoop fs -get /apps/hduser0101/an_pafc_safe/lib/spark2phoenix.jar 2、开发put上去(jar包)hadoop fs -put -f  /appcom/tmp/spark2phoenix.jar /apps/hdus...

shell脚本：#!/bin/shsource ExitCodeCheck.shopts=$@getparam(){arg=$1echo $opts |xargs -n1 |cut -b 2- |awk -F'=' '{if($1=="'"$arg"'") print $2}'}IncStart=`getparam inc_start`IncEnd=`getpar...

shell脚本：#!/bin/shsource ExitCodeCheck.shopts=$@getparam(){arg=$1echo $opts |xargs -n1 |cut -b 2- |awk -F'=' '{if($1=="'"$arg"'") print $2}'}IncStart=`getparam inc_start`IncEnd=`getparam ...

shell脚本：#!/bin/shsource ExitCodeCheck.shopts=$@getparam(){arg=$1echo $opts |xargs -n1 |cut -b 2- |awk -F'=' '{if($1=="'"$arg"'") print $2}'}IncStart=`getparam inc_start`IncEnd=`getparam ...