- 博客(15)
- 收藏
- 关注
RSS订阅原创 hive参数调整及优化
hive参数调整及优化1.hive表查空间及其占用空间大小命令2.数据倾斜调试2.1.自动mapjoin开关参数调整2.2.输入文件合并参数2.3.输出文件合并参数3.hive时间戳不支持13位4.sql中取当前记录的上一条记录或下一条记录：5.分区修复：6.hive时间格式转换：6.1.第一种方法：6.2.第二种方法：7.hive获取当前日期及当前时间戳:8.hive表加字段语法：9.null参与排序时的位置：10.获取hive表的字段名10.1.获取hive表的字段名,并使用逗号分隔，去掉表名脚本：10
2021-07-14 14:56:59
3144
翻译 Phoenix各个参数的含义及设置
Phoenix各个参数的含义及设置 ：属性名称 属性描述 默认值 phoenix.query.timeoutMs 查询超时时间，默认为10分钟，单位：毫秒 600000 phoenix.query.keepAliveMs 当客户端的线程超过线程池的核心线程数量时，空闲线程等等待任务的默认时间。超过这个时间，空闲线程就会关闭，默认是60s 60000...
2019-02-25 13:55:24
12593
3
转载 Mapper reduce
MapReduce对应的java类：package com.paic;import java.io.IOException; import java.util.Iterator; import java.util.StringTokenizer; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io....
2017-12-22 18:16:37
462
原创 日期字符串拆分算法
日期字符串拆分算法的java类：package com.paic.lbdp.intf.base.util;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.ArrayList;import java.util.Calendar;import java.util.D...
2017-12-12 12:12:15
1513
原创 Python示例代码（sqlline.py）
Python示例代码：#!/usr/bin/env python############################################################################## Licensed to the Apache Software Foundation (ASF) under one# or more contributor li...
2017-12-12 12:10:42
3446
原创 hive建表语句（包括txt、Orc和分区）
--------------------------------txt格式 无分区-------------------------------use an_pafc_safe;create table an_pafc_safe.sx_ela_bp_info(id_ela_bp_info string,code string,agent_no ...
2017-12-12 10:53:26
18488
原创 hive建表语句（不同的数据分隔符存储数据，包括txt、orc、分区）
------------------------------------------------------------------指定分隔符------------------------------------------------------------------use an_pafc_safe; create table an_pafc_safe.agg_lbk_toa...
2017-12-12 10:47:35
4638
原创 sqoop导出脚本（不同库）
shell脚本：#!/bin/shsource ExitCodeCheck.shopts=$@getparam(){arg=$1echo $opts |xargs -n1 |cut -b 2- |awk -F'=' '{if($1=="'"$arg"'") print $2}'}IncStart=`getparam inc_start`IncEnd=`getpar...
2017-12-12 09:44:54
1590
原创 sqoop导出脚本
sqoop导出脚本：#!/bin/shsource ExitCodeCheck.shopts=$@getparam(){arg=$1echo $opts |xargs -n1 |cut -b 2- |awk -F'=' '{if($1=="'"$arg"'") print $2}'}IncStart=`getparam inc_start`IncEnd=`getp...
2017-12-12 09:43:33
434
原创 sqoop导入脚本
shell脚本示例：#!/bin/shsource ExitCodeCheck.shopts=$@getparam(){arg=$1echo $opts |xargs -n1 |cut -b 2- |awk -F'=' '{if($1=="'"$arg"'") print $2}'}IncStart=`getparam inc_start`IncEnd=`getp...
2017-12-12 09:42:19
1098
原创 spark任务
spark脚本：#!/bin/shsource ExitCodeCheck.shexitCodeCheck(){if [ $1 -ne 0 ]; then echo 'shell execute return value is' $1 'is not 0' exit $1else echo 'shell execute success'fi}opts=$@ge...
2017-12-12 09:40:22
805
原创 导数执行的语句
1。测试取下来(jar包)cd /tmp/hduser0101 hadoop fs -get /apps/hduser0101/an_pafc_safe/lib/spark2phoenix.jar 2、开发put上去(jar包)hadoop fs -put -f /appcom/tmp/spark2phoenix.jar /apps/hdus...
2017-12-12 09:24:45
501
原创 sqoop脚本（导入到pg库）
shell脚本：#!/bin/shsource ExitCodeCheck.shopts=$@getparam(){arg=$1echo $opts |xargs -n1 |cut -b 2- |awk -F'=' '{if($1=="'"$arg"'") print $2}'}IncStart=`getparam inc_start`IncEnd=`getpar...
2017-12-12 09:04:44
2985
原创 sqoop脚本（Oracle到hive）
shell脚本：#!/bin/shsource ExitCodeCheck.shopts=$@getparam(){arg=$1echo $opts |xargs -n1 |cut -b 2- |awk -F'=' '{if($1=="'"$arg"'") print $2}'}IncStart=`getparam inc_start`IncEnd=`getparam ...
2017-12-12 09:00:15
1290
原创 hive脚本
shell脚本：#!/bin/shsource ExitCodeCheck.shopts=$@getparam(){arg=$1echo $opts |xargs -n1 |cut -b 2- |awk -F'=' '{if($1=="'"$arg"'") print $2}'}IncStart=`getparam inc_start`IncEnd=`getparam ...
2017-12-12 08:57:36
692
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人