hadoop
旭旭_哥
码农一枚
展开
-
sh调取sqoop脚本每天增量跑数据 从hadoop到关系型数据库
sh中调取sqoop每天增量懂啊关系型数据库中,看看吧#!/bin/bashsource ~/.bashrcset -xDAY=`date -d "$1 days ago" +%y-%m-%d`DAYI=`date -d "$1 days ago" +%Y%m%d`APPHOME="/opt/pig_home/bshare_etl/hdetl/app/pv_pl原创 2015-11-27 09:44:05 · 1341 阅读 · 0 评论 -
python调取hive 和sqoop之二
#!/usr/bin/pythonimport time,osUSER="wilson.zhou"PWD="YCt452uz"URL="jdbc:postgresql://10.1.1.230:5432/xmo_dw"day = time.strftime('%Y-%m-%d',time.localtime(time.time() -24*60*60))[2::]sql = ''原创 2015-11-26 16:28:50 · 2213 阅读 · 1 评论 -
用python调用hive和sqoop
来新公司了,要做一大坨的脚本调数据,看看用python怎么调这些东西,#!/usr/bin/pythonimport time,osUSER="wilson.zhou"PWD="YCt452uz"URL="jdbc:postgresql://10.1.1.230:5432/xmo_dw"day = time.strftime('%Y-%m-%d',time.localtime(t原创 2015-11-26 16:22:34 · 5055 阅读 · 0 评论 -
pig脚本记录,对于pig脚本跑批处理
最近用到了一个写pig脚本来批处理统计生成日志文件,具体的来看看吧:/*nohup pig -p INPUT=/staging/tracking/incoming/rtb.BJ.2015082516* -p SEID=9480 CheckIncomingData.pig &*/REGISTER pig-ext-1.0-SNAPSHOT.jar;REGISTER buzzads-b原创 2015-12-21 10:16:27 · 1400 阅读 · 0 评论