导数执行的语句

1。测试取下来(jar包)

cd /tmp/hduser0101                 
hadoop fs -get /apps/hduser0101/an_pafc_safe/lib/spark2phoenix.jar 


2、开发put上去(jar包)

hadoop fs -put -f  /appcom/tmp/spark2phoenix.jar /apps/hduser0101/an_pafc_safe/lib/spark2phoenix.jar


3、进入hive,使用对应的数据集市:

use an_pafc_safe;                               //使用的数据库
set mapred.queue.names=root.queue_0101_01;      //使用队列
set mapreduce.job.queuename=root.queue_0101_01;


//spark执行SQL语句

spark-sql  --master yarn-client  --queue root.queue_0101_01



txt文件导入到hive表中的命令:

load data local inpath '/appcom/tmp/zeb/sx_ela_bp_info.txt' into table an_pafc_safe.sx_ela_bp_info;


#执行第一个脚本所要传入的参数:

./hive_cgi_idld_lcdm_mit_client_group_info.sh -inc_start=20170701 -inc_end=20170801 -jdbc_str=jdbc:oracle:thin:@10.20.131.82:1526:srvp_d0mbi_paeye-mbi-life_1 -db_user=mbidata -db_psw=pa12ic34 -db_sid=LUSH0 -hdp_queue=root.queue_0101_01 -hdfs_host=hdfs://hdp-hdfs01


#第一个脚本存放的目录:

/apps/hduser0101/an_pafc_safe/hive_cgi




#第二个脚本以及之后的脚本的存放=目录:

/apps/hduser0101/sx_360_safe/spark_cgi

#sqoop脚本执行命令:

./sqoop_import_liferpt_agg_mobile_bussiness_dept_all.sh -inc_start=20170206 -inc_end=20170207 -jdbc_str=jdbc:oracle:thin:@d0lifrt.dbdev.paic.com.cn:1526:d0lifrt -db_user=LOLAPDATA -db_psw=patst2012 -db_sid=LUSH0 -hdp_queue=root.queue_0101_01 -hdfs_host=hdfs://hdp-hdfs01

#hive脚本执行命令:

./hive_mbi_epcis_life_plan.sh -hdp_queue=root.queue_0101_01 -hdfs_host=hdfs://hdp-hdfs01

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值