Sqoop
往事随风ing
感恩 · 自信 · 宽容 · 耐心
展开
-
[Sqoop基础]-- sqoop导出hive数据到mysql避免空值
实现语句如下:sqoop export --connect jdbc:mysql://ip:3306/eqpt_base_db?characterEncoding=utf8 --username root --password secret_password --table A_JQZ_T_GAS_GET_ORDER_NUM_INFO_S --export-dir /user/hive/w...原创 2016-07-25 17:04:19 · 9594 阅读 · 0 评论 -
[Sqoop基础]-- 本地执行sqoop和oozie上执行sqoop命令需要注意
-------------------------------------------本地sqoop命令,需要修改为'\N'、并且添加sqoop前缀-------------------------------------------#采购订单sqoop export --connect jdbc:mysql://192.168.1.109/testtests?characterEncodi...原创 2016-08-07 16:04:53 · 3774 阅读 · 0 评论 -
[Sqoop基础]-- 导入数据到HDFS中(大数据存储系统)
环境准备:h15机器,mysql使用h15的,不用h17的mysql配置hive的环境变量和hadoop的环境变量注意:(1)一定要配置HADOOP_HOME和HIVE_HOME(2)和flume相似,要将sqoop放在active的namenode节点上 错误1:Error: Could not find or load main class org.apache.sqo...原创 2016-06-07 09:53:53 · 8000 阅读 · 0 评论 -
[Sqoop基础]-- 使用shell脚本执行hive、sqoop命令
1、test.sh脚本内容如下:#!/bin/bash#CURR_DATE=`date +"%Y-%m-%d %H:%M:%S"`------>不能使用v_sql="insert into origin_ennenergy_energytrade.test2 values('"$(date +"%Y-%m-%d %H:%M:%S")"','"Y"')" echo $v_sq..原创 2016-08-09 10:45:44 · 8449 阅读 · 0 评论