数据迁移
Smile to everyday
这个作者很懒,什么都没留下…
展开
-
sqoop数据导入hive及到处到mysql
条件准备复制jar包到sqoop的lib目录下#复制hive的jar包cp /opt/software/hive110/lib/hive-common-1.1.0-cdh5.14.2.jar /opt/software/sqoop146/libcp /opt/software/hive110/lib/hive-shims* /opt/software/sqoop146/libmysql数据导入hivesqoop import \--connect jdbc:mysql://localhost原创 2021-03-12 11:36:20 · 219 阅读 · 0 评论 -
Sqoop【常用命令】
连接数据库相关命令--connect 关系型数据库连接--username 关系型数据库连接用户名--password 关系型数据库连接密码--table 关系型数据库表--query 自定义sql查询,sql结束要加$CONDITIONS--direct 快速模式,使用mysql自带的mysqldump导出数据--driver 手动指定要使用的JDBC驱动程序类hdfs相关命令--export-dir 从hdfs导出时的源目录--target-dir 导入到hdfs时的目标目录--原创 2020-09-03 22:29:24 · 259 阅读 · 0 评论 -
sqoop常见报错及解决办法
ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.解决办法进入环境变量vi /etc/profile最后一行加入export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*保存退出激活环境变量source /etc/profileException in原创 2020-09-01 13:45:21 · 1446 阅读 · 0 评论 -
sqoop安装
一、安装前准备安装 Sqoop 的前提是已经具备 Java 和 Hadoop、Hive、ZooKeeper、HBase 的环境。二、下载安装并解压上传安装包 sqoop-1.4.6-cdh5.14.2.tar.gz 到虚拟机中安装包下载:链接:sqoop安装包提取码:e14n解压安装包到指定目录tar -zxvf sqoop-1.4.6-cdh5.14.2.tar.gz -C /opt/soft创建软连接注:这部操作可以没有ln -s /opt/soft/sqoop-1.4.6-cd原创 2020-07-23 14:16:24 · 980 阅读 · 0 评论 -
Sqoop数据迁移工具
一、sqoop介绍Sqoop是一个用于在Hadoop和关系数据库之间传输数据的工具将数据从RDBMS导入到HDFSHDFS、Hive、HBase从HDFS导出数据到RDBMS使用MapReduce导入和导出数据,提供并行操作和容错二、数据迁移介绍使用帮助文档sqoop import --help可以查到所有的迁移语句图为部分:案例演示数据准备下载数据准备链接:数据提取码:jmg7在mysql中创建数据库并导入准备的数据mysql> create data原创 2020-07-22 23:45:53 · 1106 阅读 · 0 评论