![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hdfs
水袖怀颜
本人长期从事JAVA开发,大数据开发,并对此深感兴趣,对JAVA,大数据有一定自己的开发与见解,欢迎全国各地的朋友一起探讨。
展开
-
Sqoop导出数据
1).从HDFS、Hive表导出到Mysql 由于hive表的数据库和表其实就是HDFS上的目录和文件,所以从Hive表导出数据就是从HDFS对应的目录导出数据先在mysql中创建表接收导出数据create table hive2mysql(deptno int,deptname varchar(20),address varchar(20));原创 2017-03-13 07:28:09 · 284 阅读 · 0 评论 -
hadoop伪分布式环境apache版本切换为CDH
1.在/opt/modules下创建一个cdh空目录$ mkdir cdh //cdh版本的hadoop, hive,sqoop安装在此目录下2.解压cdh版本的hadoop,hive,sqoop$ tar -zxf hadoop-2.5.0-cdh5.3.6.tar.gz -C /opt/modules/cdh$ tar -zxf hive-0.13.1-cdh5.3原创 2017-03-13 07:32:47 · 477 阅读 · 0 评论 -
修改HDFS上文件的权限
例:$HIVE_HOME/bin/hadoop fs -chmod 777 /user/hive/warehouse/db_hive.db原创 2017-03-13 07:33:59 · 2049 阅读 · 0 评论 -
Sqoop使用和简介
Sqoop 工具是Hadoop环境下连接关系数据库,和hadoop存储系统的桥梁,支持多种关系数据源和hive,hdfs,hbase的相互导入。一般情况下,关系数据表存在于线上环境的备份环境,需要每天进行数据导入,根据每天的数据量而言,sqoop可以全表导入,对于每天产生的数据量不是很大的情形可以全表导入,但是sqoop也提供了增量数据导入的机制。下面介绍几个常用的sqoop的命令,以及一转载 2017-03-13 07:42:53 · 244 阅读 · 0 评论