2016年06月_常飞梦

11月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 Hive CLI – Migrating to Beeline

Hive Beeline的用法转载：http://www.teckstory.com/hadoop-ecosystem/hive-new-cli-beeline-for-hive/Hive is the data warehouse software of Hadoop ecosystem. It provides a mechanism to project structure onto lar

2016-06-21 16:51:49 10365

原创 sqoop导入错误：Hive does not support the SQL type for column col_name

问题：把mysql导入到hive时，由于hive的类型不支持mysql的类型，出现导入错误,如下：[hdfs@hadoop0 ~]$ sqoop import --connect jdbc:mysql://10.1.32.34:3306/dicts --username sqoop --password sqoop -m 1 --table ua --hive-import --hive-ove

2016-06-08 14:43:53 6909

原创 sqoop把mysql导入hive时报错：Could not load org.apache.hadoop.hive.conf.HiveConf.

环境：CDH5.7hadoop2.6.0hive1.1.0问题1：使用sqoop把mysql导入hive时报错# sqoop import --hive-import --connect jdbc:mysql://10.1.32.34:3306/dicts --username sqoop --password sqoop -m 1 --table nodist --create-hive-tab

2016-06-07 16:43:15 13090 1

原创 Hadoop Shell命令

FS ShellcatchgrpchmodchowncopyFromLocalcopyToLocalcpdudusexpungegetgetmergelslsrmkdirmovefromLocalmvputrmrmrsetrepstattailtesttexttouchzFS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。所有的的FS shell命令使用

2016-06-07 11:19:26 4352

原创 sqoop导入mysql到HDFS时报错：java.lang.NoClassDefFoundError: org/json/JSONObject

问题1：sqoop import导入时报java.lang.ClassNotFoundException: org.json.JSONObject 错误[root@hadoop1 lib]# sqoop import --connect jdbc:mysql://10.1.32.8:3306/test --username sqoop --password sqoop --table t1 -m

2016-06-07 10:22:48 12166 2

转载用以生产环境的Hadoop版本比较

一、背景介绍生产环境中，Hadoop的版本选择是一个公司架构之时，很重要的一个考虑因素。这篇文章根据就谈谈现在主流的hadoop版本的比较。如果有不同意见，或者指正，希望大家能交流。Apache Hadoop：Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司

2016-06-02 11:06:41 14120 1

原创 Cloudera Manager5及CDH5在线安装（cloudera-manager-installer.bin）

一、准备工作 1. 需求条件网速好因为是线上安装，所以要求要有比较大的带宽，特别是并行安装台服务器时。网络稳一旦网络中断，可能你花费了半天或则一天的时间，就有可能会浪费，然后重装。内存大最少要求10G以上内存，特别NameNode节点分配的角色较多，占用内存会更多。 2. 安装环境安装版本OS：CentOS 6.7CM：Cloudera Manager5.7CHD：Clo

2016-06-02 10:52:04 27963