2014年06月_yakcy

12月 11月 10月 09月 07月 06月 05月 04月 03月 02月 01月

原创 Hadoop Hive sql 语法详解

Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户很方便的利用SQL 语言

2014-06-18 16:10:52 1112

转载 Hadoop生态系统学习路线

主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。从2011年开始，中国进入大数据风起云

2014-06-17 09:38:04 3999 7

原创 Impala与Hive的比较

1. Impala架构 Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从HDFS

2014-06-16 11:57:11 1490

转载 sqoop安装及数据迁移

sqoop安装及数据迁移下载sqoop[root@localhost download]# wget http://cloud.github.com/downloads/cloudera/sqoop/sqoop-1.3.0.tar.gz wget http://labs.mop.com/apache-mirror//incubator/sqoop/stable/sq

2014-06-11 14:50:02 1298

原创使用sqoop将MySQL数据库中的数据导入Hbase

使用sqoop将MySQL数据库中的数据导入Hbase前提：安装好 sqoop、hbase。下载jbdc驱动：mysql-connector-java-5.1.10.jar将 mysql-connector-java-5.1.10.jar 复制到 /usr/lib/sqoop/lib/ 下MySQL导入HBase命令：sqoop import --connect j

2014-06-05 14:59:43 1527