Hadoop
文章平均质量分 74
awe12arisdadfjkv
这个作者很懒,什么都没留下…
展开
-
Hadoop常用命令
笔者所用的版本是hadoop-2.2.0 1、列出所有Hadoop Shell支持的命令 $ bin/hdfs fs -help 2、显示关于某个命令的详细信息 $ bin/hdfs dfs -help ls(查看ls命令的详细信息) 3、 格式化一个新的分布式文件系统: $ bin/hdfs namenode -format 4、 将zkstop.sh文件放入到hadoop集群...原创 2014-07-15 10:03:43 · 84 阅读 · 0 评论 -
Hive
Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 QL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的...原创 2014-07-18 13:12:50 · 83 阅读 · 0 评论 -
hive调优
一、 控制hive任务中的map数: 1. 通常情况下,作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有: input的文件总个数,input的文件大小,集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到,该参数不能自定义修改);2. 举例: a) 假设input目录下有1个文件a,大小为78...原创 2014-07-18 18:10:32 · 58 阅读 · 0 评论 -
使用java连接hive,并执行hive语句详解
安装hadoop 和 hive我就不多说了,网上太多文章 自己看去 首先,在机器上打开hiveservice 不多说,直接上代码 package asia.wildfire.hive.service; import java.sql.*; import java.sql.Date; import java.text.SimpleDateFormat; import ja...原创 2014-07-20 22:24:02 · 194 阅读 · 0 评论 -
Hbase shell
下面我们看看HBase Shell的一些基本操作命令,我列出了几个常用的HBase Shell命令,如下: 名称 命令表达式 创建表 create '表名称', '列名称1','列名称2','列名称N' 添加记录 put '表名称', '行名称', '列名称:', '值' 查看记录 ...原创 2014-07-21 16:47:31 · 74 阅读 · 0 评论 -
ZooKeeper-- 管理分布式环境中的数据
1.随着分布式应用的不断深入,需要对集群管理逐步透明化。监控集群和作业状态;可以充分的利用ZK的独有特性,熟悉程度决定应用高度 2.Service端具有fast fail特性,非常健壮,无单点,不超过半数Server挂掉不会影响提供服务 3.zookeeper名字空间由节点znode构成,其组织方式类似于文件系统,其各个节点相当于目录和文件,通过路径作为唯一标示。与文件系统不同的是,每个节...原创 2014-09-06 15:00:55 · 107 阅读 · 0 评论