╱/.进oоΟ的专栏

原文地址：http://www.yanjiuyanjiu.com/blog/20131017/环境:CentOS 6.4, Hadoop 1.1.2, JDK 1.7, Spark 0.8.0, Scala 2.9.3Spark 0.7.2 的安装请看之前的一篇博客，安装Spark集群(在CentOS上) 。Spark的安装很简单，总结起来一句话：下载，解压，然后拷贝到所有

1、hdfs2.0基本概念相比于 Hadoop 1.0,Hadoop 2.0中的 HDFS增加了两个重大特性,HA 和 Federaion。HA即为High Availability,用于解决 NameNode单点故障问题,该特性通过热备的方式为主NameNode提供一个备用者,一旦主 NameNode出现故障,可以迅速切换至备 NameNode,从而实现不间断

HDFS添加删除节点并进行hdfs balance 方式1：静态添加datanode，停止namenode方式 1.停止namenode 2.修改slaves文件，并更新到各个节点 3.启动namenode 4.执行hadoop balance命令。（此项为balance集群使用，如果只是添加节点，则此步骤不需要） -----------------------

废话不讲，直切正题。搭建环境:Centos x 6.4 64bit1、安装JDK我这里用的是64位机，要下载对应的64位的JDK,下载地址：http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260-zhs.html，选择对应的JDK版本，解压JDK，然后配置环境变量,vi /e

HDFS的数据在各个DataNode中的分布肯能很不均匀，尤其是在DataNode节点出现故障或新增DataNode节点时。新增数据块时NameNode对DataNode节点的选择策略也有可能导致数据块分布的不均匀。用户可以使用命令重新平衡DataNode上的数据块的分布： start-balancer.sh 　　执行命令前，DataNode节点上数据分布情况如

Unauthorized request to start container 发现datanode与namenode之间未设置时间同步，所以引起该异常。解决方案：多个datanode与namenode进行时间同步。

13/12/25 21:29:46 INFO hdfs.DFSClient: Exception in createBlockOutputStream04java.io.IOException: Bad connect ack with firstBadLink as 10.95.3.66:500100

测试结果说明： 集群环境说明：主机名IP地址操作系统版本Hadoop版本Hbase版本Zookeeper版本机器用途hadoop1192.168.3.65Linux AS 4.8hadoop-0.20.2hbase-0.90.4zookeeper-3.3.3

原文地址：http://blog.csdn.net/xiaolang85/article/details/78600111.更新，事务，索引，不支持，是全表扫描2.创建表的字段类型和java类型是对应的。不支持日期类型，提供转换为字符串类型的函数。3.查询语句中，不支持having，可写嵌套的select来解决；group by后只能是表的定义列名，不能像mysql那样可以

原文地址:http://blog.csdn.net/wypblog/article/details/17390333我们可以通过CLI、Client、Web UI等Hive提供的用户接口来和Hive通信，但这三种方式最常用的是CLI；Client 是Hive的客户端，用户连接至 Hive Server。在启动 Client 模式的时候，需要指出Hive Server所在节点，并且在

原文地址：http://hi.baidu.com/zhangxinandala/item/49752510cc7ad08789a956171.创建表的语句：Create [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT tabl

Hadoop FS Shell命令大全调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置

http://tech.uc.cn/

原文地址：http://blog.csdn.net/dajuezhao/article/details/6797015一、背景1、最近在做hadoop的性能测试，采用了自带的Terasort的方式，但是在运行的过程中发现如果数据量过大，对硬盘I/O需求不小（通过Ganglia监控发现），因此，打算找找看是否有合适的配置来解决这样一类的问题，所以才有了这篇记录的文档。2、

原文地址：http://blog.yidooo.net/archives/apache-hive-installation.html安装前在安装Hive之前，请保证已经安装了Hadoop。Apache Hive安装及配置安装Mysql本文选用mysql作为Hive的metastore。帮助1su

作者：杨鑫奇PS：文章有部分参考资料来自网上，并经过实践后写出，有什么问题欢迎大家联系我。update: 20130518 大家可以尝试下Ambari来配置Hadoop的相关环境快速的部署Hadoop,Hbase和Hive等并提供Ganglia和Nagios的监控功能,强烈推荐使用.http://www.cnblogs.com/scotoma/archive

原文地址：http://www.cnblogs.com/sharpxiajun/p/3151395.html　开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当

HDFS支持fsck命令用以检查各种不一致。fsck用以报告各种文件问题，如block丢失或缺少block等。fack命令用法如下：bin/hadoop fsck [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]        检查的起始目录-move        将损坏的