鑫鑫23的博客

1,列出hadoop shell所有支持的命令. [hdfs@nx-1 root]$ hadoop fs –help2,显示关于某个命令的详细信息. [hdfs@nx-1 root]$ hadoop fs -help ls(command-name)3,格式化一个新的分布式文件系统 [hdfs@nx-1 root]$ hadoop namenode –format4,查看hdf

最近在做hadoop的时候，总结了一些hadoop的一些基本的功能运用和一些基本性能测试，记录一下，希望可以帮助大家，由于输出信息太多，在这里只介绍命令，具体输出信息大家可以自己试验一下。不同的hadoop版本里自带的测试类也不尽相同，我的版本是2.7.3，里面的测试类是hadoop-mapreduce-client-jobclient.jar，有的hadoop版本里面的类名是hadoop-Test

最近在看了一些spark的使用文档，以及官网简介，自己总结了一点使用文档，记录一下快速启动spark关于这一部分Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的

1、安装最新版的KDC server ​yum install krb5-server krb5-libs krb5-workstation注：KDC (Key Distribution Center）密匙分配中心, 其在kerberos中通常提供两种服务：1.Authentication Service (AS)：认证服务 　　2.Ticket-Granting Servic...