本集群使用centOS 7作为系统集群，基于原生Hadoop2，使用版本为Hadoop2.6.0。 一. 搭建前提：在 搭建集群之前，要保证每台虚拟机都配置好了Hadoop用户安装SSHServer（centOS 7系统安装好后就默认安装了）安装JAVA环境安装Hadoop二. 网络配置首先保证所有主机位于同一个局域网内，然后将每台虚拟机的网络都设为桥接模式，并且手工配置IP地址，保证它

一.安装ScalaScala程序运行在java虚拟机（JVM）上，所以安装Scala之前需要先在linux系统中安装Java。由于之前已经安装了，没安装的可以到我的文章http://blog.csdn.net/xqclll/article/details/53466713去查看。到Scala的官网上去下载相应操作系统的scala版本，解压到安装路径下，然后修改文件权限，使hadoop用户拥有对sca

1.解压jdk,新建Hadoop文件,将JDK解压后放入此文件夹中 2.进入root用户su root3.卸载自带的openJDKrpm -qa | grep javarpm -e --nodeps java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.91

注意：本文步骤参考给力星的http://www.powerxing.com/install-hadoop-in-centos/的内容，实验结果均是本人真实实验的图片，仅用于记录和学习之用。一． 创建hadoop用户1. 登录root用户，创建Hadoop用户$ su root2. 创建可以登陆的 hadoop 用户，并使用 /bin/bash 作为shell。# useradd -m hadoop

一. 获得对方的授权:服务器IP地址：xxx.xxx.xxx.xxx端口号：xx用户名：mjc密码：**********二. centOS7安装完后默认自动开启ssh服务 但我们可以使用如下步骤检查ssh是否开启 1.查看22端口是否开放netstat -tnl2.查看ssh服务是否启动systemctl status sshd.service3.ssh远程登录： ssh [-l

搭建教程：http://www.linuxidc.com/Linux/2015-08/120946.htm eclipse中运行第一个scala编写的spark程序：http://blog.csdn.net/xummgg/article/details/50651867 eclipse中Scala IDE插件的下载地址：http://scala-ide.org/download/prev-sta

一. 大量小文件如何存储在HDFS上： HDFS上块的大小默认为64M，有的为128M。这里以64M为例每写入一个文件，首先由客户端创建文件请求，创建完成后，第二步就是询问NameNode要写入的这个文件所分到的这些数据块（block）在哪些DataNode上。NameNode会在命名空间中新建一个文件，并检查这个文件是否已经存在，并且检查是否有权限创建。检查通过后，第三步开始写入数据。当文件

1.我使用的是稳定版本的hbase：hbase-1.2.4-bin.tar.gz 下载地址：http://www-eu.apache.org/dist/ 里面有个stable版本的2.配置环境变量，集群上的每个节点都要配置 vim ~/.bashrcexport HBASE_HOME=/usr/local/hbase/hbase-1.2.4export PATH=$PATH:$HBASE_H

一.需要的软件：eclipse相应版本的scalaIDE与集群一样的spark安装包，主要是要用到spark中的jar包与集群一样的hadoop安装包与hadoop版本对应的winutil.exe，hadoop.dll（只要版本差距不大不一样也没关系）二.步骤 （一）在eclipse中安装对应版本的ScalaIDE，具体安装见网上。（二）复制winutil.exe，hadoop.dll