大数据学习之Hadoop基础部署

一、 Hadoop基础

1、Hadoop的起源

    最早起起源于Nuth,Nuth的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，随着数据的增加，Nuth的可扩展性越来越差；于是项目组的人员开发出了新的项目Hadoop;

       

2、Hadoop的定义    

   宏观：Hadoop为主的生态圈 hadoop  flum.....

   狭义：apache组件  hadoop的官网：hadoop.apache.org

 

3、Hadoop的发展：

   hadoop1.x     

        HDFS(存储）   MapReduce

   hadoop2.x     目前企业在用

        HDFS      存储

     MapReduce 计算

     YARN      资源和作业调度平台 计算组件都会on yarn                   

   hadoop3.x       最新版本

4、hadoop的三大组件

     HDFS    存储

  YARN    资源和作业调度平台

  MapReduce  other   计算

 

二、Maven部署 相当于包的管理，架构包

1、上传文件并解压

 

 

1.1、cd  /software/软件包

 

1.2、解压软件包

unzip apache-maven-3.3.9-bin.zip 

cd apache-maven-3.3.9

 

 

2、配置maven目录

2.1、配置环境变量

Vim /etc/profile

export MVN_HOME=/software/软件包/apache-maven-3.3.9

export PATH=$MVN_HOME/bin:$JAVA_HOME/bin:$PATH

 

 

2.2、使环境变量生效并查看mvn

  source /etc/profile

  which  mvn

  mvn

 

 

2.3、查看mvn的版本

mvn --version

 

 

   3、查看配置文件和解压我们准备好的仓库文件

    3.1、查看默认目录

    cd conf

vim settings.xml

 

 

   3.2、将已经下载好的.m2.tar.gz包移动到家目录

   cd /software

   mv  .m2.tar.gz ~

   cd ~

    ll -a

 

3.3、解压软件包：

 tar -xzvf  .m2.tar.gz  

三、Hadoop的编译

  1、解压文件

   tar -xzvf   hadoop-2.8.1-src.tar.gz

  2、查看pom.xml

  cd  hodoop-2.8.1-src

  ll

 

 

    more pom.xml

  3、查看BUILDING.txt

    cat BUILDING.txt

 

 

  4、检查JDK

Java  -version

 

 

  5、检查mvn

     mvn --version

 

 

6、FINDBUGS

6.1、解压安装文件

unzip findbugs-1.3.9.zip

 

6.2、进入相应的目录

cd findbugs-1.3.9

ll

 pwd

 

 

6.3、配置环境变量

 vim /etc/profile

export  FINDBUGS_HOME=/software/findbugs-1.3.9
export PATH=$FINDBUGS_HOME/bin:$MVN_HOME/bin:$JAVA_HOME/bin:$PATH

source /etc/profile

6.4、查看findbugs版本：

findbugs -version

 

  7、PROTOCBUF

   7.1、解压protobuf-2.5.0.tar.gz

tar -xzvf    protobuf-2.5.0.tar.gz

  

   7.2、修改解压后的文件的权限和属性

   chown -R   root:root  protobuf-2.5.0

  

 7.3、进入目录，安装gcc

    cd protobuf-2.5.0

    yum install -y   gcc  gcc-c++  make cmake

 

7.4、预编译

./configure   --prefix=/usr/local/protobuf

7.5、安装

make && make install

7.6、配置环境变量：

vim /etc/profile

source /etc/profile

7.7、配置后查看版本号

protoc  --version

8、others:

其他组件的安装，使用yum，进行安装：

yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool
yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake

9、编译

cd   /software

ll

cd  hadoop-2.8.1-src

cat BUILDING.txt

在源码所在目录进行编译：

cd hadoop-2.8.1-src

mvn clean package -Pdist,native -DskipTests -Dtar

10、编译好的tar包

/software/hadoop-2.8.1-src/hadoop-dist/targethadoop-2.8.1.tar.gz