大数据学习之Hadoop基础部署

一、 Hadoop基础

1Hadoop的起源

    最早起起源于Nuth,Nuth的设计目标是构建一个大型的全网搜索引擎,包括网页抓取、索引、查询等功能,随着数据的增加,Nuth的可扩展性越来越差;于是项目组的人员开发出了新的项目Hadoop;

       

2Hadoop的定义    

   宏观:Hadoop为主的生态圈 hadoop  flum.....

   狭义:apache组件  hadoop的官网:hadoop.apache.org

 

3、Hadoop的发展:

   hadoop1.x     

        HDFS(存储)   MapReduce

   hadoop2.x     目前企业在用

        HDFS      存储

     MapReduce 计算

     YARN      资源和作业调度平台 计算组件都会on yarn                   

   hadoop3.x       最新版本

4、hadoop的三大组件

     HDFS    存储

  YARN    资源和作业调度平台

  MapReduce  other   计算

 

二、Maven部署 相当于包的管理,架构包

1、上传文件并解压

 

 

1.1cd  /software/软件包

 


1.2、解压软件包

unzip apache-maven-3.3.9-bin.zip 

cd apache-maven-3.3.9

 

 

2、配置maven目录

2.1、配置环境变量

Vim /etc/profile

export MVN_HOME=/software/软件包/apache-maven-3.3.9

export PATH=$MVN_HOME/bin:$JAVA_HOME/bin:$PATH

 

 

2.2、使环境变量生效并查看mvn

  source /etc/profile

  which  mvn

  mvn

 

 

2.3、查看mvn的版本

mvn --version

 

 

   3查看配置文件和解压我们准备好的仓库文件

    3.1、查看默认目录

    cd conf

vim settings.xml

 

 

   3.2、将已经下载好的.m2.tar.gz包移动到家目录

   cd /software

   mv  .m2.tar.gz ~

   cd ~

    ll -a

 


3.3、解压软件包:

 tar -xzvf  .m2.tar.gz  

三、Hadoop的编译

  1、解压文件

   tar -xzvf   hadoop-2.8.1-src.tar.gz

  2查看pom.xml

  cd  hodoop-2.8.1-src

  ll

 

 

    more pom.xml

  3、查看BUILDING.txt

    cat BUILDING.txt

 

 

  4、检查JDK

Java  -version

 

 

  5、检查mvn

     mvn --version

 

 

6FINDBUGS

6.1、解压安装文件

unzip findbugs-1.3.9.zip

 


6.2、进入相应的目录

cd findbugs-1.3.9

ll

 pwd

 

 

6.3、配置环境变量

 vim /etc/profile

export  FINDBUGS_HOME=/software/findbugs-1.3.9
export PATH=$FINDBUGS_HOME/bin:$MVN_HOME/bin:$JAVA_HOME/bin:$PATH



source /etc/profile

6.4、查看findbugs版本:

findbugs -version


 

  7、PROTOCBUF

   7.1、解压protobuf-2.5.0.tar.gz

tar -xzvf    protobuf-2.5.0.tar.gz

  

   7.2、修改解压后的文件的权限和属性

   chown -R   root:root  protobuf-2.5.0

  


 7.3、进入目录,安装gcc

    cd protobuf-2.5.0

    yum install -y   gcc  gcc-c++  make cmake



 

7.4、预编译

./configure   --prefix=/usr/local/protobuf



7.5、安装

make && make install



7.6、配置环境变量:

vim /etc/profile



source /etc/profile

7.7、配置后查看版本号

protoc  --version



8、others:

其他组件的安装,使用yum,进行安装:

yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool
yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake



9、编译

cd   /software

ll

cd  hadoop-2.8.1-src

cat BUILDING.txt


在源码所在目录进行编译:

cd hadoop-2.8.1-src

mvn clean package -Pdist,native -DskipTests -Dtar




10、编译好的tar包

/software/hadoop-2.8.1-src/hadoop-dist/targethadoop-2.8.1.tar.gz










  

阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页