hadoop搭建笔记

最新推荐文章于 2018-07-21 15:45:25 发布
置顶 最新推荐文章于 2018-07-21 15:45:25 发布
阅读量155 收藏
点赞数
分类专栏： 技术文档 文章标签： Hadoop 伪分布 全分布 centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wang_da_king/article/details/80676431
版权

Hadoop伪分布及全分布（笔记）

一、I. 永久关闭防火墙--chkconfig iptables off

II.防火墙状态--service iptables status

二、jdk的配置   

   1.解压jdk：tar -zxvf jdk-8u11-linux-x64.tar.gz

   2.在usr/中创建soft目录：mkdir soft

   3.进入挂载目录：cd /mnt/hgfs/Ubuntu/

   4.复制(cp)或移动解压的jdk： mv jdk1.8.0_11 /usr/soft/

   5.进入soft目录： cd ./soft/

   6.查看jdk是否存在： ls

   7.进入jdk目录： cd ./jdk1.8.0_11/

   8.查看jdk路径并复制下来以供配置jdk：  pwd

   9.回到上一级目录：  cd ..

   10.利用gedit编辑器配置jdk： gedit /etc/profile

     I.加入：export JAVA_HOME=/usr/soft/jdk1.8.0_11

 II.配置PATH: export PATH=$JAVA_HOME/bin/:$PATH

   11.使配置立即生效：source /etc/profile

   12.输入以下命令测试jdk是否配置成功： I. java

    II. javac

    III. java -version

  三、配置无秘钥

   13.回到当前用户家目录： cd ~

   14.查看本机是否安装了ssh：ssh

   15.配置ssh(输入当前命令回车)：  ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

   16.进入~/.ssh目录： cd ~/.ssh

   17.查看目录下的目录： ls

   18.把id_rsa.pub重定向输入至authorized_keys： cat id_rsa.pub >> authorized_keys

   19.测试无秘钥是否生成： ssh localhost

  四、hadoop伪分布配置

   20.进入挂载分区： cd /mnt/hgfs/Ubuntu/

   21.查看当前文件中是否有hadoop：  ls

   22.解压hadoop：  tar -zxvf hadoop-2.7.2.tar.gz

   23.查看解压结果：ls

   24.复制或移动解压以后的hadoop并重命名:  mv hadoop-2.7.2 /usr/soft/hadoop

   25.进入usr/soft/目录： cd /usr/soft/

   26.查看soft子文件：  ls

   27.查看详细信息：  ls -la

   28.进入hadoop目录：  cd ./hadoop/

   28.查看路径并复制下来以供配置hadoop：  pwd

   29.配置hadoop ：gedit /etc/profile

I.加入:export HADOOP_INSTALL=/usr/soft/hadoop

II.配置

PATH:export PATH=$JAVA_HOME/bin/:$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin

   30.进入hadoop目录： cd ./soft/hadoop/

   31.进入hadoop下的/etc/hadoop/： cd ./etc/hadoop/

   33.编辑一下配置文件：I.  gedit core-site.xml

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>



<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://localhost:9000/</value>

    </property>

</configuration>

                       II.  gedit hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>



<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

</configuration>

                       III.  gedit mapred-site.xml.template

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

</configuration>

IV. gedit yarn-site.xml

<?xml version="1.0"?>

<configuration>

<property>

    <name>yarn.resourcemanager.hostname</name>

    <value>？？</value>

        </property>

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

</configuration>

  34.配置hadoop环境： gedit hadoop-env.sh

I.配置java_home：export JAVA_HOME=/usr/soft/jdk1.8.0_11

  35.回到上一级目录：  cd ..

  36.继续回到上一级目录：  cd ..

  37.查看：  ls

  38.继续回到上一级目录：  cd ..

  39.查看：  ls

  40.进入hadoop目录：  cd ./hadoop/

  41.格式化namenode：  ./bin/hadoop namenode -format

  42.启动hadoop集群：  ./sbin/start-all.sh

  43.查看当前进程：  jps

  44.停止集群：  ./sbin/stop-all.sh

  ************************************至此伪分布搭建完毕**********************************

 五、hadoop全分布配置

  45.关闭虚拟机：halt

  46.克隆虚拟机：右击虚拟机---->管理------->克隆

  47.更改主机名： gedit ./sysconfig/network

I.master改为s0：HOSTNAME=s0

II.同理更改slave1为s1：HOSTNAME=s1（第2台机器）

III.同理更改slave2为s2：HOSTNAME=s2（第3台机器）

IV.同理更改slave3为s3：HOSTNAME=s3（第4台机器）



  48.查看修改后的主机名：  hostname

  49.修改hosts文件：  gedit /etc/hosts

I.  master：192.168.72.129(master’IP) s0(master’hostname)

II.  slave1：192.168.72.128(slave1’IP) s1(slave1’hostname)

III.  slave2：192.168.72.127(slave2’IP) s1(slave2’hostname)

IV.  slave3：192.168.72.123(slave3’IP) s1(slave3’hostname)



  50.测试是否能ping 通： ping s0

  51.把/etc/hosts分别分配到s1、s2、s3：  scp /etc/hosts root@192.168.72.128:/etc/

  52.测试ping s1：  ping s1

  53.远程登录s1：  ssh s1

  54.进入hadoop目录：  cd /usr/soft/hadoop/

  55.进入/etc/hadoop/目录：  cd ./etc/hadoop/

  56.编辑同伪分布的.xml配置文件：  gedit *.xml

                      I.  gedit core-site.xml

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>



<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://s0/</value>

    </property>

</configuration>

                       II.  gedit hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>



<configuration>

    <property>

        <name>dfs.replication</name>

        <value>2</value>

    </property>

</configuration>

                       III.  gedit mapred-site.xml.template

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

</configuration>

IV. gedit yarn-site.xml

<?xml version="1.0"?>

<configuration>

<property>

    <name>yarn.resourcemanager.hostname</name>

    <value>s0</value>

        </property>

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

</configuration>




  

  57.编辑slave：  gedit slaves

I.s1

II.s2

  58.回到上一级目录：  cd ..

  59.进入：  cd ./etc/

  60.远程把hadoop配置文件复制到各个slave主机上去：  

scp -r hadoop root@s1:/usr/soft/hadoop/etc/

  61.远程登录s1测试：  ssh s1

  62.回到上一级目录：  cd ..

  63.格式化hadoop：  hadoop namenode -format

  64.启动hadoop：  ./sbin/start-all.sh

  65.查看进程：  jps

  66.登录到s1、s2查看进程： ssh s1

  67.停止hadoop：  ./sbin/stop-all.sh

  68.查看进程：jps

****************************************至此全分布搭建完成********************************

Hadoop环境搭建笔记
qq_26733603的博客
02-16 321
声明：个人笔记，我自己看的不想看勿喷 配置jdk 在根目录opt文件夹下创建两个文件夹：module和software（命令：mkdir），software用来存放tar包，module用来存放解压后的tar包。 修改文件夹用户和用户组，当前是root用户（命令：ls -l 查看文件用户和用户组名） 命令：chown pi:spi module/ software/ 解压tar包：tar -zx...
Hadoop搭建笔记（17）
ZXQjinhu的博客
05-24 463
本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。30、Hadoop 单机版安装及应用：三种安装模式：Local (Standalone) Mode单机版Pseudo-Distributed Mode伪分布式Fully-Distribu...
hadoop环境搭建笔记
lili_wuwu的博客
03-01 1137
目录 一、安装准备       1、下载jdk和hadoop包       2、虚拟机单机环境 二、环境安装&配置       1、修改linux主机名        2、安装jdk       3、设置免密码登录 SSH 三、hadoop配置       1、配置hadoop_home环境变量       2、配置hadoop配
Hadoop搭建笔记（15）
ZXQjinhu的博客
05-23 251
本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。27、shell中的文件引入：（在一个文件里引入另一个文件的代码）和其他语言一样，shell也可以包含外部脚本，这样可以很方便封装一些公用的代码作为一个独立的文件。shell文件包含的语法格式如下：...
Hadoop搭建笔记（09）
ZXQjinhu的博客
05-19 249
本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。18、Linux本地yum源的自作：本地yum源制作步骤：1、下载yum源的DVD镜像，镜像名如下：CentOS-6.5-x86_64-bin-DVD1.isoCentOS-6.5-x86_64-...
Hadoop集群搭建笔记
04-20
非常详细的linux上的hadoop集群搭建文档，可供参考，希望大家能够从中获益
Hadoop搭建笔记（23）
ZXQjinhu的博客
05-29 895
本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。40、Ssh免登陆配置：上面集群搭建好，也已经测试成功，但是在启停集群服务时需要输入密码，如果是几十台的就要一直输入密码，密码多次输入会导致服务不能正常启动或停止借助ssh的免登陆：ssh：安全的一...
Hadoop搭建笔记（27）
ZXQjinhu的博客
06-01 223
本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。49、Zookeeper的shell命令：[root@hadoop01 zookeeper-3.4.12]# zkCli.sh[zk: localhost:2181(CONNECTED) 0]zk...
Hadoop搭建笔记（28）
ZXQjinhu的博客
06-02 565
本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。50、Hdfs的ha介绍：Hadoop集群1.X 单节点故障问题ha是Hadoop集群的高可用看图片可知，集群，一个NameNode管理3台DataNode；这样的集群存在着问题，一旦Name...
第一次搭建hadoop集群笔记
qq_34398863的博客
03-30 627
在虚拟机上安装好了centos系统，可以复制成3个，分别命名为master，slave1和slave2（其IP分别为192.168.37.10/11/12）。用secureCRT远程连接这三台虚拟机。 测试其能否上网的命令为：curl www.baidu.com；也可是使用ping www.baidu.com看能否ping通。重启网络服务的命令：/etc/init.d/network resta
Hadoop2.6.4搭建笔记
bupt073114的专栏
05-09 5396
自己搭建一个Hadoop集群，小型的。我在台式机上新建了3台虚拟机，一台用于Master，两台用于Slave。系统用的Ubuntu14.04.系统准备好之后。 一、在UBuntu下创建hadoop用户和用户组 1. 首先新建hadoop用户组 sudo addgroup hadoop 2. 创建hadoop用户 sudo adduser -ingroup hadoop hadoo
CentOS 6.6下mysql的几种安装方式
wang_da_king的博客
06-13 6353
一、yum在线安装 1、 查看是否安装了mysql数据库：rpm -qa | grep mysql 2、 强制卸载mysql数据库：rpm -e nodeps mysql 3、 通过命令查看yum上提供的数据库可下载版本：yum list | grep mysql 4、安装数据库： yum -y install mysql-server mysql-devel 5...
Debian 8.2下安装VMtools
wang_da_king的博客
06-13 677
   1、  export CC=/usr/bin/gcc-4.1   2、  ln -s linux-headers-3.16.0-4-amd64 linux   3 、 export CC=/usr/bin/gcc-4.1   4 、tar -zxvf '/media/cdrom0/VMwareTools-10.0.0-2977863.tar.gz'   5 、 ls   6 、 cd ./v...
yum源的两种配置
wang_da_king的博客
07-20 623
一、配置一 1.在/mnt目录下创建文件夹 mkdir /mnt/centos 2.挂载镜像文件：（关机失效） mount -t iso9660 -o loop /root/CentOS-6.7-x86_64-bin-DVD1.iso /mnt/centos 3.编辑/etc/fstab,使之永久生效（vi  /etc/fstab） /roo...
centos6.6编译安装redis
wang_da_king的博客
07-21 355
源码编译安装 优点：以这种方式安装的软件性能会比其他方式更优一点 1.上传源码 2.解压 并指定解压到哪个文件下 tar -zxvf redis-2.6.16.tar.gz -C /usr/soft/ 3.make 出错，提示gcc不存在 4.安装gcc yum -y install gcc.x86_64 5.编译安装同时进行，并且指定安装目录 make PREFIX=/usr/local/re...
shell脚本自动化管理ssh，jdk
wang_da_king的博客
07-21 242
vi boot.sh #!/bin/bash                                                              #指定解析器 SERVERS="s1 s2"                                                 #待处理的服务器 PASSWORD=123456                  ...
Hadoop学习笔记：环境搭建和配置详解
"Hadoop学习笔记" Hadoop是一个基于Java的开源分布式计算框架，主要用于处理大数据。Hadoop的核心组件包括HDFS（Hadoop Distributed File System）和MapReduce。HDFS是一个分布式文件系统，用于存储大规模数据，而...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值