hadoop集群搭建——轻松版

最新推荐文章于 2024-09-21 21:27:42 发布
最新推荐文章于 2024-09-21 21:27:42 发布
阅读量383 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop hadoop集群 编辑器 脚本 shell
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xu9392/article/details/49414151
版权

/*
此脚本为搭建hadoop集群的脚本，可以在一台机器上完成。
需要注意以下几点：
1、使用这个脚本的前提为
{
拥有且开启samba服务（可有可无）;
samba的共享路名为/home/samba ;
/home/samba中拥有hadoop软件包和java软件包;
hadoop的配置文件需要在conf目录中（由于版本不同，配置文件的位置也许会不同）;
已经挂载了linux系统的镜像光盘;

            }；
            2、在使用脚本的时候需要根据要求更改变量名;
            3、当集群中的几点不是 3 个时：
            {
                需要添加变量名（比如 slave3_ip, slave_name3 等等）;
                需要更改hdfs-site.xml中dfs.replication的值;
                /etc/hosts 中的内容需要添加或更改;
                scp 命令时，需要添加或更改;
                ssh 命令时，需要添加或更改;
            };
            4、此脚本结束后，一定要严格按照脚本提示语操作（比如：必须在 为hadoop所创建的用户下执行 ssh-copy-id.sh  ）;
            5、ssh.sh 和 3.1.sh 和 3.2.sh 需要用root用户运行，1.sh 和 2.sh 需要用hadoop用户运行;
            6、

*/

首先编写 ssh 脚本，然后去每台机器上执行 1.sh 2.sh

注意：在每台机器上执行完相同脚本号的脚本之后才可以执行下一个脚本。

相同脚本好的脚本可以同时运行。

vi /home/hadoop/ssh.sh 

#!/bin/bash
group_name=hadoop
user_name=hadoop
user_passwd=hadoop

master_ip=192.168.18.17
slave1_ip=192.168.18.18
slave2_ip=192.168.18.16
master_name=h1  
slave_name1=h2
slave_name2=h3
#定义变量

echo "请注意："
echo "完成此脚本之后，请用hadoop用户在每台机器上按照脚本编号的大小依次执行脚本"
echo "######################################################"
echo "注意：在每台机器上执行完相同脚本号的脚本之后才可以执行下一个脚本。"
echo "######################################################"

cat <<EOF >/home/$user_name/3.sh 
group_name=hadoop
user_name=hadoop
user_passwd=hadoop

master_ip=192.168.18.17
slave1_ip=192.168.18.18
slave2_ip=192.168.18.16
master_name=h1  
slave_name1=h2
slave_name2=h3
#定义变量

echo "$master_ip	$master_name" >> /etc/hosts
echo "$slave1_ip	$slave_name1" >> /etc/hosts
echo "$slave2_ip 	$slave_name2" >> /etc/hosts
#修改hosts文件

ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ''
#创建密钥

EOF

cat <<EOF >/home/$user_name/4.sh
ssh-copy-id -i /home/$user_name/.ssh/id_rsa.pub $user_name@$master_ip
ssh-copy-id -i /home/$user_name/.ssh/id_rsa.pub $user_name@$slave1_ip
ssh-copy-id -i /home/$user_name/.ssh/id_rsa.pub $user_name@$slave2_ip
EOF


cat <<EOF >/home/$user_name/1.sh
echo "请确认您现在的操作用户为root...."
ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ''
ssh-copy-id -i /root/.ssh/id_rsa.pub root@$slave1_ip
ssh-copy-id -i /root/.ssh/id_rsa.pub root@$slave2_ip
EOF

scp /home/$user_name/3.sh $user_name@$slave1_ip:/home/$user_name/
scp /home/$user_name/3.sh $user_name@$slave2_ip:/home/$user_name/
scp /home/$user_name/4.sh $user_name@$slave1_ip:/home/$user_name/
scp /home/$user_name/4.sh $user_name@$slave2_ip:/home/$user_name/

之后编写 hadoop 集群脚本 2.sh

vi /home/hadoop/2.sh

#!/bin/bash
group_name=hadoop
user_name=hadoop
user_passwd=hadoop

master_ip=192.168.18.17
slave1_ip=192.168.18.18
slave2_ip=192.168.18.16
master_name=h1  
slave_name1=h2
slave_name2=h3

package_name_hadoop=hadoop-0.20.2-cdh3u5.tar.gz
dirc_haoop=${package_name_hadoop%%.tar*}

HADOOP_HOME=/home/$user_name/app/hadoop
HADOOP_PREFIX=$HADOOP_HOME/$dirc_haoop
conf_hadoop=$HADOOP_PREFIX/conf
#groupadd $group_name 
#useradd -g $group_name $user_name
#echo "$user_passwd" | passwd $user_name --stdin

#安装java

package_name_java=jdk-7u25-linux-i586.tar.gz
pre_pwd=`dirname $HADOOP_HOME`
JAVA_PREHOME=$pre_pwd/java 

mount -o loop /dev/cdrom  /mnt

rm -rf /etc/yum.repos.d/*

cat <<EOF > /etc/yum.repos.d/base.repo
[Base]
name=base
baseurl=file:///mnt/Server
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
EOF
yum -y remove java


mkdir -p $JAVA_PREHOME

cp /home/samba/$package_name_java $JAVA_PREHOME
cd $JAVA_PREHOME
tar zxpf $JAVA_PREHOME/$package_name_java
rm -rf $package_name_java
JAVA_NAME=`ls ${JAVA_PREHOME}`


echo "export JAVA_HOME=$JAVA_PREHOME/$JAVA_NAME" >> /etc/profile
echo "export CLASSPATH=.:\$JAVA_HOME/jre/lib/rt.jar:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/lib/tools.jar" >> /etc/profile
echo "export PATH=\$PATH:\$JAVA_HOME/bin" >> /etc/profile

chown -R root:root $JAVA_PREHOME/$JAVA_NAME
chmod 755 -R $JAVA_PREHOME/$JAVA_NAME
source /etc/profile



#此时开始搭建hadoop



mkdir -p $HADOOP_HOME
cp /home/samba/$package_name_hadoop $HADOOP_HOME
cd $HADOOP_HOME
tar zxpf $package_name_hadoop
rm -rf $package_name_hadoop
cd $conf_hadoop


sed -i '/<configuration>/a<property>' core-site.xml
sed -i '/<property>/a<name>fs.default.name</name>' core-site.xml
sed -i '/<name>fs.default.name/a<value>hdfs://'${master_name}':9000</value>' core-site.xml
sed -i '/hdfs:\/\/'${master_name}':9000/a</property>' core-site.xml

sed -i '/<configuration>/a<property>' hdfs-site.xml
sed -i '/<property>/a<name>dfs.replication</name>' hdfs-site.xml
sed -i '/<name>dfs.replication/a<value>2</value>' hdfs-site.xml
sed -i '/<value>2/a</property>' hdfs-site.xml

sed -i '/<configuration>/a<property>' mapred-site.xml
sed -i '/<property>/a<name>mapred.job.tracker</name>' mapred-site.xml
sed -i '/<name>mapred.job.tracker/a<value>'${master_name}':9001</value>' mapred-site.xml
sed -i '/<value>'${master_name}':9001/a</property>' mapred-site.xml

sed -i '/export JAVA_HOME/aexport JAVA_HOME='${JAVA_PREHOME}'\/'${JAVA_NAME}'' hadoop-env.sh 

echo ${master_name} > masters
echo ${slave_name1} > slaves
echo ${slave_name2} >> slaves

chown -R $user_name:$group_name /home/$user_name

echo "$master_ip	$master_name" >> /etc/hosts
echo "$slave1_ip	$slave_name1" >> /etc/hosts
echo "$slave2_ip 	$slave_name2" >> /etc/hosts

echo "##############################"
echo "请注意："
echo "在接下来的过程中将会向其他节点传输文件........."
echo "##############################"

ssh -t root@$slave1_ip <<EOF 
mkdir -p $HADOOP_HOME
mkdir -p $JAVA_PREHOME
exit
EOF
echo "######################################"
echo "此时将要向节点 $slave1_ip 中传输文件......."
echo "######################################"
echo "此时将要传输hadoop文件......."
scp -r $HADOOP_PREFIX root@$slave1_ip:$HADOOP_HOME
echo "hadoop文件传输完毕，即将传输java...... "
scp -r $JAVA_PREHOME/* root@$slave1_ip:$JAVA_PREHOME
echo "java文件传输完毕，即将替换 /etc/profile 文件.... "
scp -r /etc/profile root@$slave1_ip:/etc/profile
echo "文件传输完毕，接下来将要对 $slave_name1 中的文件进行修改 "
ssh -t root@$slave1_ip <<EOF
echo "$master_ip	$master_name" >> /etc/hosts
echo "$slave1_ip	$slave_name1" >> /etc/hosts
echo "$slave2_ip 	$slave_name2" >> /etc/hosts

chown -R $user_name:$group_name /home/$user_name
chmod 755 -R $JAVA_PREHOME/$JAVA_NAME
source /etc/profile
exit
EOF

ssh -t root@$slave2_ip <<EOF
mkdir -p $HADOOP_HOME
mkdir -p $JAVA_PREHOME
exit
EOF

echo "######################################"
echo "此时将要向节点 $slave2_ip 中传输文件"
echo "######################################"
echo "此时将要传输hadoop文件"
scp -r $HADOOP_PREFIX root@$slave2_ip:$HADOOP_HOME
echo "hadoop文件传输完毕，即将传输java "
scp -r $JAVA_PREHOME/* root@$slave2_ip:$JAVA_PREHOME
echo "java文件传输完毕，即将替换 /etc/profile 文件  "
scp -r /etc/profile root@$slave2_ip:/etc/profile
echo "文件传输完毕，接下来将要对 $slave_name2 中的文件进行修改 "
ssh -t root@$slave2_ip <<EOF 
echo "$master_ip	$master_name" >> /etc/hosts
echo "$slave1_ip	$slave_name1" >> /etc/hosts
echo "$slave2_ip 	$slave_name2" >> /etc/hosts

chown -R $user_name:$group_name /home/$user_name
chmod 755 -R $JAVA_PREHOME/$JAVA_NAME
source /etc/profile
exit
EOF


#此时，hadoop集群已经搭建完毕。

echo "#########################################"
echo "请注意："
echo "此时，hadoop集群已经搭建完毕.请继续退回到hadoop用户中操作..."
echo "#########################################"

第一次写博客有点小激动，不管效果是怎样的我打算对文字格式不做任何更改了。
分享知识是世界上最快乐的事情。。。
请大家多多指教。

Sunnnnnnnnyin
关注
专栏目录
hadoop集群搭建步骤
01-10
该文档提供了linux环境中搭建hadoop集群（大数据）的步骤，个人认为比较详细，供大家学习
hadoop集群搭建（完全分布式详细版）
weixin_39868387的博客
01-14 969
上篇： 1、hadoop集群配置，需要配置如下文件： hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml.template（先拷贝 mapred-site.xml.template文件并重命名为： mapred-site.xml） yarn-site.xml 操作如下： （1）进入hadoop-2.7.2/etc/hadoop文件目...
Hadoop 三节点集群搭建
qq_65853129的博客
04-07 1812
本文档介绍了如何设置和配置单节点Hadoop安装，以便您可以使用Hadoop MapReduce和Hadoop分布式文件系统（HDFS）快速执行简单的操作。 先决条件 支持平台 支持GNU / Linux作为开发和生产平台。Hadoop已在具有2000个节点的GNU / Linux集群上进行了演示。 Windows也是受支持的平台，但是以下步骤仅适用于Linux。 必备软件 Linux所需的软件包括： 必须安装Java™。HadoopJavaVersions中描述了推荐的Ja
hadoop classpath_大数据平台搭建：Hadoop安装教程_单机/伪分布式配置
weixin_39996141的博客
11-24 174
Hadoop由GNU / Linux平台支持(建议)。因此，需要安装一个Linux操作系统并设置Hadoop环境。如果有Linux操作系统等，可以把它安装在VirtualBox(要在VirtualBox内部安装Linux经验，没有装过)也可以学习试着来)。//原文出自【易百教程】，商业转载请联系作者获得授权，非商业转载请保留原文链接：https://www.yiibai.com/hadoop/ha...
hadoop完全分布式模式的安装和配置
weixin_30691871的博客
08-10 67
本文是将三台电脑用路由器搭建本地局域网，系统为centos6.5,已经实验验证，搭建成功。 一、设置静态IP&修改主机名&关闭防火墙（all-root）（对三台电脑都需要进行操作） 0.将三台电脑安装centos6.5系统 1.设置静态ip（便于机器之间的通信，防止路由器电脑重启后，ip变化，导致不能通信） vim /etc/sysconfig/network-script...
Hadoop集群环境搭建——文件上传
weixin_45769285的博客
05-21 2292
实验内容 Hadoop由Apache基金会开发的分布式系统基础架构，是利用集群对大量数据进行分布式处理和存储的软件框架。用户可以轻松地在Hadoop集群上开发和运行处理海量数据的应用程序。Hadoop有高可靠，高扩展，高效性，高容错等优点。Hadoop 框架最核心的设计就是HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算。此外，Hadoop还包括了Hive，Hbase，ZooKeeper，Pig，Avro，Sqoop，Flume，Mahout等项目。（摘
Ubuntu 16.04——Hadoop集群安装配置
最後の後悔的博客
04-14 2520
hadoop 集群安装配置分为两个部分，一个部分是主节点（Master）和 从节点（Slave），两个部分需要完成的配置有一定的不同；总的来说，Master 所需要做的会比 Slave 会多一些。下面会演示两个部分需要做的事情；由于各台主机情况会有所不同，所以在报错的时候也会有一些的不一样，所以该文章仅供参考。
centos下hadoop集群搭建详细过程
huanfengwei的专栏
07-23 3697
Hadoop集群搭建全过程 参考操作：课本刘鹏《云计算》，刘鹏《实战hadoop》，上网google   需要软件：VMware-workstation-9.0.exe；CentOS-6.4-i386-bin-DVD1.iso（3.51G，里面的插件比较全，VMtools都不用装了，可以和windows直接设置共享文件夹，鼠标也可以直接进出，还可以跨系统直接复制）； 一、      安装c
HADOOP2.6.5（1）及os6集群搭建
房东的猫的博客
03-28 667
进入此配置文件后，将“HOSTNAME”修改为“hadoop02”，这个名称可以随意修改，最好不要和之前已存在的虚拟机的主机名一样， 最后按Esc热键进入末行模式，输入“:wq”保存退出即可。“Web点击流日志”包含着网站运营很重要的信息，通过日志分析，我们可以知道网站的访问量，哪个网页访问人数最多，哪个网页最有价值，广告转化率、访客的来源信息，访客的终端信息等。获取方式：在页面预埋一段js程序，为页面上想要监听的标签绑定事件，只要用户点击或移动到标签，即可触发ajax请求到后台servlet程序，用。
hadoop培训资料
07-05
7. **大数据框架搭建**：这部分内容将指导你如何安装、配置和管理Hadoop集群，包括单节点模式、伪分布式模式和完全分布式模式。同时，还会介绍如何在集群上部署和运行HBase、Hive等组件，实现大数据环境的搭建。 8....
【Docker x Hadoop】使用 Docker 搭建 Hadoop 集群（从零开始保姆级）
Ice__Clean的博客
10-03 2489
—— 步骤 ——0. 背景1. 创建出第一个容器2. 为该容器配置 java 和 hadoop 环境3. 配置允许外界通过 ssh 连接容器4. 由该容器克隆出多个容器5. 为各个容器配置 ssh 免密登录6. 开始编写集群配置7. 启动集群 0. 背景 看到网上的教程，都是使用虚拟机克隆出多台虚拟机模拟集群 但在真正的服务器上，发现这种方法行不通了 这时候就想起 Docker 了，仔细想象 Docker 学完到现在还没真正实战过，这次正好是一个好机会 实现思路也很简单，在 Docker 中创建多个 Ce
Hadoop MapReduce编程指南——Hadoop集群环境搭建与开发实践27
程序员光剑
10-13 388
作者：禅与计算机程序设计艺术 1.背景介绍 MapReduce是一个基于Google提出的分布式计算框架，用于批量处理海量数据集。它采用了分而治之的思想，把整个数据集切割成多个小文件，然后将这些小文件分别分配到不同的节点上执行计算，最后再汇总结果得到最终的结果。可以将MapReduce比作Excel
hadoop本地模式部署_阿里云ECS服务器部署HADOOP集群（四）：Hive本地模式的安装...
weixin_39754142的博客
12-20 140
本地模式需要采用MySQL数据库存储数据。1 环境介绍2 安装 Mysql3 Hive 下载/usr/local将解压得到的目录改名为 hivecd /usr/localmv apache-hive-2.3.-bin/ hive/4 添加 Hive 环境变量在"/etc/profile"中添加内容：export HIVE_HOME=/usr/local/hiveexport PATH=$PATH:...
hadoop3跑第一个例子wordcount
lwprain的专栏
09-15 573
10、 提示错误：Couldn’t preview the file. NetworkError: Failed to execute ‘send’ on ‘XMLHttpRequest’: Failed to load。9、如果跑例子时提示出错，找不到resource-types.xml文件，则。http://192.168.6.19:9870/ 查看文件。hdfs-site.xml 增加内容，用于web预览文件。3、进入hadoop-3目录，并创建测试文件。2、创建测试文件，并上传文件到hdfs。
Hadoop的安装
最新发布
₍˄·͈༝·͈˄*₎◞ ̑̑的博客
09-21 366
由于Hadoop不直接支持Windows系统，因此，需要修改一些配置才能运行。进到目录：E:\hadoop-3.4.0\etc\hadoop。PS：此文件中已有标签，可以直接覆盖掉。PS：此文件中已有标签，可以直接覆盖掉。PS：此文件中已有标签，可以直接覆盖掉。PS：此文件中已有标签，可以直接覆盖掉。修改：mapred-site.xml。修改：hadoop-env.cmd。修改：hdfs-site.xml。修改：yarn-site.xml。修改：core-sit.xml。
【Linux】【Hadoop】大数据基础实验一
Kika写代码的博客
09-17 688
Hadoop运行在Linux系统上，因此，需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作，为顺利开展后续其他实验奠定基础。cd命令：切换目录（1）切换到目录“/usr/local”（2）切换到当前目录的上一级目录（3）切换到当前登录Linux系统的用户的自己的主文件夹ls命令：查看文件与目录（4）查看目录“/usr”下的所有文件和目录mkdir命令：新建目录。
Hadoop的安装和使用
₍˄·͈༝·͈˄*₎◞ ̑̑的博客
09-21 767
Hadoop分布式文件系统（Hadoop Distributed File System，HDFS）是Hadoop项目的两大核心之一，是针对谷歌文件系统（Google File System，GFS）的开源实现。兼容廉价的硬件设备。流数据读写。大数据集。简单的文件模型。强大的跨平台兼容性。
大数据入门：Hadoop集群搭建步骤
"搭建Hadoop集群基础教程" 在大数据领域，Hadoop是一个不可或缺的工具，尤其对初学者来说，掌握如何搭建Hadoop集群是至关重要的。本文将指导你一步步完成这个过程。 首先，确保你的系统已经安装了JDK，因为Hadoop...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值