DeepOps的hadoop小笔记-hadoop集群搭建ubuntu+virtualbox

最新推荐文章于 2024-09-03 08:54:18 发布
最新推荐文章于 2024-09-03 08:54:18 发布
阅读量248 收藏
点赞数
分类专栏： 大数据之路 文章标签： hadoop 大数据 hdfs ubuntu
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/opperlili/article/details/113752639
版权

00 前期准备

1、已经下载并解压好hadoop
2、已部署java环境

01 主要模块

hdfs

NameNode nn
DataNode dn
Secondary NameNode 2nn

yarn

ResourceManager rm
NodeManager nm
ApplicationMaster AM
Container

MapReduce

Map
Reduce

02 各项环境信息

服务器情况

服务器名称服务器ipHDFS服务YARN 服务说明
ops-vb-m0192.168.1.70NameNode / DataNodeNodeManager先在这台机器启动HDFS
ops-vb-s1192.168.1.71DataNodeResourceManager / NodeManager再在这台机器启动YARN
ops-vb-s2192.168.1.72DataNode / Secondary NameNodeNodeManager
ops-vb-s3192.168.1.73DataNodeNodeManager也可以不配置这台机器

03 创建虚拟机

虚拟机先配置好一台机器，然后在复制几台机器，
1、调整ip（如果有需要调整网卡的mac）
2、调整主机名
3、配置好hosts文件

04 设置ssh免密登录

在每台机器用户的 ~/.ssh目录下执行 ：ssh-keygen -t rsa 生成公钥私钥

分别在每台机器执行下面命令，完成配置后ssh访问其他服务器就可以不用输入密码。

ssh-copy-id ops-vb-m0
ssh-copy-id ops-vb-s1
ssh-copy-id ops-vb-s2
ssh-copy-id ops-vb-s3

05 核心配置文件调整

调整文件：core-site.xml

/opsdata/envs**/hadoop-3.2.1/etc/hadoop/core-site.xml**

<!--指定HDFS中NameNode的地址--> 
<property> 
	<name>fs.defaultFS</name> 
	<value>hdfs://ops-vb-m0:9000</value> 
</property> 
<!--指定Hadoop运行时产生文件的存储目录--> 
<property> 
	<name>hadoop.tmp.dir</name>
	<value>/opsdata/hd_data/tmp</value> 
</property>

06 HDFS配置文件调整

调整列表：
1. hadoop-env.sh
2. hdfs-site.xml
3. workers

调整文件：hadoop-env.sh :

添加JAVA_HOME
vi /opsdata/envs**/hadoop-3.2.1/etc/hadoop/hadoop-env.sh**

export JAVA_HOME=/opsdata/envs/jdk1.8.0_261

调整文件：hdfs-site.xml

hadoop集群数量，以及Secondary NameNode的服务器
vi /opsdata/envs**/hadoop-3.2.1/etc/hadoop/hdfs-site.xml**

 <!--指定Hadoop 数据副本数量 --> 
<property> 
	<name>dfs.replication</name> 
	<value>**3**</value> 
</property>
 <!--指定Hadoop辅助名称节点主机配置--> 
 <property> 
	 <name>dfs.namenode.secondary.http-address</name> 
	 <value>**ops-vb-s2:50090**</value> 
 </property>

调整文件：workers

集群机器列表
vi /opsdata/envshadoop-3.2.1/etc/hadoop/etc/hadoop/workers （2.x版本的这个文件名是 /etc/hadoop/slaves 感觉进步了）
不能有多余的空格和换行

ops-vb-m0
ops-vb-s1
ops-vb-s2
ops-vb-s3

07 YARN配置文件调整

调整列表：
1. yarn-env.sh
2. yarn-site.xml

调整文件：yarn-env.sh

vi /opsdata/envs/hadoop-3.2.1/etc/hadoop/yarn-env.sh

export JAVA_HOME=/opsdata/envs/jdk1.8.0_261

调整文件：yarn-site.xml

vi /opsdata/envs/hadoop-3.2.1/etc/hadoop/yarn-site.xml

调整文件：yarn-site.xml

vi /opsdata/envs/hadoop-3.2.1/etc/hadoop/yarn-site.xml

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
 <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>

<!--指定YARN的ResourceManager的地址-->
<property> 
  <name>yarn.resourcemanager.hostname</name> 
<value>ops-vb-s1</value> 
</property>

08 MapReduce配置文件调整

调整列表：
1. mapred-env.sh
2. mapred-site.xml

调整文件：mapred-env.sh

vi /opsdata/envs/hadoop-3.2.1/etc/hadoop/mapred-env.sh

export JAVA_HOME=/opsdata/envs/jdk1.8.0_261

调整文件：mapred-site.xml

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.application.classpath</name>
        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>

09 集群机器同步配置文件

在ops-vb-m0机器上执行下面的命令，将调整后的配置文件同步到各个机器上。

rsync -rvl /opsdata/envs/hadoop-3.2.1/etc/hadoop/* ops@ops-vb-s1:/opsdata/envs/hadoop-3.2.1/etc/hadoop/
rsync -rvl /opsdata/envs/hadoop-3.2.1/etc/hadoop/* ops@ops-vb-s2:/opsdata/envs/hadoop-3.2.1/etc/hadoop/
rsync -rvl /opsdata/envs/hadoop-3.2.1/etc/hadoop/* ops@ops-vb-s3:/opsdata/envs/hadoop-3.2.1/etc/hadoop/

10 集群启动

格式化NameNode

如果之前配置启动过NameNode需要删除logs和data文件夹之后在进行格式化操作。

rm -rf /opsdata/envs/hadoop-3.2.1/logs
rm -rf /opsdata/hd_data

格式化NameNode

/opsdata/envs/hadoop-3.2.1/bin/hdfs namenode -format

启动HDFS

在ops-vb-m0机器上

/opsdata/envs/hadoop-3.2.1/sbin/start-dfs.sh

启动后使用jps -m 在各个机器上查看NameNode、Secondary NameNode和DataNode是否已经启动。

启动YARN

ops-vb-m1机器上

/opsdata/envs/hadoop-3.2.1/sbin/start-yarn.sh

11 集群监控

DataNode：
http://192.168.1.70:9864/datanode.html

DFShealth
http://192.168.1.70:9870/dfshealth.html

12 集群停止

停止YARN

ops-vb-m1机器上

/opsdata/envs/hadoop-3.2.1/sbin/stop-yarn.sh

停止HDFS

在ops-vb-m0机器上

/opsdata/envs/hadoop-3.2.1/sbin/stop-dfs.sh

停止后使用jps -m 在各个机器上查看java进程。

13 问题处理

启动datanode： Datanode Uuid unassigned

2021-02-08 01:22:02,894 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: ops-vb-m0/192.168.1.70:9000
hosts 文件去掉ops-vb-m0（s1|s2|s3） 对应127.0.0.1 那一条

启动yarn localhost: rcmd: socket: Permission denied

首先创建 /etc/pdsh/rcmd_default文件
sudo vi /etc/pdsh/rcmd_default
在文件中写入ssh保存（就ssh这三个字母就行）

14 参考资料

B站尚硅谷Hadoop教程(hadoop框架精讲)：
https://www.bilibili.com/video/BV1cW411r7c5

官方文档
https://hadoop.apache.org/docs/r3.2.1/hadoop-project-dist/hadoop-common/ClusterSetup.html

DeepOps
关注
专栏目录
Ubuntu Server 12.04 搭建 hadoop 集群版环境——基于VirtualBox
spring8743的专栏
11-11 1094
1 . 下载和安装Oracle VM VitualBoxhttp://www.oracle.com/technetwork/server-storage/virtualbox/downloads/index.html (VirtualBox-4.2.6-82870-Win.exe)2.  下载Linux系统Ubuntu Server版本http://www.ubuntu.com/download/
virtualbox + ubuntu + hadoop
qq_38590766的博客
09-22 644
安装virtualbox 下载安装包 下载连接 下载完成之后运行，一直下一步即可，按需求可更改路径。 安装Ubuntu 新建虚拟机 打开virtualbox，控制—>新建。 设置名字，路径 分配内存，不宜过小，2-3G即可 选择现在创建虚拟硬盘，然后一直下一步 按需分配内存，我这里分配了20G 设置iso文件（下载地址）路径，进入虚拟机 如果感觉显示界面太小，视图—>自动缩放 安装系统 设置自动缩放后可能需要修改分辨率，右键—>display setting—>按照电脑选择合适
deepops:用于构建GPU集群的工具
04-20
DeepOps GPU基础架构和自动化工具 概述 DeepOps项目封装了部署GPU服务器群集和共享单个功能强大的节点（例如 ）的最佳实践。 DeepOps也可以进行调整或以模块化方式使用，以匹配特定于站点的集群需求。 例如： NVIDIA DGX服务器的本地数据中心，DeepOps在其中提供了端到端功能来设置整个群集管理堆栈 运行Kubernetes的现有集群，其中DeepOps脚本用于部署Kubeflow和连接NFS存储 需要资源管理器/批处理调度程序的现有集群，其中DeepOps用于安装Slurm，Kubernetes或两者的混合 一台不需要调度程序的机器，仅需要NVIDIA驱动程序，Docker和NVIDIA Container Runtime ，了解如何使用DeepOps在单个DGX Station上部署Kubernetes和Kubeflow。 这为大型部署提供了良好的基础
探索DeepOps：GPU集群自动化的未来
gitblog_00538的博客
09-03 411
探索DeepOps：GPU集群自动化的未来 deepopsTools for building GPU clusters项目地址:https://gitcode.com/gh_mirrors/de/deepops 在当今数据驱动的世界中，高效管理和部署GPU集群是推动技术创新的关键。DeepOps项目正是为此而生，它提供了一套全面的工具，用于自动化Kubernetes和Slurm集群的基础设施，...
DeepOps 项目教程
最新发布
gitblog_00802的博客
09-03 426
DeepOps 项目教程 deepopsTools for building GPU clusters项目地址:https://gitcode.com/gh_mirrors/de/deepops 项目介绍 DeepOps 是一个开源项目，旨在帮助用户部署和管理 GPU 服务器集群。它封装了最佳实践，适用于多种场景，如 NVIDIA DGX 系统、Kubernetes 集群、需要资源管理器/批处理...
deepops:支持用 CUDA 编写的 GPU 加速的迷你深度学习框架
05-31
DeepOps 一个迷你深度学习库，使用 PyCuda 在 GPU 上加速。 不不不.. 我没有在 tensorflow 或 Torch 上写过这个库，它是一个独立的机器。 :P 使用反向遍历实现反向传播，支持梯度和 GPU 操作，您可以制作迷你神经网络 (FNN) 并使用内部优化器在数据集（例如 MNIST）上对其进行训练。 提示：总是给张量起一个有趣的名字！ :) 注意：仅用于教育用途。 安装。 pip install deepop 神经网络 import deepops as dp from deepops.model import Model class SeqFC(Model): def __init__(self): super().__init__() self.dense1 = dp.layers.Dense(2, 2
virtualBox搭建hadoop集群（1）虚拟机网络配置
陆树勤的博客
05-13 1923
工作环境：    笔记本电脑，win10，wifi上网步骤：1、下载、安装virtualBox2、下载ubuntu系统镜像3、新建虚拟机ubuntu100，网络配置：        网卡1：桥接模式        网卡2：内网模式4、   在win10下查看当前网卡的ip, mask, gateway                cmd &gt; ipconfig 5、 启动虚拟机ubuntu1...
virtualbox ubuntu20.04集群网络配置
m0_53876797的博客
05-12 771
解决Hadoop集群网络配置问题，使用VirtualBox+Ubuntu20.04版本，使集群网络互通并且可以上网。
Hadoop集群搭建
qq_42316200的博客
07-27 276
一、网络配置 二、安装ssh免密登录 三、安装VMware Tools 四、安装jdk 五、安装hadoop 设备：VMware workstation ，Ubuntu ，jdk1.8 ，hadoop2.x 一、网络配置 VMware虚拟机网络配置 VMWare提供了三种工作模式，它们是bridged(桥接模式)、NAT(网络地址转换模式)和主机模式 bridged模式 VMnet0虚拟网...
hadoop伪分布式搭建.docx
04-16
本文详细介绍了如何在 VirtualBox 上搭建 Hadoop 伪分布式环境的过程，包括 VirtualBox 的安装与配置、Ubuntu 操作系统的安装、Java 环境的配置以及 Hadoop 的安装与配置等关键步骤。通过遵循上述指导，您可以成功地...
安装Hadoop前期准备：使用VirtualBox安装Ubuntu，Linux虚拟机_安装virtualbox 安装hadoop(2)
2401_83947105的博客
05-02 24
较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**随机选择一个幸运地方。
cpp-DeepOps用于构建GPU集群的工具
08-16
在本地或在云中部署可扩展的DGX群集
GPU Manager用于管理Kubernetes集群中的nvidia GPU设备-Golang开发
05-26
GPU Manager用于管理Kubernetes集群中的nvidia GPU设备。 它实现了Kubernetes的DevicePlugin接口。 因此它与1.9+的Kubernetes发行版兼容。 GPU管理器GPU管理器用于管理Kubernetes集群中的nvidia GPU设备。 它实现了Kubernetes的DevicePlugin接口。 因此它与1.9+的Kubernetes发行版兼容。 为了与nvidia-docker和nvidia-k8s-plugin的组合解决方案进行比较，GPU管理器将使用未经修改的本机runc，而nvidia解决方案则进行了修改。 此外，我们还支持指标报告，而无需部署新组件。 要正确安排GPU有效负载，GPU管理器应
DeepOps的hadoop小笔记-HIVE安装ubuntu+virtualbox
OPS ON THE GO
02-26 211
00 前期准备 1、已部署好hadoop集群 2、已部署java环境 3、已经安装好mysql 01 下载hive安装文件 https://hive.apache.org/downloads.html 02 修改配置文件 hive-env.sh.template名称为hive-env.sh，一些hive的环境变量内容可以在里面设置。 系统用户环境变量中增加： export HADOOP_HOME=<hadoop-install-dir> export HIVE_HOME=<hive-ins
利用 virtualbox + ubuntu 打造hadoop集群
可克技术
08-09 2399
利用 virtualbox + ubuntu 打造hadoop集群 今天一天估计都要耗在 搭建集群上面了， 为了篇论文，动用了几十万的设备....搞云计算 就是砸钱。。。。 为了榨干你的服务器，虚拟化 你不得不用.... 这里用ex-gf公司的 virtualbox，主要图的是简单（一个vboxmanage命令搞定一切事儿） 第一步 就是 你要做一个母系统，用ubuntu吧，简单好用 =
探秘DeepOps：GPU集群自动化运维的利器
gitblog_00052的博客
05-15 563
探秘DeepOps：GPU集群自动化运维的利器 项目地址:https://gitcode.com/gh_mirrors/de/deepops 项目简介 DeepOps是一个专门针对配备NVIDIA GPU的Kubernetes和Slurm集群的基础设施自动化工具集。这个开源项目旨在封装最佳实践，从头到尾管理GPU服务器集群的部署，并可根据特定环境进行自定义配置。无论你是希望在自己的数据中心建立一个...
DeepOps的工具小笔记-PyCharm的快捷键
OPS ON THE GO
01-17 127
pycharm官方说明链接 https://www.jetbrains.com/help/pycharm/quick-start-guide.html 快捷键介绍 https://www.jetbrains.com/help/pycharm/configuring-keyboard-and-mouse-shortcuts.html
DevOps--持续部署
把问题都记下来
09-18 1420
本文摘抄自：DevOps的概念与实践   持续部署使企业能通过自动化的构建、测试和部署循环来快速交付高质量的软件。它使投资更容易得到回报，产品团队更早地得到用户反馈，也简化了部署流程。 但从消费者的角度来看，持续部署可能意味着不满意！ 案例一： 产品放在云端，客户订阅模式 问题： 1.  客户不相信订阅模式带来好处，可能停止订阅 2. 定位过高，伤害要求较低的学生、小公司和轻度个人用...
使用Vbox虚拟机搭建ubuntu18集群环境
文杰的博客
10-19 549
一、工具与环境 虚拟机： virtual box 版本：6.1.2 管理工具： vagrant 版本：2.2.10 虚拟机： Ubuntu 18.04 远程访问 ： Xshell Vagrant是一个基于Ruby的工具,用于创建和部署虚拟化开发环境,总之简单的说vagrant就是一款管理虚拟机的工具官网 使用Vagrant的好处： 1、为了开发环境与生产环境一致（很多开发环境为windows而生产环境为linux），不至于出现在开发环境正常而移步到正式生产环境时出现各种问题，而vagran
零基础搭建hadoop-zookeeper-hbase-hive集群全攻略
"本文档主要介绍了如何从零开始安装配置hadoop、zookeeper、hbase和hive集群，包括各个组件的安装、配置、测试以及常见问题的处理。文档中提供了详细的步骤和链接，适用于初学者按照步骤操作搭建集群。" ### 一、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值