hadoop 集群安装

最新推荐文章于 2023-03-09 14:41:48 发布
最新推荐文章于 2023-03-09 14:41:48 发布
阅读量484 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lucifer2603/article/details/37357085
版权

资料来自官网  http://hadoop.apache.org/docs/r1.0.4/cn/cluster_setup.html


Install

通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves。


Configuration File

对Hadoop的配置通过conf/目录下的两个重要配置文件完成：

  1. hadoop-default.xml - 只读的默认配置。
  2. hadoop-site.xml - 集群特有的配置。           

此外，通过设置conf/hadoop-env.sh中的变量为集群特有的值，你可以对bin/目录下的Hadoop脚本进行控制。



Configure in the cluster

要配置Hadoop集群，你需要设置Hadoop守护进程的运行环境和Hadoop守护进程的运行参数。

Hadoop守护进程指NameNode/DataNode 和JobTracker/TaskTracker。

配置Hadoop守护进程的运行环境

管理员可在conf/hadoop-env.sh脚本内对Hadoop守护进程的运行环境做特别指定。



配置Hadoop守护进程的运行环境

管理员可在conf/hadoop-env.sh脚本内对Hadoop守护进程的运行环境做特别指定。


参数取值备注
fs.default.nameNameNode的URI。hdfs://主机名/
mapred.job.trackerJobTracker的主机（或者IP）和端口。主机:端口。
dfs.name.dirNameNode持久存储名字空间及事务日志的本地文件系统路径。当这个值是一个逗号分割的目录列表时，nametable数据将会被复制到所有目录中做冗余备份。
dfs.data.dirDataNode存放块数据的本地文件系统路径，逗号分割的列表。当这个值是逗号分割的目录列表时，数据将被存储在所有目录下，通常分布在不同设备上。
mapred.system.dirMap/Reduce框架存储系统文件的HDFS路径。比如/hadoop/mapred/system/。这个路径是默认文件系统（HDFS）下的路径， 须从服务器和客户端上均可访问。
mapred.local.dir本地文件系统下逗号分割的路径列表，Map/Reduce临时数据存放的地方。多路径有助于利用磁盘i/o。
mapred.tasktracker.{map|reduce}.tasks.maximum某一TaskTracker上可运行的最大Map/Reduce任务数，这些任务将同时各自运行。默认为2（2个map和2个reduce），可依据硬件情况更改。
dfs.hosts/dfs.hosts.exclude许可/拒绝DataNode列表。如有必要，用这个文件控制许可的datanode列表。
mapred.hosts/mapred.hosts.exclude许可/拒绝TaskTracker列表。如有必要，用这个文件控制许可的TaskTracker列表。         




Slaves

通常，你选择集群中的一台机器作为NameNode，另外一台不同的机器作为JobTracker。余下的机器即作为DataNode又作为TaskTracker，这些被称之为slaves。

在conf/slaves文件中列出所有slave的主机名或者IP地址，一行一个。





Run


启动Hadoop

启动Hadoop集群需要启动HDFS集群和Map/Reduce集群。

格式化一个新的分布式文件系统：
$ bin/hadoop namenode -format

在分配的NameNode上，运行下面的命令启动HDFS：
$ bin/start-dfs.sh

bin/start-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上启动DataNode守护进程。

在分配的JobTracker上，运行下面的命令启动Map/Reduce：
$ bin/start-mapred.sh

bin/start-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上启动TaskTracker守护进程。

停止Hadoop

在分配的NameNode上，执行下面的命令停止HDFS：
$ bin/stop-dfs.sh

bin/stop-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上停止DataNode守护进程。

在分配的JobTracker上，运行下面的命令停止Map/Reduce：
$ bin/stop-mapred.sh

bin/stop-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上停止TaskTracker守护进程。



a-Loser
关注
使用Docker搭建Hadoop分布式集群
pjyex的博客
02-09 1119
文章目录Hadoop分布式集群介绍准备docker-compose相关文件构建resourcemanager镜像启动Hadoop集群 Hadoop分布式集群介绍 本次Hadoop搭建使用GitHub - kiwenlau/hadoop-cluster-docker: Run Hadoop Custer within Docker Containers进行。 首先需要明确Hadoop集群的启动顺序如...
Zookeeper集群和Hadoop集群安装（保姆级教程）
aj_shang的博客
03-07 4036
Zookeeper集群和Hadoop集群安装（保姆级教程），集群搭建
hadoop-snappy-0.0.1-SNAPSHOT.tar.gz
11-09
hadoop hbase支持snappy压缩jar包 解压后放到hbaselib目录重启
hadoop-2.5.0-cdh5.3.6的native包-含snappy
11-28
编译环境：centos 7 + hadoop-2.5.0-cdh5.3.6 +jdk1.7.0-79
怎么获取codeforces的数据_国内股票的高频数据如何获得（主要是level2数据）
weixin_39822629的博客
11-20 1071
国内股票的高频数据如何获得（主要是level2数据）我们来讲一下数据的获取，今天主要是国内股票的高频数据的获取（可以直接看视频，更直观一些）。https://www.zhihu.com/video/1215565806861447168一、 从哪获取 高频数据从哪获得：我们主要是从诸多的这种金融数据库去获取，比如说wind、国泰安、joinquant。那我们今天视频主要以聚宽为例，其他的都...
Hadoop集群安装和搭建（全面超详细的过程）
热门推荐
tang5615的博客
10-05 17万+
Hadoop集群安装和搭建（全面完整的详细过程） 文章目录Hadoop集群安装和搭建（全面完整的详细过程）前言一、虚拟机的安装二、Linux系统安装1.环境准备2.虚拟机安装总结 前言 Hadoop是一个开源的、可运行与Linux集群上的分布式计算平台，用户可借助Hadoop存储和分析大数据。 本项目包含的任务有基础环境的配置（虚拟机安装、Linux安装等），Hadoop集群搭建，配置和测试。 一、虚拟机的安装 VMware (Virtual Machine ware）是一个“虚拟PC”软件公司，提供服务
Hadoop集群安装及配置
m0_61364659的博客
10-13 8466
hadoop集群搭建
Hadoop集群安装，mysql安装，hive安装
weixin_43288858的博客
06-26 2574
下载安装包安装包第一步：上传压缩包并解压将我们重新编译之后支持snappy压缩的hadoop包上传到第一台服务器并解压第一台机器执行以下命令第二步：查看hadoop支持的压缩方式以及本地库第一台机器执行以下命令如果出现openssl为false，那么所有机器在线安装openssl即可，执行以下命令，虚拟机联网之后就可以在线进行安装了第三步：修改配置文件修改core-site.xml第一台机器执行以下命令 修改hdfs-site.xml第一台机器执行以下命令 修改hadoop-env.sh第一台机器执
hadoop集群安装(四)：安装hadoop集群
幻神舞的专栏
11-25 1815
hadoop集群安装配置，设置hdfs、yarn、MapReduce文件，启动并验证hadoop服务
hadoop集群安装及配置详细
lclchong的博客
07-28 4633
Hadoop集群的安装及其配置
hadoop集群安装
12-07
hadoop的分布式安装，三台服务器实现为例，分别是master
Hadoop集群安装
01-07
Hadoop集群安装   集群规划   服务器hadoop101 服务器hadoop102 服务器hadoop103 HDFS NameNode DataNode DataNode DataNode ...
Hadoop集群安装和搭建（全面超详细的过程） 文章目录 Hadoop集群安装和搭建（全面超详细的过程） 前言 一、虚拟机的安装
09-13
hadoop集群搭建Hadoop集群安装和搭建（全面超详细的过程） 文章目录 Hadoop集群安装和搭建（全面超详细的过程） 前言 一、虚拟机的安装 二、Linux系统安装 1.环境准备 2.虚拟机安装 三、Centos系统安装 四、静态网络...
hadoop集群安装步骤
08-31
hadoop集群安装详细步骤，支持snappy hadoop 集群安装
Hadoop集群安装配置教程
weixin_43279138的博客
04-14 1487
Hadoop集群安装配置教程 目录Hadoop集群安装配置教程1、环境2、创建hadoop用户(两节点同步进行)3、安装SSH、配置SSH无密码登陆4、安装Java环境(两节点同步进行)5、安装Hadoop3.1.3(两节点同步进行)6、配置PATH变量(两节点同步进行)7、配置集群/分布式环境(两节点同步进行)8、执行分布式实例 链接：https://pan.baidu.com/s/1rDyT...
Hadoop系统应用之安装---Hadoop集群安装配置和详细搭建过程
m0_57464618的博客
03-09 1704
Hadoop集群安装配置和详细搭建过程
基于yolov3结合卡尔曼滤波匈牙利算法虚拟线圈的车流量检测python源码+项目说明.zip
09-21
本项目专注于视频基的车辆跟踪与流量统计，依托深度学习技术，实时追踪路面车辆动态并精准统计各车道车流量。该项目通过以下核心步骤高效处理输入视频数据： 高精度目标检测：采用YOLOv3模型，凭借其卓越的实时性与准确性，快速识别视频中的车辆目标，为后续追踪奠定坚实基础。 稳定目标追踪：集成SORT（Simple Online and Realtime Tracking）算法，结合卡尔曼滤波器预测车辆未来位置，同时运用匈牙利算法优化目标间的匹配，实现连续、稳定的车辆追踪，有效应对遮挡、交叉等复杂场景。 智能车流量统计：借鉴虚拟线圈概念，巧妙设计算法以监测穿越预设区域的车辆，自动计数并准确统计各车道车流量，为交通管理与分析提供可靠数据支持。 整体而言，本项目通过融合先进的目标检测与追踪技术，结合创新的流量统计方法，构建了一个高效、精准的实时车辆跟踪与流量统计系统，为智慧交通领域的发展贡献力量。
本科毕业设计--基于深度学习的人脸面部表情识别.zip
最新发布
09-21
深度学习是机器学习的一个子领域，它基于人工神经网络的研究，特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征，这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分： 1. **神经网络（Neural Networks）**：深度学习的基础是人工神经网络，它是由多个层组成的网络结构，包括输入层、隐藏层和输出层。每个层由多个神经元组成，神经元之间通过权重连接。 2. **前馈神经网络（Feedforward Neural Networks）**：这是最常见的神经网络类型，信息从输入层流向隐藏层，最终到达输出层。 3. **卷积神经网络（Convolutional Neural Networks, CNNs）**：这种网络特别适合处理具有网格结构的数据，如图像。它们使用卷积层来提取图像的特征。 4. **循环神经网络（Recurrent Neural Networks, RNNs）**：这种网络能够处理序列数据，如时间序列或自然语言，因为它们具有记忆功能，能够捕捉数据中的时间依赖性。 5. **长短期记忆网络（Long Short-Term Memory, LSTM）**：LSTM 是一种特殊的 RNN，它能够学习长期依赖关系，非常适合复杂的序列预测任务。 6. **生成对抗网络（Generative Adversarial Networks, GANs）**：由两个网络组成，一个生成器和一个判别器，它们相互竞争，生成器生成数据，判别器评估数据的真实性。 7. **深度学习框架**：如 TensorFlow、Keras、PyTorch 等，这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数（Activation Functions）**：如 ReLU、Sigmoid、Tanh 等，它们在神经网络中用于添加非线性，使得网络能够学习复杂的函数。 9. **损失函数（Loss Functions）**：用于评估模型的预测与真实值之间的差异，常见的损失函数包括均方误差（MSE）、交叉熵（Cross-Entropy）等。 10. **优化算法（Optimization Algorithms）**：如梯度下降（Gradient Descent）、随机梯度下降（SGD）、Adam 等，用于更新网络权重，以最小化损失函数。 11. **正则化（Regularization）**：技术如 Dropout、L1/L2 正则化等，用于防止模型过拟合。 12. **迁移学习（Transfer Learning）**：利用在一个任务上训练好的模型来提高另一个相关任务的性能。 深度学习在许多领域都取得了显著的成就，但它也面临着一些挑战，如对大量数据的依赖、模型的解释性差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。
雷电模拟器改成真机环境
09-21
在Android系统中，模拟器通常会被识别为非真实的设备，这可能导致某些应用或服务无法正常运行，尤其是那些需要硬件信息或root权限的应用。改真机环境意味着通过技术手段使模拟器的行为更接近真实的Android设备，包括模拟设备硬件信息、IMEI、MAC地址等，以绕过检测并提升兼容性。LSPSED（Linux System Property Setter and Editor）模块是Magisk的一个扩展，专门用于修改Android系统的系统属性。通过LSPSED，我们可以更改设备的各种系统属性，如设备型号、制造商信息等，这些修改对于使模拟器看起来更像真实设备至关重要。在使用过程中，还需要添加几个机型模块，这些模块通常包含了特定设备的系统配置信息，如设备代号、硬件信息等。通过安装这些模块，雷电模拟器可以模仿各种流行的Android设备，进一步提高应用的兼容性和真实性。
Hadoop集群安装配置实战指南
"这篇文档是关于Hadoop集群安装配置的精华集锦，主要涵盖了Hadoop的基本概念、集群部署介绍以及环境说明。" 在Hadoop安装配置的过程中，了解Hadoop的基础知识至关重要。Hadoop是一个由Apache软件基金会开发的开源...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值