【大数据】启动 Hadoop 及验证

最新推荐文章于 2023-11-12 14:24:39 发布
最新推荐文章于 2023-11-12 14:24:39 发布
阅读量922 收藏 2
点赞数 1
分类专栏： 大数据 学习总结类 文章标签： hadoop spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44759710/article/details/107072586
版权

条件

采用64位Oracle Linux 6.4, JDK：1.8.0_131 64位, Hadoop：2.7.3
Spark集群实验环境共包含3台服务器，每台机器的主要参数如表所示：

服务器HOSTNAMEIP功能
spark1spark192.16.17.1NN/DN/RM Master/Worker
spark2spark292.16.17.2DN/NM/Worker
spark3spark392.16.17.3DN/NM/Worker

过程

  1. 格式化NameNode节点
    Hadoop集群第一次运行需要先格式化 NameNode 节点, 使用如所示命令：
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  2. 启动HDFS文件系统
    切换到启动脚本所在的 $HADOOP_HOME/sbin 目录，执行 start-dfs.sh 脚本：
    在这里插入图片描述
    分别在三台主机上使用jps命令验证NameNode和各DataNode：
  3. 启动YARN
    在这里插入图片描述
    此时，在 spark1 上运行的进程有 NameNode, SecondaryNameNode, DataNode, ResourceManager, NodeManager:
    在这里插入图片描述
    在spark2和spark3上运行的进程有DataNode和NodeManager：
    在这里插入图片描述
    在这里插入图片描述
根号二点五
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Hadoop】解决Hadoop Unable to load native-hadoop library问题
strawcherry_wj的博客
09-02 9026
1、启动Hadoop提示WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable 在/etc/profile中添加 export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=/hadoop/hadoop-2.9.2/lib/native/" 参考链接 https:
大数据运维---Hadoop HA集群的启动与测试
w_sunset的博客
12-15 1633
大数据运维---Hadoop HA集群的启动与测试，测试mapreduce
头哥实践平台之MapReduce基础实战
最新发布
m0_74459049的博客
11-12 2606
头哥实践平台之MapReduce基础实战
Hadoop集群配置、启动验证课件.pdf
01-31
hadoop平台构建与应用
配置HADOOP开发环境
daemon69的专栏
08-17 881
考虑到Windows平台尽管界面友好，但Hadoop环境配置较"怪异"，需借助cygwin，这个过程并不优雅。正好我手上另有一套ubuntu环境，用着也很顺手，就在ubuntu中安装了Eclipse IDE，在这套环境中配置安装Hadoop开发环境。 在本地搭建HADOOP开发环境时，三思也在网上参考了很多文章，还是很有感触，一个是果然天下文章一大抄(好吧我也没少抄，先抄官方文档，抄完改名叫
如何启动hadoop以及如何查询hadoop服务是否起来了
热门推荐
u011495642的博客
11-14 2万+
重启了下虚拟机，hive连接半天都连接步上，想了想好像是hadoop都没运行。 准备运行的时候，连hadoop怎么启动都忘了，这个水平怎么面试呢。 所以赶紧记下来。 启动方式： /usr/local/hadoop/sbin$ start-all.sh 在hadoop安装目录下进sbin目录，运行以上命令。   启动完成后，输入命令jps来判断是否启动成功  若成功启动则会列出如下进程...
大数据上课笔记之Hadoop集群的启动和测试
Cisyamr的博客
11-09 2924
Hadoop集群正常启动后，它默认开放了两个端口9870和8088，分别用于监控HDFS集群和YARN集群。通过UI界面可以方便地进行集群的管理和查看，只需要在本地操作系统的浏览器输入集群服务的IP和对应的端口号即可访问。
#运行启动hadoop遇到的问题#
earl_hd的博客
09-17 288
遇到问题是正常启动hadoop后，无法显示datanode 解决方式 首先 DataNode 没法启动的解决方法  ./sbin/stop-dfs.sh # 关闭  rm -r ./tmp # 删除 tmp 文件，注意这会删除 HDFS 中原有的所有数据  ./bin/hdfs namenode -format # 重新格式化 NameNode  ./sbin/start-dfs.sh # 重启 ...
启动hadoop步骤和遇到的坑
木头大左的博客
08-14 1462
格式化HDFS分布式文件系统 hadoop namenode –format 启动Hadoop start-all.sh 停止Hadoop stop-all.sh jps命令可以看到Hadoop的所有守护进程 用hdfs dfsadmin -report 命令来检查，能看到DataNode状态才是正常 可以通过Hadoop NameNode和JobTracker的Web接口来查看集群是否启动成功，其访问地址如下 http://192.168.96.128:80...
Hadoop启动
web15286201346的博客
09-02 8751
这里会给你报出不赞同的问题，但是也是可以使用的，最好是采用分别运行HDFS、YARN的方式来启动Hadoop。额外说一下分别运行HDFS、YARN的方式来启动Hadoop（非常简单）博主用的是Cent0S XShell7使用Hadoop。这个时候就启动成功了。输入jps就可以查看进程了。这个时候，你的Hadoop已经运行起来了。1.启动Hadoop。
Hadoop大数据平台构建、HDFS配置、启动与验证教学课件.pptx
06-20
HDFS配置、启动与验证 HDFS配置、启动与验证 序号 任务名称 任务一 Hadoop安装及JDK环境变量配置 任务二 HDFS组件参数配置 任务三 配置Hadoop环境变量 任务四 分发Hadoop文件 任务五 NameNode格式化 任务六 启动HDFS...
大数据hadoop，centos7的安装
05-30
安装成功后，启动hdfs 格式化文件系统（仅第一次执行即可，不要重复执行）：hdfs/hadoop namenode -... 验证是否启动成功： jps DataNode SecondaryNameNode NameNode 浏览器访问方式： http://hadoop000:50070
Hadoop大数据平台构建、YARN配置、启动与验证教学课件.pptx
06-20
YARN配置、启动与验证 YARN配置、启动与验证 序号 任务名称 任务一 YARN组件参数配置 任务二 MapReduce组件参数配置 任务三 配置SSH无密钥登录（slave1为主节点） 任务四 分发YARN与MapReduce配置文件 任务五 启动...
hadoop大数据实战手册
09-07
2.4.7 副本放置策略的结果验证… …… ..... . ... . … … …………………………………… 85 2.5 HDFS 内部的认证机制……………………………… …………………………………………… … ………盯 2.5. l BlockToken...
部署全分布模式Hadoop集群 实验报告
04-18
部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装...8. 启动和验证 Hadoop。 9. 关闭 Hadoop。
【贪心算法】思想 & 基本要素 & 贪心算法与局部最优 & 贪心算法与动态规划的区别 & 运用贪心算法求解问题
qq_44759710的博客
05-28 4687
首先我们先代入问题来认识一下贪心算法涉及的问题 找钱问题 给顾客找钱，希望找零的钞票尽可能少，零钱种类和数量限定 找钱问题满足最优子结构 最快找零（贪心）：为得到最小的找零次数，每次最大程度低减少零额 活动安排问题 设 个活动都需要使用某个教室，已知它们的起始时间和结束时间，求合理的安排使得举行的活动数量最多 贪心：使得每次安排后，教室的空闲时间最多 解决过程如下： 贪心算法求得的相容活动集是最大的 第一步：证明最优解中包含结束时间最早的活动 设相容集 A 是一个最优解，其结束最早的活动为 a，则
临界资源的同步与互斥，区分临界资源与临界区，二义性分析
qq_44759710的博客
02-17 3011
描述 互斥：同一时间，当只保证互斥，则可以保证临界资源访问不会造成临界资源数据的二义性，但是有可能占有临界资源的进程一直在占有，导致后面进程访问等待时间比较长 同步：保证对临界资源访问的合理性 1. 互斥 如果有若干进程要求进入空闲的临界区，一次仅允许一个进程进入，保证只能有一个进程访问临界资源 任何时候，处于临界区内的进程不可多于一个。如已有进程进入自己的临界区，则其它所有试图进入临界区的进程必...
七种内部排序 实现及时间复杂度分析
qq_44759710的博客
02-18 2042
排序分类 排序分为内部排序和外部排序两种 内部排序 内部排序通常为常见的七种算法，本实验要求掌握选择排序、冒泡排序、合并排序、快速排序、插入排序、堆排序、希尔排序 算法一：插入排序 插入排序是一种最简单直观的排序算法，它的工作原理是通过构建有序序列，对于未排序数据，在已排序序列中从后向前扫描，找到相应位置并插入 算法步骤： 将第一待排序序列第一个元素看做一个有序序列，把第二个元素到最后一个元素当...
致敬程序员 之 趣读 " 0 "和 " 1 "
qq_44759710的博客
10-24 2023
emmm ，不要怀疑，身为一位准程序员，我差点没想起来今天是程序员日，真是汗颜。。。大家都知道，10 月 24 日 来源与 2 的 十次方，对于程序员来说 1024 有深刻意义，它是2的十次方，二进制计数的基本计量单位之一。程序员是从事程序开发、维护的专业人员，他们就像是一个个1024，以最低调、踏实、核心的功能模块搭建起这个科技世界。 ...
搭建Hadoop大数据运行环境
05-13
搭建Hadoop大数据运行环境需要以下步骤： 1. 安装Java环境 Hadoop是基于Java开发的，所以需要先安装Java环境。可以下载JDK官方安装包，根据提示进行安装即可。 2. 下载Hadoop安装包 在Hadoop官网下载最新的稳定版本，也可以从镜像网站下载。 3. 解压Hadoop安装包 将下载的Hadoop安装包解压到指定目录下，如/opt/hadoop。解压后需要配置环境变量，将Hadoop的bin目录添加到PATH中。 4. 配置Hadoop 进入Hadoop安装目录，配置Hadoop的各项参数。主要包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml四个配置文件。具体配置可以参考Hadoop官网文档。 5. 启动Hadoop 在Hadoop安装目录下使用命令启动Hadoop。首先需要格式化Hadoop文件系统，使用命令hadoop namenode -format。然后使用start-all.sh命令启动Hadoop的各个组件，包括NameNode、SecondaryNameNode、DataNode、ResourceManager、NodeManager等。 6. 验证Hadoop运行状态 使用jps命令查看Hadoop各个进程是否都已经启动成功。使用Hadoop自带的web界面，可以查看Hadoop的运行状态和各个组件的运行情况。 以上是Hadoop大数据运行环境的搭建步骤，需要根据实际情况进行调整和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值