Hadoop节点的搭建

最新推荐文章于 2024-06-17 22:39:19 发布
最新推荐文章于 2024-06-17 22:39:19 发布
阅读量667 收藏 1
点赞数
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51039151/article/details/109010831
版权

Hadoop节点的搭建
1，修改network文件
命令 cd /etc/sysconfig/network
HOSTNAME=node1(以node1为例)
2，重启 使用reboot 或者 shutdown -r 0
3，关闭防火墙 service iptables stop
关闭防火墙开机启动 chkconfig iptables off (可以选择不执行该命令)
4，安装jdk、配置环境变量，测试
(1) jdk的安装命令 rpm -ivh jdk版本名.rpm
(2) 安装之后到 /usr/java/jdk1.8.0_171-amd64 目录查 看
(3) vi /etc/profile 打开文件后修改
在这里插入图片描述
JAVA_HOME=/usr/java/jdk1.8.0_171-amd64
可以用mv命令修改名称，如果修改了，也需要修改文件里相对应的名称
(4)修改好后 使用 source /etc/profile 命令
5，安装Hadoop
命令 tar -zxvf had… -C /opt/
had…是指文件的全称
6，配置Hadoop环境变量，在linux任意位置都可以使用hadoop命令
vi /etc/profile文件写入
在这里插入图片描述
7，source一下profile文件，让文件生效
source /etc/profile
8, 修改/etc/hosts文件，在里面添加
命令 vi /etc/hosts
192.168.x.x node1(写centos6的地址)
9，免秘钥配置

10，配置Hadoop环境文件，
cd /opt/hadoop-2.6.5/etc/hadoop/
一定要切换到这个目录下，再配置下面的几个文件
vi hadoop-env.sh
在这里插入图片描述
修改为自己安装的JDK，注意是修改不是添加
export JAVA_HOME=/usr/java/jdk7
11，配置core-site.xml
命令 vi core-site.xml
写入
在这里插入图片描述

在这里插入图片描述
12,配置hdfs-site.xml
命令 vi hdfs-site.xml
写入
在这里插入图片描述

在这里插入图片描述
13，配置slaves文件
命令 vi slaves
写入你的“奴隶”名
14，格式化hdfs
命令 hdfs namenode -format
(只能格式化一次，再次启动集群不要执行）
此处可能会报错，如果报错了，需要查看哪一块有问题
15，启动集群
命令 start-dfs.sh (关闭集群 stop-dfs.sh)
16，查看进程
角色进程查看：jps
根据你的需要查看节点

欢迎使用Markdown编辑器

你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。

新的改变

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

  1. 全新的界面设计 ，将会带来全新的写作体验；
  2. 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
  3. 增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
  4. 全新的 KaTeX数学公式 语法；
  5. 增加了支持甘特图的mermaid语法1 功能；
  6. 增加了 多屏幕编辑 Markdown文章功能；
  7. 增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；
  8. 增加了 检查列表 功能。

功能快捷键

撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜体：Ctrl/Command + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G
查找：Ctrl/Command + F
替换：Ctrl/Command + G

合理的创建标题，有助于目录的生成

直接输入1次#，并按下space后，将生成1级标题。
输入2次#，并按下space后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

删除文本

引用文本

H2O is是液体。

210 运算结果是 1024.

插入链接与图片

链接: link.

图片: Alt

带尺寸的图片: Alt

居中的图片: Alt

居中并且带尺寸的图片: Alt

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block
var foo = 'bar';

生成一个适合你的列表

  • 项目
    • 项目
      • 项目
  1. 项目1
  2. 项目2
  3. 项目3
  • 计划任务
  • 完成任务

创建一个表格

一个简单的表格是这么创建的：

项目 Value
电脑 $1600
手机 $12
导管 $1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列 第二列 第三列
第一列文本居中 第二列文本居右 第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPE ASCII HTML
Single backticks 'Isn't this fun?' ‘Isn’t this fun?’
Quotes "Isn't this fun?" “Isn’t this fun?”
Dashes -- is en-dash, --- is em-dash – is en-dash, — is em-dash

创建一个自定义列表

Markdown
Text-to- HTML conversion tool
Authors
John
Luke

如何创建一个注脚

一个具有注脚的文本。2

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 Γ ( n ) = ( n − 1 ) ! ∀ n ∈ N \Gamma(n) = (n-1)!\quad\forall n\in\mathbb N Γ(n)=(n−1)!∀n∈N 是通过欧拉积分

Γ ( z ) = ∫ 0 ∞ t z − 1 e − t d t   . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=∫0∞​t

最低0.47元/天 解锁文章
qq_51039151
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
搭建Hadoop单节点
qq_56394220的博客
10-10 1350
搭建Hadoop单节点
java中aop和aoc的区别_法国红酒AOC与AOP的区别是什么
weixin_39714191的博客
02-25 250
展开全部1、32313133353236313431303231363533e58685e5aeb931333365643662AOP (Appellation d Origine Protegee)是新规的缩写记得好像是09年开始实行的 AOC是老法规，两者其实是一样的，就是原产地控制法。2、法国在1935年通过了关于葡萄酒的相关法律，确定了葡萄酒的原产地命名体制，即AOC体制，原先本体制只约...
JAVA面试之AOP与IOC解析
热爱我的热爱
10-11 1万+
JAVA面试之AOP与IOC AOP是Aspect Oriented Programming的缩写，意思是面向切面编程，与OOP(Object Oriented Programming)面向 对象编程对等,都是一种编程思想. 从OOP角度分析,我们关注业务的处理逻辑,是属于纵向的行为,从AOP角度分析,我们关注对象行为发生时的问题，是 属于横向的问题.AOP就是把贯穿在各个模块之间相同的功
java中aop和aoc的区别_AOC与AOP的区别
weixin_39897015的博客
02-16 1135
摘要：在之前的视频中，我们提到了法国葡萄酒中的“AOC”标签，但是有些酒友就会有疑问了，我的葡萄酒上标的不是AOC，而是AOP，这是怎么回事呢？红酒世界学红酒，学一点，懂一点。大家好，我是Megan。欢迎观看本期学红酒视频。在之前的视频中，我们提到了法国葡萄酒中的“AOC”标签，但是有些酒友就会有疑问了，我的葡萄酒上标的不是AOC，而是AOP，这是怎么回事呢？“AOP”为法语“Appellatio...
java中aop和aoc的区别_法国波尔多产区的葡萄酒AOC/AOP等级
weixin_36376879的博客
02-25 1691
2、 AOC就是法国葡萄酒最高等级吗？在法国葡萄酒分级中，一般分为四个大的等级：VDT、VDP、VDQS、AOC(新的法国分级是：VDF、IGP、VDQS、AOP，新旧标准将在较长时间内共存，所以大家在市场上会见到不同标准)。对于法国葡萄酒来说，AOC/AOP等级其实是个比较宽泛的一个等级，在法国各个法定产区中，又会根据自己产区实际情况，在AOC等级内又详细划分了不同等级。以大家熟知的波尔多产区为...
java中aop和aoc的区别_AOC和AOP的区别？
weixin_36362920的博客
02-16 3071
AOC和AOP是法国葡萄酒等级制度中的同一级不同时期的名称。AOC是AOP的前身。目前，AOP是法国葡萄酒中等级最高的葡萄酒，全称是Appellation d’Origine Protégée，中文意思是原产地命名保护。最高等级的法国葡萄酒，及aop法国红酒，其使用的葡萄品种、最低酒精含量、最高产量、培植方式、修剪以及酿酒方法等都受到最严格的监控。只有通过官方分析和化验的法定产区葡萄酒才可获得A....
Hadoop集群搭建知识点和添加从节点操作
weixin_47011327的博客
09-17 1317
1.Hadoop集群搭建知识 (具体相关搭建步骤可参考Hadoop入门(七)——Hadoop安装（图文详解步骤2021）_Leokadia Rothschild的博客-CSDN博客_hadoop 安装这里面十分全面，我这里不做具体的操作了，而是整理集群搭建的大概所需步骤） 1.在虚拟机上安装centos7，先建立一台名为hadoop100的虚拟机，进行vmware虚拟网络设置、window10的地址配置、配置hadoop100的ip地址为192.168.10.102，设置主机名、host映射..
Hadoop大数据集群搭建（超详细）_hadoop集群搭建(1)
2401_84181070的博客
04-27 1044
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）Hadoop的JAVA_HOME版本设置未更改，例如未去掉注释等，三台虚拟机全都改好后重启hdfs和yarn。Hadoop的JAVA_HOME版本设置未更改，例如未去掉注释等，三台虚拟机全都改好后重启hdfs和yarn。执行该程序（参考下文中可能遇到的问题，问题1、2为必现问题，建议直接修改）
Hadoop大数据集群搭建（超详细）_hadoop集群搭建
2401_84181070的博客
04-27 1014
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）同样通过mobaxterm的上的SFTP功能（或其他工具）上传到/export/software目录下，然后解压到/export/servers目录下。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。在hadoop01上执行。
JAVA AOP概念和实现原理 详解
Json的知识梦工厂
03-10 3642
// AOP 概念 1. 什么是AOP？ // 面向切面（方面）编程 //利用AOP可以对业务逻辑的各个部分进行隔离，从而使得业务逻辑各部分之间的耦合度降低，提高程序的可重用性，同时提高了开发的效率 // 不通过修改源代码方式 添加新功能 叫AOP AOP(底层原理) // 1. AOP底层使用动态代理 来实现 // 2. 有两种情况动态代理 2.1 有接口情况 使用JDK动态代理 举例说明 // 1） 创建一个接口 // interface UserDao{ //
java中aop和aoc的区别_法国AOC、AOP、VDP和IGP葡萄酒有什么区别？
weixin_33604071的博客
02-25 762
原标题：法国AOC、AOP、VDP和IGP葡萄酒有什么区别？对于大多数葡萄酒爱好者来说，AOC和波尔多都是同时认识的。很多人读不懂Bourgogne、Loire Valley或者Rhone Valley，但一定知道APPELLATION D’ORIGINE CONTROLEE是AOC的缩写。当然，有时还会有AOP、VDP和IGP等级的法国葡萄酒，这些等级有什么区别呢？1、AOC到底是指什么？AOC...
谈谈Spring中的IOC和AOP概念
热门推荐
武哥聊编程
04-07 8万+
IOC和AOP是Spring中的两个核心的概念，下面谈谈对这两个概念的理解。 --------------------------------------------------- 1. IOC（Inverse of Control）：控制反转，也可以称为依赖倒置。     所谓依赖，从程序的角度看，就是比如A要调用B的方法，那么A就依赖于B，反正A要用到B，则A依赖于B。所谓倒置，
Springboot
looperjustice的博客
11-02 257
Starter配置依赖,parent继承依赖 替换依赖 yaml文件格式
java使用AOP切面获取请求日志并记录
unhejing的博客
03-18 4773
前言：为了完整的记录外部接口请求记录，记录内容包括：请求参数，响应参数，请求耗时，请求IP地址，请求成功还是失败，请求方法名称，请求接口地址等重要信息。 1.引入maven <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-aop</artifactId> <version>
spring aoc控制反转学习<一>
一生有你的专栏
06-28 3576
spring是一个重要的j2ee轻量级框架，其中最重要的两个概念为aoc(inversion of control)-控制反转，即依赖注入dependence injection。 三种依赖注入的方式，构造方法注入（constructor injection）、setter方法注入（setter injection）以及接口注入（interface injection）。可以参考matin fl
散兵
weixin_55969598的博客
03-21 246
1.SSH和SSM的区别 1.SSH是Spring+Struts2+Hibernate的缩写， 2.SSM是Spring+SpringMVC+MyBatis的缩写， 3.都是Spring框架+MVC模式框架+ORM技术框架 2. Spring 核心功能就是IOC和AOP，其中IOC有两个重要功能，控制反转(AOC)和依赖注入（DI）； 1.控制反转（AOC）：将设计好的对象交给容器控制 2.依赖注入（DI）：当一个对象要与其他对象发生依赖关系时，通过抽象来注入所依赖的对象 3.面向切面编程(AOP)
JAVA学习笔记DAY8——Spring_AOC Spring-tx
最新发布
weixin_47227105的博客
06-17 1014
AOC,即面向切面编程，是一种编程思想。如果说面向对象编程（OOP）是一种纵向的编程思维，AOC则是横向的编程思维。用于Spring中可以弥补OOP存在的不足，例如难以对方法细节进行单独修改而不影响子父类，AOP将所有非核心代码进行统一管理，降低了代码的耦合性。底层使用代理技术。正常写核心方法advice类（增强类）用不同注解对应不同的方法同样需要@Component和@Aspect提取到公共行为的切点 pointcut开启aspectj注解支持。
Hadoop
一珅的博客
08-15 1333
Hadoop 部署
完成Hadoop单节点搭建
06-07
Hadoop单节点搭建步骤如下： 1. 安装Java环境：Hadoop需要依赖Java环境，因此需要先安装JDK。 2. 下载和解压Hadoop：从官网下载Hadoop安装包，并解压到指定的目录下。 3. 配置环境变量：在/etc/profile或者~/....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值