hadoop笔记

最新推荐文章于 2021-12-27 15:47:21 发布
最新推荐文章于 2021-12-27 15:47:21 发布
阅读量594 收藏 1
点赞数 3
分类专栏： hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48561739/article/details/109998448
版权
本文档详细介绍了如何在CentOS6.8系统上从创建虚拟机到搭建完整的Hadoop完全分布式集群，包括安装操作系统、设置固定IP、安装Java、配置SSH免密登录、时间同步服务，以及启动和监控集群的各项服务。
摘要由CSDN通过智能技术生成

1:创建一个CentOS6.8虚拟系统

1.1：选择自定义
在这里插入图片描述
1.2：选择默认
在这里插入图片描述
1.3：操作系统选择稍后安装
在这里插入图片描述
1.4：系统选择CentOS 6 64位

在这里插入图片描述
1.5：根据自己电脑性能选择
（下面全部选择默认）
在这里插入图片描述
在这里插入图片描述

1.6：改主机名为:master
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2：安装操作系统

2.1: 选择“编辑虚拟机设置”
在这里插入图片描述
2.2：选择系统ios映像
在这里插入图片描述

2.3：左下角“完成”别忘了
在这里插入图片描述
2.4：开机
在这里插入图片描述
2.5：选择第一个
在这里插入图片描述
2.6：选择skip（鼠标不能用请使用键盘）
在这里插入图片描述
2.7：选择右下角next（下一步）
在这里插入图片描述
2.8：选择语言，然后选择右下角next
在这里插入图片描述
2.9：选择键盘布局，然后选择右下角next
在这里插入图片描述
2.10：选择本地硬盘，然后选择右下角next
在这里插入图片描述
2.11：选择yes
在这里插入图片描述
2.12：设置主机名为master.centos.com，然后选择右下角next
在这里插入图片描述

2.13：选择时区，选择Asia/Shanghai，然后选择右下角next
在这里插入图片描述

2.14：设置管理员密码，然后选择右下角next
在这里插入图片描述

密码过于简单提醒，可以跳过
在这里插入图片描述
2.15：选择分区（选择自动分区）
在这里插入图片描述
在这里插入图片描述

2.16：选择组件
在这里插入图片描述
2.17：选择右下角reboot（重启）就安装好了
在这里插入图片描述

3：设置固定IP地址

3.1：修改VM软件网络环境
在这里插入图片描述
在这里插入图片描述

3.2：编辑网卡配置文件
位置：/etc/sysconfig/network-scripts/ifcfg-eth0
1改

BOOTPROTO=static

并添加以下内容

IPADDR=192.168.128.130
NETMASK=255.255.255.0
GATEWAY=192.168.128.2
DNS1=192.168.128.2

3.3：修改完成后重启网卡

service network restart

4：远程连接虚拟机（如果配置正常但连接不了，可以通过下载）

yum install openssh-server

5：挂载系统映像

mount /dev/dvd/media

6：修改本地yum源

baseurl=file：///media/
gpgcheck=0
eenable=1

7：更新yum源

yum clean all

8：安装yum软件

yum install -y vim zip openssh-server openssh-clients

9： 在Windows下安装java

9.1：Windows的java环境安装
在这里插入图片描述
9.1.1：java的jdk安装（jdk=软件开发工具包）
在这里插入图片描述:9.1.2：java的jre的安装（jre=运行环境）
在这里插入图片描述
9.1.3：:配置环境变量
1：此电脑右键点击属性找到环境变量

在这里插入图片描述

2：进入环境变量配置
在这里插入图片描述

3：配置变量

JAVA_HOME
D:\java\jdk

在这里插入图片描述

CLASSPATH
,:%JAVA_HOME%\jre\lib\re.jar:,:

在这里插入图片描述
在这里插入图片描述
4：验证java是否安装完成
进入cmd窗口
在这里插入图片描述
输入命令

java -version

在这里插入图片描述

10：linux安装java

1上传JDK安装包

在这里插入图片描述

2：进入/opr目录，执行命令“ rpm -ivh jdk-7u80-linux-x64.rpm ”，安装JDK

[root@localhost ~]# cd /opt
[root@localhost ~]# rz			#上传Linux版java软件包（jdk-7u80-linux-x64.rpm）
[root@localhost opt]# rpm -ivh jdk-7u80-linux-x64.rpm 
准备中...                          ################################# [100%]
正在升级/安装...
   1:jdk-2000:1.7.0_80-fcs            ################################# [100%]
Unpacking JAR files...
	rt.jar...
	jsse.jar...
	charsets.jar...
	tools.jar...
	localedata.jar...
	jfxrt.jar...

3：验证JDK是否安装成功并执行以下命令
在这里插入图片描述

11：搭建hadoop完全分布式集群

11.1安装软件包
把hadoop-2.6.4.tar.gz上传到master的/opt目录下
并执行此命令 tar -zxf hadoop-2.6.4.tar.gz -C /usr/local 将Hadoop安装包解压到虚拟机master的/usr/local目录下。

最低0.47元/天 解锁文章
飞之理论
关注
  • 3
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop安装操作大全
Ordinary_Data
07-05 482
第一节、配置网络IP地址： 打开配置文件vi /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no BOOTPROTO=static IPADDR=192.168.206.10 NETMASK=255.255.255.0 GATEWAY=192.168.206.2 DEFROUTE=yes IPV4_FAILURE_FATAL=no IPV6INIT=yes IPV6_AUTOCO
Hadoop学习（一）Hadoop概述
一个写程序的
12-27 632
一、Hadoop 1、简介 Hadoop是一个由Apache基金会开发阿德分布式系统基础架构 主要解决，海量数据的存储和海量数据的分析计算问题 PS：储存大小数量级：兆M->吉G->太T->拍P->艾E->泽Z Hadoop三大发行版本：Apache（最原始，最基础，开源）、Cloudera（大型互联网企业中用的多）、Hortonworks（文档较好） ...
搭建Hadoop完全分布式集群3
m0_59186440的博客
12-27 913
上一小节，我们搭建好第一台虚拟机搭建Hadoop完全分布式集群2_m0_59186440的博客-CSDN博客https://blog.csdn.net/m0_59186440/article/details/122170209https://blog.csdn.net/m0_59186440/article/details/122170209前文链接前面一节我们完成了虚拟机的安装，下面我们进行配置vi /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0H
Hadoop简介
BUGdeQD的博客
02-23 240
一、什么是Hadoop？ Hadoop是一个适合大数据的分布式存储和计算平台(框架平台/技术生态圈) Hadoop生态圈技术栈 Hadoop（HDFS + MapReduce + Yarn） Hive数据仓库工具 HBase海量列式非关系型数据库 Flume数据采集工具 Sqoop ETL工具 Kafka高吞吐消息中间件 . . . . . . . . 二、Hadoop的特点 扩容能力(Scalable)：Hadoop在...
Hadoop高可用HA搭建
qq_43012693的博客
09-08 324
高可用搭建一、修改配置文件core-site.xml文件配置hdfs-site.xml配置yarn.site.xml配置二、启动 在搭建HA之前需要先把Hadoop以及zookeeper搭建完成，具体的可参考前面的文章 一、修改配置文件 core-site.xml文件配置 1、指定hdfs的nameservice为ns，ns就是nameservice的缩写； 2、指定zookeeper的地址； <configuration> <!-- 指定hdfs的nameservice为ns --&gt
Hadoop笔记
09-03
### Hadoop从安装到配置详解 #### 一、概述 Hadoop是一款开源软件框架，用于分布式存储和处理大型数据集。它能够通过集群中的多台计算机来存储和处理大规模的数据，具有高可靠性、高扩展性和成本效益等优势。本文将...
linux+hadoop笔记（一）
02-07
hadoop学习笔记，分天学习，原创，亲测，放心使用，没问题。
hadoop笔记2.pdf
03-24
根据提供的文件信息，我们可以了解到有关大数据和Hadoop的详细知识点。以下是基于文件内容的知识点梳理： **大数据的基本概念** 大数据指的是无法在一段合理的时间范围内用常规软件工具捕捉、管理和处理的数据集合...
ntp时间同步
小忐忑的博客
10-03 1254
安装 都一样 yum install -y ntp master节点配置 vim /etc/ntp.conf 注释掉以 server 开头的行 写入 server 127.127.1.0 fudge 127.127.1.0 startum 启动服务并加入开机自启 systemctl start ntpd systemctl enable ntpd slave节点配置 vim /etc/ntp.conf 注释掉以 server 开头的行 并添加 server master slave 上执行命令
hadoop2.6.5配置
lgz450181的专栏
03-02 5225
我的配置参考了"我是菜鸟要早起"的博客，他的链接:http://blog.csdn.net/licongcong_0224/article/details/12972889 使用VMare建3个虚拟机（使用CentOS7系统），三个虚拟机IP为： 192.168.100.130、192.168.100.131、192.168.100.134      192.168.100.130作
hadoop的安装与配置
qq_44797209的博客
04-09 288
准备工作： 1，hadoop-2.7.1 2, hadoop-native-64-2.7.0 3, jdk-8U121-linux-x64.rpm 4.Centos-6.4_64 安装centos-mini node-1 ip：192.168.18.140 node-2 ip: 192.168.18.141 node-3 ip: 192.168.18.142 设置node-1 1修改etc/sy...
Hdp + Ambari 本地源安装
Stay Focused And Work Hard !!!
06-19 8055
一、安装虚拟服务器（VM12中安装centos7） Hdpm （先安装一台服务器，后面再通过克隆的方式进行服务器的复制） 二、安装jdk 1. 下载jdk1.8安装包 2. 将文件传到指定目录 jdk-8u121-linux-x64.tar.gz 3. 解压文件 tar -zxvf jdk-8u121-linux-x64.tar.gz 4.
hadoop命令学习
jingeche的博客
09-05 215
查看： hadoop fs -ls /user/lichaolichao_i 查看指定目录下内容，如果不指定则显示当前目录的内容 hadoop fs -cat /user/lichaolichao_i/abc.txt 输出已存在文件abc.txt的具体内容 上传： hadoop fs -put /home/lichaolichao_i/abc.txt /user/lichaolichao_i 将本地文件abc.txt上传至hadoop hado...
hadoop相关
qq_46893497的博客
03-01 1039
hadoopHadoop的功能以及模块功能：Hadoop解决的问题模块下面哪个程序负责 HDFS 数据存储？hdfs 中的 block 默认保存几份？下列哪个程序通常与NameNode 在一个节点启动？HDFS 默认 Block SizeClient 端上传文件的时候下列哪项正确下面与 HDFS 类似的框架是？Ganglia 不仅可以进行监控，也可以进行告警。（正确）Nagios 不可以监控 Hadoop 集群，因为它不提供 Hadoop支持。（错误 ）如果 NameNode 意外终止，SecondaryN
设置固定IP
Pauline
03-11 559
进入IP配置目录 cd /etc/sysconfig/network-scripts 使用vi工具，修改ifcfg-eth0 的ONBOOT选项为yes ONBOOT=yes 使用命令，重启网络 service network restart 使用ifconfig 命令，即可查看ip，如下： [root@centos67 network-scripts]# ifconfig 查看结果 et
2019-8-22 [Linux] 8.软件的安装 复制与粘贴 RPM yum安装常用软件 压缩：tar zip 命令 unzip 命令
景子墨的博客
08-22 881
文章目录8.linux常用软件的安装8.1 在终端下：8.2 在控制台下： 8.linux常用软件的安装 8.1 在终端下： 复制命令：Ctrl + Shift + C 组合键. 粘贴命令：Ctrl + Shift + V 组合键. 8.2 在控制台下： 复制命令：Ctrl + Insert 组合键　　或　　用鼠标选中即是复制。 粘贴命令：Shif...
[Hadoop集群模式安装与配置全过程]红帽子RatHat6下hadoop集群模式安装（3个节点，master,slave1,slave2）
.的博客
04-21 6140
红帽子RatHat6下hadoop集群模式安装（3个节点，master,slave1,slave2）一、学习目标：使用红帽子RatHat6在虚拟机上搭建hadoop集群，包含3个节点，体验集群分布式。二、软件需求：三台虚拟机(这里使用VMware Workstation)、RatHat6版本的安装包三、实验前提：每台PC机已装有RatHat6系统，一台机命名为master作为namenode，另两...
大海哥hadoop笔记
最新发布
12-19
大海哥的Hadoop笔记是一本关于大数据处理和分析的重要学习资料。Hadoop是一个开源的分布式存储和处理框架，对于处理海量数据非常有效。这本笔记详细介绍了Hadoop的核心概念、架构和工作原理，包括HDFS分布式文件系统、MapReduce计算模型、YARN资源管理器等重要组件。通过这些学习，读者可以深入了解Hadoop的内部机理和运行原理。 此外，大海哥的Hadoop笔记还包括了一些实际案例和应用场景，以便读者可以更好地理解Hadoop在实际工作中的应用。这些案例涵盖了不同领域和行业，包括金融、电商、医疗等，帮助读者了解Hadoop在不同领域的具体应用方式和效果。 此外，这本笔记还提供了一些Hadoop生态系统的相关技术和工具的介绍，如Hive、HBase、Spark等，让读者可以了解Hadoop在大数据处理和分析方面的完整解决方案。最后，大海哥的Hadoop笔记还包括了一些实操练习，以及一些学习方法和技巧的分享，让读者可以更好地学习和理解Hadoop的知识。 总的来说，大海哥的Hadoop笔记是一本全面而深入的学习资料，不仅适用于初学者，也适用于有一定经验的技术人员，是学习和掌握Hadoop技术的重要参考书。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值