前面学习的总结(HADOOP-1)

最新推荐文章于 2024-09-16 11:16:36 发布

wed-c

最新推荐文章于 2024-09-16 11:16:36 发布

阅读量654

点赞数

分类专栏： bigdata 文章标签： hadoop 大数据 java 数据库 linux

本文链接：https://blog.csdn.net/weixin_44934158/article/details/107986078

版权

bigdata 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

hadoop简介

在这里插入图片描述

是一个由Apache基金会所开发的分布式系统基础架构。
广义上来说，是一个Hadoop生态圈（由一堆框架、软件组成）

版本介绍

分为社区版和商业版
1.x,2.x,-是并行发展的
- 1.x ：
  - 由一个分布式文件系统HDFS
  - 一个离线计算机框架MapReduce
- 2.x：
  - 支持NameNode的HDFS
  - 资源管理系统YARN
  - 运行在YARN上的MapReduce
  - 比1的功能更强大，有更好的扩展性、性能、并支持多种计算框架
- 3.x
  - 比2有一系列功能加强，但还在测试

集群介绍

包含两个集群，HDFS集群和YARN集群：
- 都是分布式，可以布置在多台机器上。
- 两者逻辑上分离，但物理常在一起：但是即使装在一台机器上，逻辑上也是分离的，就是说两个的处理完全独立，1个执行不了不影响另一个。

优势

扩容能力：分布式系统方便的扩充
成本低：可以使用多台普通廉价的机器
高效率：通过并发数据，结点直接动态并行移动数据，速度块。
可靠性：自动同步备份数据

HDFS集群：

负责数据的存储。
集群中的角色：
- NameNode：命名结点
- DataNode：数据结点
- SecondaryNameNode：秘书结点

YARN集群

负责数据运算的硬件资源调度，比如内存
集群中的角色
- Resource Manager
- Node Manager

MapReduce

其实是一个分布式运算编程框架（类似一个接口和一系列父类）
注意并不是一个集群

部署方式

Standalone mode（独立模式）：单机模式，在1个机器上运行一个Java进程，主要用于调试。
Pseudo-Distributed mode（伪分布模式）：1个机器上运行HDFS和YARN，但是分别开启Java进程
Cluster mode （集群模式）:实际生产使用的模式，在N台主机组成一个Hadoop集群。

主机名字	内存	硬盘	启用结点
node-1	4	40	hdfs:NameNode, DataNode;yarn:NodeManager, ResoureceManager,
node-2	4	40	hdfs:SecondaryNameNode,DataNode; yarn: NodeManager

1.VMware部署

node-1&2环境

以下内容两台机器都要配置

使用rhel-server-6.8-x86_64-dvd部署虚拟机
挂载本地yum源

同步机组时间

#yum安装ntpdate
yum install ntpdate
#网络同步时间
ntpdate cn.pool.ntp.org

配置主机名称

vim /etc/sysconfig/network

#修改为：
NETWORKING=yes
HOSTNAME=node-1

配置IP、主机名映射

vim /etc/hosts

#添加
192.168.98.129 node-1
192.168.98.130 node-2

配置ssh免密登录

 ssh-keygen -t rsa #再按四次回车
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
20:15:74:e0:d2:48:1d:0d:e4:42:2a:14:28:1e:b7:75 root@node-1
The key's randomart image is:
+--[ RSA 2048]----+
|.o. o+O*.        |
|+. = B.E.        |
|+ + B *          |
| o . + .         |
|        S        |
|                 |
|                 |
|                 |
|                 |
+-----------------+

#讲公钥考培到要绵密登录的目标机器上
ssh-copy-id [目标机器]
ssh-copy-id node-1

关闭防火墙

#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off

如下图状态则说明防火墙已经关闭、防火墙开机不会自动启动

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

~~删除文本~~

引用文本

H₂O is是液体。

2¹⁰ 运算结果是 1024.

插入链接与图片

链接: link.

图片: Alt

带尺寸的图片:

居中的图片: Alt

居中并且带尺寸的图片:

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block
var foo = 'bar';

生成一个适合你的列表

项目
- 项目
  - 项目

项目1
项目2
项目3

计划任务
完成任务

创建一个表格

一个简单的表格是这么创建的：

项目	Value
电脑	$1600
手机	$12
导管	$1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列	第二列	第三列
第一列文本居中	第二列文本居右	第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPE	ASCII	HTML
Single backticks	`'Isn't this fun?'`	‘Isn’t this fun?’
Quotes	`"Isn't this fun?"`	“Isn’t this fun?”
Dashes	`-- is en-dash, --- is em-dash`	– is en-dash, — is em-dash