大数据集群搭建（CDF分布式环境搭建）

最新推荐文章于 2022-05-28 08:52:34 发布
最新推荐文章于 2022-05-28 08:52:34 发布
阅读量582 收藏 1
点赞数 1
文章标签： 集群搭建 Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45739020/article/details/102846233
版权

目标：搭建基于CDH的分布式集群搭建

安装环境服务部署规划
在这里插入图片描述
2013年说大数据只包括HDFS，MapReduce，2019年说大数据包括HDFS，YARN，MapReduce

1. 准备环境Linux环境

虚拟机联网，关闭防火墙，关闭selinux，克隆两台不同端口号的虚拟机，更改主机名，ssh免密登录

查看当前防火墙状态:service iptables status
关闭防火墙：service iptables stop
开机不自启永久关闭：chkconfig iptables off
关闭selinux：vim /etc/selinux/config

扩展知识点（为什么要关闭selinux）
一般安装linux课程时都把selinux与iptables安排在后面，使初学者配置linux服务器时不成功，却没有头绪，那是因为在RedHat linux操作系统中默认开启了防火墙，selinux 也处于启动状态，一般状态为enforing。导致服务器端口默认是关闭的，导致httpd无法启动，连ping也ping不通/建议初学者在未学到selinux与iptables之前，配置服务器把这两项都关掉。

第一步：上传压缩包并解压

将我们重新编译之后支持snappy压缩的Hadoop包上传到第一台服务器并解压
第一台机器（主节点）执行以下命令

  1. cd export/softwares/ (如果没有该路径就在根目录创建多级文件夹)
    在这里插入图片描述
  2. mv hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz hadoop-2.6.0-cdh5.14.0.tar.gz （这里重命名）
    在这里插入图片描述
  3. vim /etc/selinux/config(关闭selinux)
    在这里插入图片描述

第二步：查看Hadoop支持的压缩方式以及本地库

第一台机器(主节点)执行以下命令

  1. cd export/servers/hadoop-2.6.0-cdh5.14.0/bin/（先进入bin目录验证hadoop支持哪些算法）

在这里插入图片描述
hadoop checknative （在执行命令）
在这里插入图片描述
2. 如果出现openssl为false，那么所有机器在线安装openssl即可，执行以下命令，虚拟机联网之后就可以在线进行安装了
yum -y install openssl-devel（安装完在看下hadoop checknative false是否改变为true）
在这里插入图片描述

第三步：修改配置文件

第一台机器（主节点）执行以下命令

vim /etc/profile.d/hadoop.sh（配置hadoop环境变量）
在这里插入图片描述
在这里插入图片描述
修改之后立即生效
source /etc/profile

  1. 修改core-site.xml（注意主机名和解压路径的位置）

cd export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/
vim core-site.xml
在这里插入图片描述

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://node01:8020</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value>
	</property>
	<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>

	<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
</configuration>

2.修改hdfs-site.xml（注意主机名和解压路径的位置）

vim hdfs-site.xml

<configuration>
	<!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   --> 
	<!--   集群动态上下线 
	<property>
		<name>dfs.hosts</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value>
	</property>
	
	<property>
		<name>dfs.hosts.exclude</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value>
	</property>
	 -->
	 
	 <property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>node01:50090</value>
	</property>

	<property>
		<name>dfs.namenode.http-address</name>
		<value>node01:50070</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
	</property>
	<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value>
	</property>
	
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
</configuration>

3.修改Hadoop-env.sh

vim hadoop-env.sh （这里改成自己的jdk安装位置）
在这里插入图片描述
4.修改mapred-site.xml

vim mapred-site.xml（注意主机名）

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

	<property>
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>

	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
	</property>
</configuration>

5.修改yarn-site.xml

vim yarn-site.xml

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node01</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>
  1. 修改slaves文件(改成自己的主机名)

vim slaves （表示自己的小弟或工作者都有那些）在这里插入图片描述

第四步：创建文件存放目录

第一台机器执行以下命令
node01机器上面创建以下目录

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

第五步：安装包的分发

cd export/servers/（返回根目录注意主机名）
在这里插入图片描述
在这里插入图片描述

第六步：集群启动

要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个集群。
注意：首次启动HDFS时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的 HDFS 在物理上还是不存在的。

bin/hdfs namenode -format （要在 cd export/servers/hadoop-2.6.0-cdh5.14.0/ 启动才有效）
在这里插入图片描述
如果和图中不一致说明启动失败，配置出错

一键启动集群
sbin/start-all.sh
在这里插入图片描述
一键关闭集群（没事儿不要去停止集群）
sbin/stop-all.sh
在这里插入图片描述
查看集群是否搭建成功(改成自己的端口号)
http://192.168.100.202:50070/dfshealth.html#tab-overview

在这里插入图片描述

枳言真菌
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
highcharts-cdf:cdfcde框架的简单Highcharts组件
03-12
highcharts-cdf:cdfcde框架的简单Highcharts组件
使用python绘制cdf的多种实现方法
09-17
今天小编就为大家分享一篇使用python绘制cdf的多种实现方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
大数据分布式集群搭建（1）
Cloud的博客
07-21 3992
在学习了几天的hadoop分布式集群搭建之后想写写文章记录一下一路以来遇到的困难和解决方案。 闲话不多说，进入正题。一、环境及准备 因为只有一台电脑，所以需要用虚拟机来模拟环境。 本地机器用到软件：VMWare、SecureCRT Linux上用到软件：CentOS6.7，jdk，mysql，tomcat，redis，zookeeper，hadoop，hbase
大数据分布式集群搭建（6）
Cloud的博客
07-21 379
尝试运行mapreduce例子 先进到mapreduce文件夹中 （上次忘记了配hadoop环境变量，现在补上） 从本地上传一个文本文件到hdfs的/wordcount/input目录下 创建input文件夹： hadoop fs -mkdir -p /wordcount/input 删除的话是用： hadoop fs -rmr /wordcount 查看目录： ha
大数据分布式环境搭建文档
阿尼古
12-18 337
分布式环境搭建文档 Hadoop2.7.4+hbase1.3.1+jdk1.8+zookeeper3.4.9 分布式和伪分布式的区别 简单的一句话概括一下，就是一台机器和多台机器的区别，加了一个zookeeper的配置，zookeeper就是为了进行集群间信息同步协助框架，把相关进程启动就可以了。 首先搭建一个伪分布式的环境 首先修改主机名、关闭防火墙、配置主机名和ip间的映射关...
CDF学习（Community Dashboard Framework）
weixin_30401605的博客
08-19 110
前两天研究了CDF，就是一个dashboard的框架，可以把pentaho的xaction放在一个jsp页面上。CDF提供了很多component，类似于定义javascript 对象的方法定义这些component，可以完成一些列的功能：文本框，选择框，复选框，图形，jpivot图标等等。 通过上图这个cdf例子可以看出来，三个图其实都是用户自定义的，但是第一个pie chart简直是失败。使...
mxrdsgyg.zip_CDF
07-14
最大似然（ML）准则和最大后验概率（MAP）准则，有CDF三角函数曲线/三维曲线图，模拟数据分析处理的过程，使用混沌与分形分析的例程，毕业设计有用，一个很有用的程序。
计算CDF累加分布函数_Matlab程序_CDF
03-01
资源名：计算CDF累加分布函数_Matlab程序_CDF 资源类型：matlab项目全套源码 源码说明： 全部项目源码都是经过测试校正后百分百成功运行的，如果您下载后不能运行可联系我进行指导或者更换。 适合人群：新手及有一定...
Python处理PDF与CDF实例
09-17
今天小编就为大家分享一篇Python处理PDF与CDF实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
spiht CDF9/7.zip
02-01
使用CDF9/7小波基进行SPIHT进行图像压缩，效果不错 可以直接运行
在Windows环境下配置NetCDF(c++接口)+VS2015（可以含Qt）
阿酷亚莫塔塔的博客
11-28 3343
虽然本文中介绍的是NetCDF+VS2015，但是其他版本的VS的配置NetCDF步骤是一样（本人用同样的方法配置成功VS2013），因为要配置的是C++接口的NetCDF-cxx,所以要先把C语言版的NetCDF-c配置成功。我用的是netcdf-c-4.7.3与netcdf-cxx4-4.3.1。 具体步骤如下： 1.首先下载NetCDF-c与NetCDF-cxx 下载地址...
Zookeeper详解
ForgetThatNight的博客
03-05 628
一.  Zookeeper概念简介： Zookeeper是一个分布式协调服务；就是为用户的分布式应用程序提供协调服务 A、zookeeper是为别的分布式程序服务的 B、Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务） C、Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务…… D、虽然说可以提...
CDF简介
weixin_33690367的博客
03-12 1899
CEF 即Cisco Express Forwarding，思科特快交换技术，是一种全新的路由交换技术。它的路右转发功强大，远远超出了快速交换。 优点： 1、可扩展性（Scalability）：当激活了分布式CEF（Distributed CEF）模式时，CEF在每一块线卡（line card）上也提供了全部的交换能力。 2、增强了性能：CEF使用CPU率较低...
linux 安装netcdf 库
热门推荐
u013078547的博客
05-22 1万+
1：在网上找到各种版本的安装包（下面有附件） 2：解压，然后打开解压后的文件夹 在这个目录下面打开终端 3：./configure --prefix=/home/t../software（这个路径就是你想把你的netcdf安装的位置） 4:sudo apt install netcdf-bin 5:输入密码 6：测试 在终端输入ncdump ncdump [-c|-
CDF 累积分布函数(cumulative distribution function)
maozhuxigood
03-05 1万+
论文中经常出现CDF曲线，什么是CDF呢？其实很简单 累积分布函数（cumulative distribution function）定义：对连续函数，所有小于等于a的值，其出现概率的和。F(a)=P(x&lt;=a) 下面给几个列子，出处见论文：《A Case for World-wide Network Measurement using Smartphones and Open Ma...
Anaconda3的netCDF4环境配置问题汇总（更新）
xtralloy的博客
04-14 1114
问题1. pyhdf编译出错，找不到hdf.h 解决1. "conda install hdf4" first, then "pip install pyhdf" 问题2. 使用Dataset访问nc文件时，出现curl Error、SSL Error或数据获取不全 解决2. 更换netCDF4版本。 ...
linux基础命令：ls、cd、touch、mkdir、rm、tree、cp、mv、cat、less、head、tail、grep、管道 | 、echo、> >> && || 和软连接
lovelin66的博客
03-28 812
操作系统概述 目标 了解 操作系统 的作用 1.1 操作系统(Operation System, OS) 操作系统作为接口的示意图: [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-orkeVfe4-1585385786873)(assets/1558233351754.png)]、 没有安装操作系统的计算机, 通常被称为 裸机 如果想在 裸机 上运行自己所编写...
linux自己学习总结的一些程序安装命令，有的是看的别人的，我这里做个简单的汇总
Vises的博客
08-24 178
linux使用 安装jdk并配置环境变量 第一步：创建jdk安装目录 [root@localhost hu]# mkdir /usr/java 第二步：查看安装程序 命令：rpm -qa | grep -i jdk 第三步：命令下载jdk包 命令：[root@localhost hu]# wget --no-check-certificate --no-cookies --header “Cookie: oraclelicense=accept-securebackup-cookie” http://do
大数据（hadoop分布式搭建--尚硅谷）手把手教学
qq_43774324的博客
05-28 3509
二 Hadoop 运行环境搭建 1.创建虚拟机，创建名称为hadoop100 ![在这里插入图片描述](https://img-blog.csdnimg.cn/e89556e0b9b54d9fa3f25dea18873db2.png 2.配置三处网络环境 （1） 点击编辑—>虚拟网络编辑器，进行网络编辑，点击更改配置 将VMnet8网络模式改为NET模式，并且将子网IP地址配置为192.168.10.0，将子网掩码设置为：255.255.255.0 （2） 更改本机的ip地址配置 在设置中选
windows安装CDF库
最新发布
06-11
- 在“环境变量”中添加CDF库路径。在Windows搜索栏中输入“环境变量”，然后选择“编辑系统环境变量”。在“系统属性”窗口中，选择“环境变量”，然后在“系统变量”中找到“Path”。单击“编辑”按钮，然后在...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值