hadoop生态的配置

最新推荐文章于 2024-06-01 00:00:00 发布
最新推荐文章于 2024-06-01 00:00:00 发布
阅读量115 收藏
点赞数
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44850324/article/details/108912424
版权

hadoop生态的配置

1.linux端

1.1 网络设置
  • 网关
  • 子网掩码
  • 网段
  • IP
  • 网络设置 vi /etc/sysconfig/network-scripts/ifcfig-ens33 配置完输入ip addr测试
  • 修改主机名和域名 etc/hosts
  • 关闭并禁用windows和linux防火墙
  • 配置秘钥
  • 修改各自ip和主机名 此操作在克隆集群机器后修改
  • 防火墙设置
    systemctl stop firewalld 停止
    systemctl disable firewalld 禁用
    systemctl status firewalld 查看状态*
  • 设置windows端的主机名映射 C:\Windows\System32\drivers\etc下的hosts文件在这里插入图片描述
1.2 软件安装
  • 安装查看网络服务命令 yum -y install net-tools
  • 查找上传软件 yum list | grep rz 并安装
  • 时间同步命令
  • 安装mysql

yum -y install ntpdate.x86_64
ntpdate 0.asia.pool.ntp.org

2. hadoop生态的软件安装与环境变量的配置

![在这里插入图片描述](https://img-blog.csdnimg.cn/20201004105446554.png#pic_center

2.1 HDFS 分布式文件系统 MapReduce 运算框架大数据集并行运算 Yarn 给分布式运算框架进行资源的调度和任务监控

2.1.1 vi hadoop-env.sh

export JAVA_HOME=/opt/apps/jdk1.8.0_261

2.1.2 vi hadoop-site.xml

<configuration>
   <!-- 集群的namenode的位置  datanode能通过这个地址注册-->
	<property>
	     <name>dfs.namenode.rpc-address</name>
		 <value>linux01:8020</value>
	</property>
	 <!-- namenode存储元数据的位置 -->
	<property>
	     <name>dfs.namenode.name.dir</name>
		 <value>/opt/hdpdata/name</value>
	</property>
	 <!-- datanode存储数据的位置 -->
	<property>
	     <name>dfs.datanode.data.dir</name>
		 <value>/opt/hdpdata/data</value>
	</property>
	 <!-- secondary namenode机器的位置-->
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>linux02:50090</value>
	</property>
 
</configuration>

2.1.3 初始化namenode机器 ！！！初始化在所有集群搭建起来后再做。

bin/hadoop namenode -format

2.1.4 一键启动

1 ) 在配置文件的目录中修改workers配置文件 (启动的时候会读取这个文件 ,在配置的主机上分别启动datanode)

vi workers

2 ) 在hdfs启动和停止的脚本中添加如下配置

vi sbin/start-dfs.sh | vi stop-dfs.sh

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

3）在yarn启动和停止的脚本中添加如下配置

start-yarn.sh stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

2.1.5 修改默认的操作路径为HDFS系统
core-site.xml

  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://linux01:8020</value>
  </property>

2.1.6 配置yarn的基本设置
vi yarn-site.xml

<!--  resource,manager主节点所在机器 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>linux01</value>
</property>

<!--  为mr程序提供shuffle服务 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<!--  一台NodeManager的总可用内存资源 -->
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>4096</value>
</property>
<!--  一台NodeManager的总可用（逻辑）cpu核数 -->
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>4</value>
</property>

<!--  是否检查容器的虚拟内存使用超标情况 -->
<property>
  <name>yarn.nodemanager.vmem-check-enabled</name>
  <value>false</value>
</property>

<!--  容器的虚拟内存使用上限：与物理内存的比率 --> 
<property>
  <name>yarn.nodemanager.vmem-pmem-ratio</name>
  <value>2.1</value>
</property>
2.4 ZooKeeper 协调系统 协调关键共享状态

2.4.1 在zookeeper下创建一个zkData文件夹
2.4.2 在conf文件夹中 修改文件名为zoo_sample.cfg --> zoo.cfg
vi zoo.cfg

dataDir=/opt/apps/zookeeper-3.4.6/zkData
#Set to “0” to disable auto purge feature
#autopurge.purgeInterval=1
server.1=linux04:2888:3888
server.2=linux05:2888:3888
server.3=linux06:2888:3888

2.4.3 在zkDate中创建myid文件夹 并写入id号 初始化在所有集群搭建起来后再做
注：zookeeper中没有一键启动命令 需要每台机器单独启动。后续配置一键启动脚本

2.6 Hbase 分布式数据库

2.6.1 hbase-env.sh 修改内容

export JAVA_HOME=/opt/apps/jdk1.8.0_261
查找命令 esc查看模式下 输入： /ZK
export HBASE_MANAGES_ZK=false

2.6.2 hbase-site.xml

<configuration>
<!-- 指定hbase在HDFS上存储的路径 -->
<property>
<name>hbase.rootdir</name>
<value>hdfs://linux04:8020/hbase</value>
</property>
<!-- 指定hbase是分布式的 -->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
  <name>hbase.unsafe.stream.capability.enforce</name>
  <value>false</value>
</property>
<!-- 指定zk的地址，多个用“,”分割 -->
<property>
<name>hbase.zookeeper.quorum</name>
<value>linux04:2181,linux05:2181,linux06:2181</value>
</property>
</configuration>

2.6.3 regionservers 配置 设置启动集群中的Regionserver机器

2.7 Hive 基于HADOOP的数仓操作工具

2.7.1 tar -zxf apache-hive-2.3.5.tar.gz

2.7.2 vi hive-env.sh
export HADOOP_HOME=/usr/apps/hadoop-2.8.5/
#Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/usr/apps/hive-2.3.1/conf/

2.7.3 vi hive-site.xml

<configuration>
<!-- 记录HIve中的元数据信息  记录在mysql中 -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://linux04:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
</property>
<!-- hive在hdfs中存储的数据路径 -->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>

<property>
<name>hive.exec.scratchdir</name>
<value>/user/hive/tmp</value>
</property>
<property>
<name>hive.querylog.location</name>
<value>/user/hive/log</value>
</property>
<!-- shell客户端连接的端口 -->
<property> 
<name>hive.server2.thrift.port</name> 
<value>10000</value>
</property>
<property> 
<name>hive.server2.thrift.bind.host</name> 
<value>0.0.0.0</value>
</property>
<property>
<name>hive.server2.webui.host</name>
<value>0.0.0.0</value>
</property>
<!-- hive服务的页面的端口 -->
<property>
<name>hive.server2.webui.port</name>
<value>10002</value>
</property>
<property> 
<name>hive.server2.long.polling.timeout</name> 
<value>5000</value>                               
</property>
<property>
<name>hive.server2.enable.doAs</name>
<value>true</value>
</property>
<property>
<name>datanucleus.autoCreateSchema </name>
<value>false</value>
</property>
<property>
<name>datanucleus.fixedDatastore </name>
<value>true</value>
</property>

<property>
<name>hive.execution.engine</name>
<value>mr</value>
</property>
</configuration>

2.7.4 vi hdp/ect/hadoop/core-site.xml 只修改hive服务安装的主机即可

<property>
  <name>dfs.permissions.enabled</name>
		<value>false</value>
</property>

<property>
	<name>hadoop.proxyuser.root.hosts</name>
		<value>*</value>
</property>

<property>
	<name>hadoop.proxyuser.root.groups</name>
		<value>*</value>
</property>

2.7.5 准备mysql的驱动包
拷贝一个mysql的jdbc驱动jar包到hive的lib目录中

2.7.6 配置Hive环境变量 并且source /etc/profile

2.7.7初始化
将hive的原数据信息初始化到mysql中

${HIVE_HOME}/bin/schematool -initSchema -dbType mysql
在这里插入图片描述

无事发生
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop生态圈 安装配置
DongSYa的博客
07-28 307
hadoop生态圈的组件 Zookeeper：是一个开源的分布式应用程序协调服务，基于zookeeper可以实现同步服务，配置维护，命名服务。 Flume：一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 Hbase：是一个分布式的、面向列的开源数据库，利用Hadoop HDFS作为其存储系统。 Hive：基于Hadoop的一个数据仓库工具，可以将结构化的数据档映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 Sqoop：将一个关系型数
Hadoop生态系统
weixin_46781384的博客
08-12 772
细数hadoop
Hadoop生态的配置
weixin_33717117的博客
04-14 93
网盘下载地址 链接: https://pan.baidu.com/s/19qWnP6LQ-cHVrvT0o1jTMg 密码: 44hs Hadoop伪分布式配置 Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。 Hadoop 的配置文件位于...
大数据生态圈学习-Hadoop集群环境搭建
weixin_46792694的博客
04-03 269
大数据生态圈-Hadoop集群环境搭建hadoop的介绍apache hadoop三种架构环境安装1.StandAlone环境搭建2.伪分布式环境搭建 hadoop的介绍 适合大数据的分布式存储与计算平台 狭义上来说，hadoop就是单独指代hadoop这个软件， 广义上来说，hadoop指代大数据的一个生态圈，包括很多其他的软件 hadoop三大公司发型版本 免费开源版本apache： http://hadoop.apache.org/ 免费开源版本hortonWorks： https://horto
手把手教你搭建Hadoop生态系统伪分布式集群
Alex
06-08 1680
Hello，我是 Alex 007，一个热爱计算机编程和硬件设计的小白，为啥是007呢？因为叫 Alex 的人太多了，再加上每天007的生活，Alex 007就诞生了。 这篇博客呢，我会详细介绍怎么搭建Hadoop生态系统，实战课程嘛，搞了三天服务器，搭建完全分布式系统。 一、准备工作 三台服务器的版本信息： 主节点： 从节点1： 从节点2： 1.更新升级软件包 CentOS系统： sudo yum update sudo yum upgrade Ubuntu系统： sudo apt-g.
Hadoop生态圈（一）超详细带讲解hadoop伪分布式搭建，包会！
自律
03-28 1299
今天分享一下我之前安装伪分布式整理的干货。 安装过程（采用和完全分布式集群一样的步骤）： 【建议】安装部署Hadoop，使用linux的管理员root用户登录。 1.关闭防火墙 使用root用户登录，打开命令行终端：点击左上角-》应用程序-》收藏-》终端 查看防火墙状态：systemctl status firewalld 关闭防火墙： systemctl stop firewalld 关闭防火...
Hadoop生态系统介绍
黑伴白的博客
05-12 3018
Hadoop生态系统介绍
大数据hadoop生态技术简介
zhoushimiao1990的博客
06-15 3110
大数据生态知识体系
Hadoop生态圈
weixin_48626604的博客
03-07 4830
Hadoop生态圈 1.什么是Hadoop？ Hadoop是由Apache基金会所开发的分布式系统架构。 主要解决，海量数据的存储和海量数据的分析计算问题 广义上来说，Hadoop通常是指一个更加广泛的概念——Hadoop生态圈 2.Hadoop有那些优势？ 高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或储存出现故障，也不会导致数据的丢失。 高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点 高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快
hadoop生态圈组件
Wasd7890的博客
03-15 893
这样可以确保数据的可靠性和容错性。\n\nMapReduce是一种基于磁盘的分布式并行批处理的计算模型，用于处理和生成大型数据集，他将计算任务分为两个阶段：map阶段和reduce阶段，MapReduce用于在HDFS上处理大量数据，尤其是批量处理任务。Flink是一个基于内存的分布式并行处理框架，类似与Spark，但是在部分设计思想方面有很多不同的，对与Flink而言，适合处理事实数据和流式数据，具有更好的状态管理和任务调度能力，而Spark适合处理离线批处理数据，，具有更好的内存管理和执行引擎能力。
hadoop大数据生态圈工具配置与应用.pdf
12-09
目录如下，第一章为centos7的基础配置，详细可以看我博客 第二章 hadoop 1 第三章 HDFS应用 10 第四章 mapreduce JAVA...第六章 高可用hadoop配置 46 第七章 hive 51 第八章 flume 53 第九章Azkaban 64 第十章 sqoop 83
hadoop 生态圈集群搭建
01-22
hadoop 2.7.5 集群搭建 spark 2.2.1 集群搭建，配置scala编译环境 hive on spark 安装 hbase 搭建
hadoop生态系统搭建
12-04
本人写的大数据平台搭建教程，包含基于hive的离线分析、基于storm的实时分析、包含solrcloud和hbase的搜索架构等基础组件的配置及整合
Centos 7安装配置Hadoop生态圈CDH5版本
03-13
Centos 7安装配置Hadoop生态圈CDH5版本 其中包括hadoop hbase hive spark 等组件安装
hadoop安装与配置.pdf
02-28
此外，Hadoop广义上指的是一个更广泛的概念，即Hadoop生态系统，其中还包括了Hive数据仓库工具、HBase非关系型数据库、Zookeeper分布式协调服务、Kafka消息队列、Sqoop数据导入导出等其他组件。 Hadoop的创始人是...
计算机毕业设计hadoop+spark知识图谱课程推荐系统 课程预测系统 课程大数据 课程数据分析 课程大屏 mooc慕课推荐系统 大数据毕业设计
最新发布
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
06-01 479
计算机毕业设计hadoop+spark知识图谱课程推荐系统 课程预测系统 课程大数据 课程数据分析 课程大屏 mooc慕课推荐系统 大数据毕业设计
WPF学习笔记：给文字添加线性渐变效果
weixin_46256404的博客
05-31 75
TextBox Text="XXX信息管理系统" VerticalAlignment="Center" Background="Transparent"
C# 代码配置的艺术
qq_35320456的博客
05-31 509
代码配置是指在软件开发过程中，使用代码来定义和控制应用程序的配置信息。它使得开发人员能够灵活地修改应用程序的设置，而无需重新编译或部署应用程序。代码配置在软件工程中的作用是提高灵活性、可维护性和可扩展性。C# 代码配置是软件工程中不可或缺的一部分。通过使用代码配置，开发人员可以灵活地定义和修改应用程序的设置，提高软件的可维护性和可扩展性。在实践中，可以通过定义属性、读取配置文件、使用依赖注入和环境变量等方法来实现代码配置。为了确保代码配置的安全性和合规性，可以采取加密、访问控制和审核日志等措施。
Hadoop+Hive数据分析综合案例
weixin_43977307的博客
05-31 722
聊天平台每天都会有大量的用户在线，会出现大量的聊天数据，通过对聊天数据的统计分析，可以更好的对用户构建精准的用户画像，为用户提供更好的服务以及实现高ROI的平台运营推广，给公司的发展决策提供精确的数据支撑。我们将基于一个社交平台App的用户数据，完成相关指标的统计分析并结合BI工具对指标进行可视化展现。
hadoop生态系统的功能
07-15
Hadoop生态系统是一个由多个开源组件组成的大数据处理框架，包括以下几个部分： 1. Hadoop分布式文件系统（HDFS）：用于存储大规模数据集的分布式文件系统，支持高可靠性和高吞吐量的数据访问。 2. MapReduce：一...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值