CDH中服务的配置及启动

最新推荐文章于 2024-04-14 12:28:09 发布
最新推荐文章于 2024-04-14 12:28:09 发布
阅读量1.3w 收藏 4
点赞数 3
分类专栏： Hadoop HDFS 文章标签： 大数据 cloudera cdh 配置 端口
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012948976/article/details/52029134
版权

提前说明

这里“服务”沿用CDH中的概念，指的是“HDFS”、“YARN”、“Spark”、“Hive”等大数据软件。

各服务的启动

方式一–在Cloudera Manager界面启动

Cloudera Manager启动服务

方式二–手动启动

以Hive为例，

hive --service metastore &
Starting Hive Metastore Server
hive --service hiveserver &
Starting Hive Thrift Server

各服务配置文件的查找

采用如下方式获取Spark的配置，Hadoop的配置获取方式也类似。注意到下面的后续文件都是link，故可以直接将/etc/spark/conf配置为Spark的环境变量。

[root@datanode5 spark-1.3.0-bin-hadoop2.4]
最低0.47元/天 解锁文章
asin929
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
部署CDH以及相关服务启动时的问题与解决方法
fearless11的博客
02-27 3万+
部署CDH以及相关服务启动时的问题与解决方法 （一）系统配置问题   （1）磁盘空间不够     The I/O cache encountered an error while updating data in medium "ahci-0-0" (rc=VERR_BAD_EXE_FORMAT). Make sure there is enough free space on the di
CDH运维列表2
没事看看书
12-11 1711
个人工作以来遇到的问题记录及解决
CDH hadoop生态的所有组件路径
最新发布
2401_84046545的博客
04-14 928
二、Hadoop生态组件。
CDH Service Monitor无响应问题小记
LittleMagic's Blog
01-30 2632
这个问题早在去年9月就被发现了，但是现场保存得不好，只在简书上留了几张截图。并且笔者那时跑到11区浪去了，简书当时也被有司请去喝了一段时间的茶，因此细节没有保留太多，权当留个备忘吧。 故障现象： 机器硬盘告警，提示/tmp写满，在硬盘里有大量Cloudera Manager中Service Monitor服务的堆转储文件。 Cloudera Manager的We...
大数据之hadoop（1）二进制简易安装（简单配置之启动）
生而为赢，不负青春！
09-24 349
大数据之hadoop二进制简易安装（简单配置之启动） 本节课主要简单配置hadoop。简单启动。其配置文件简单配置。不做任何说明。 1检查系统环境。 2下载hadoop软件，去官网下载二进制文件。下载相关的官方文档说明。 基本上任何不理解的问题都是官网去查询。 本次hadoop下载是使用hadoop-2.6.0-cdh5.7.0.tar.gz版本 本次使用java版本jdk1.7.0_80。官网有...
CDH常用命令
wj1298250240的博客
06-25 818
#据我理解是重启agent systemctl restart ntpd cloudera-scm-agent https://blog.csdn.net/qq285016127/article/details/105009998?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522159305893919724835833758%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522
cdh6.3.2 集成 Phoenix
02-08
在CDH 6.3.2中，Phoenix已经被预先配置好，可以无缝对接，提供高效的数据查询能力。 **二、Phoenix的基本概念** 1. **Phoenix架构**：Phoenix是建立在JDBC之上的，它将SQL查询转化为HBase的原生操作，通过优化器和...
CDH6.3.2集群部署手册
03-26
它涵盖了各种方面，包括硬件和软件要求、环境准备、安装CDH服务和组件、配置集群、启动服务、故障排除等内容。通过按照手册提供的步骤逐步操作，用户可以顺利地搭建一个稳定、可靠的CDH集群，用于其大数据处理和分析...
适配CDH6.3.2的Spark3.2.2
08-16
Spark3.2.2是Apache Spark的一个重要版本，它提供了许多新特性和性能...需要注意的是，安装和配置Spark时，要遵循CDH的官方文档，以确保所有依赖项和设置正确无误。此外，定期更新和打补丁以保持系统的安全性至关重要。
setup_cdh_cluster：基于ansible自动化构建，自动化部署CDH配置
02-05
5. **服务启动与验证**：Ansible可以启动或停止CDH服务，并确保服务状态正确。此外，还可以通过Ansible的assert模块进行服务状态的验证，确保服务已经正常运行。 6. **安全设置**：在大型企业环境中，数据安全至关...
大数据平台CDH6.2.0安装部署
10-27
该过程包括安装Cloudera Manager Server、配置MySQL数据库、部署CDH Parcel文件、配置Cloudera Manager Agent等步骤。 一、安装Cloudera Manager Server Cloudera Manager Server是大数据平台的核心组件，负责管理...
CDH软硬件配置建议
12-07
该文档为Cloudera官方提供的CDH部署的软硬件配置建议，包括操作系统、JDK、浏览器、数据库、Hadoop关键组件版本、硬件配置以及网络拓扑等相关配置建议。
CDH-6.2.0-1 大数据集群安装
Yooloo的博客
09-27 228
CDH大数据集群搭建(centos) 搭建流程 1.选购服务器 2.服务器配置 3.安装CDH 4.集群设置 设置hosts(后续操作均以root用户执行) 1.确定各节点hostname 正确设置： vi /etc/hostname 2.设置hosts： vi /etc/hosts: 192.168.x.x master 192.168.x.x1 slave1 192.168.x.x2 slave2 关闭SELinux及防火墙 1.关闭SE...
CDH 常用指令及问题处理
骑着蜗牛绕地球
03-23 4577
1.常用指令 ## 主节点启动server systemctl start cloudera-scm-server ## 从节点启动agent systemctl start cloudera-scm-agent ## 停止 systemctl stop cloudera-scm-server systemctl stop cloudera-scm-agent service supervisord stop systemctl disable cloudera-scm-server # 关闭开机启动
超详细版企业离线部署CDH6.10集群与配置使用
涤生大数据
06-11 7068
进入大数据行业数载，也从一个开发小白走到了今天，期间也历经过一摸番着石头过河的探索，到如今的胸有点墨；玩过demo,使用过负责过上千节点的大数据集群开发与使用；被人面虐过，也面挂过很多人；如今，想趁着自己心中有火，眼里有光的年纪，把自己的一点心得与经验分享大数据行业的爱好者。也希望有助于后面的童鞋少走弯路，也欢迎大家私信交流。持续每周更新。 死磕大数据系列 1.死磕大数据系列将从企业上千节点集群的搭建（包括cdh集群，以及升级后apache hadoop3集群），性能优化，牵扯到的组件包括...
【CDH】启动命令
BIG BOSS的博客
02-18 1377
systemctl start httpd service cloudera-scm-server start
CDH安装kerberos后无法启动zookeeper的解决方法
weixin_36242590的博客
09-21 7913
该方法可能只针对我的环境，其他原因请自行实验或分享。（该文档只适合CDH平台，不适应于hadoop等自定义安装，因为CDH会自动生成kdc，自己配置的话如果不熟悉很容易出错） 该方法可能只针对我的环境，其他原因请自行实验或分享。（该文档只适合CDH平台，不适应于hadoop等自定义安装，因为CDH会自动生成kdc，自己配置的话如果不熟悉很容易出错） 该方法可能只针对我的环境，其他原...
实现CDH支持Spark SQL功能
热门推荐
sunyang098的博客
08-11 1万+
CDH内嵌spark版本不支持spark-sql,可能是因为cloudera在推自己的impala；如果上线spark却不能使用sql这种结构化语言，对于大部分分析人员其实是很不爽的！so，就手动实现支持spark-sql的功能吧 1.下载spark的包 http://www.apache.org/   -》    右上角download   -》 HTTP  http://apach
CDH集群中关于HBase的优化
舒克_开飞机的blog
10-13 8426
1.   垃圾回收优化 1）首先是设置新生代大小的参数，不能过小，过小则导致年轻代过快成为老生代，引起老生代产生内存随便。同样不能过大，过大导致所有的JAVA进程停止时间长。-XX:MaxNewSize=256m-XX:NewSize=256m这两个可以合并成为-Xmn256m这一个配置来完成。 2）其次是设置垃圾回收策略：-XX:+UseParNewGC -XX:+UseConcMarkSw
CDH安装kafka配置
10-14
3. 启动Kafka服务，可以使用以下命令： ``` bin/kafka-server-start.sh config/server.properties ``` 4. 创建Kafka主题，可以使用以下命令： ``` bin/kafka-topics.sh --create --zookeeper <zookeeper_host>:...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值