hadoop
文章平均质量分 66
总结下接触的hadoop
三成讲技术
世界很大 自己很小 需要很努力很努力才能撑起自己的天
展开
-
CPU 限流,让容器跑得更快
cpu转载 2022-09-13 10:14:54 · 219 阅读 · 0 评论 -
第4章 Hadoop HA高可用
hadoop 高可用 架构原创 2022-09-02 16:31:10 · 300 阅读 · 0 评论 -
第3章 Hadoop新特性
hadoop 版本原创 2022-09-02 16:19:12 · 133 阅读 · 0 评论 -
第2章Hadoop企业优化
hadoop 优化原创 2022-09-02 15:06:45 · 95 阅读 · 0 评论 -
第1章 Hadoop数据压缩
hadoop 优化 压缩原创 2022-09-02 14:43:27 · 63 阅读 · 0 评论 -
dolphinscheduler部署文档
参考文档:https://blog.csdn.net/weixin_47884711/article/details/123523144一、环境平台:HDP(Ambari)dolphinscheduler版本:1.3.5mysql驱动:mysql-connector-java-8.0.22.jar配置目录:/data/soft/dolphinscheduler-incubating-1.3.5分发节点信息:192.168.3.203二、集群搭建1、在203节点新建安装目录。原创 2022-08-24 16:00:23 · 834 阅读 · 0 评论 -
2 CDH 部署hadoop
1. 部署环境CDH是Cloudera公司对整体hadoop集群环境进行监控与管理的企业级大数据管理平台。Cloudera Manager分为:Cloudera Manager Server:对整个集群提供监控与管理操作。Cloudera Manager Server通过部署在不同设备上的Cloudera Manager Agent进行管理整体集群。Cloudera Manager Server需要部署在一台设备上。Cloudera Manager Agent:部署在每个需要监控与管理的设备上。原创 2021-02-02 17:06:26 · 793 阅读 · 0 评论 -
1 cdh介绍
1. 介绍Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large d原创 2021-02-02 16:00:08 · 588 阅读 · 0 评论 -
2 Hadoop 正式安装
1. 部署1.1 安装hadoopmkdir /opt/bigdatatar xf hadoop-2.6.5.tar.gz -C /opt/bigdata/cd /opt/bigdata/ln -sf hadoop-2.6.5 hadoop详细过程[root@node01 ~]# mkdir /opt/bigdata[root@node01 ~]# cd /usr/local/src/[root@node01 src]# lshadoop-2.6.5.tar.gz InstallJ原创 2021-02-02 15:30:24 · 294 阅读 · 0 评论 -
1 Hadoop 环境准备-基础介绍
1. 环境准备2. 服务器优化name="node04"hostnamectl set-hostname $nameecho $name > /etc/hostnamebashsed -i 's@SELINUX=enforcing@SELINUX=disabled@g' /etc/selinux/configsetenforce 0getenforce\cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtimeecho "*/5 * *原创 2021-02-02 10:03:38 · 121 阅读 · 0 评论