大数据平台搭建
文章平均质量分 86
大数据平台相关技术分享
小宇0926
简单的技术爱好者
展开
-
Hive分区表数据压缩
使用Spark对Hive分区表数据进行压缩原创 2022-12-01 14:58:04 · 1293 阅读 · 0 评论 -
Cloudera公司的CDH与HDP均无法下载问题(403 Forbidden (varnish) the provided credentials were incorrect)
Cloudera公司的CDH与HDP均无法下载问题1.问题描述2.解决方法1.问题描述最近想下载CDH的相关安装包,发现需要输入用户名和密码然而输入cloudera账号之后,会出现如下提示[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MlPFvg2F-1614908210620)(C:%5CUsers%5Ckiller%5CAppData%5CRoaming%5CTypora%5Ctypora-user-images%5Cimage-2021030509293386原创 2021-03-05 09:39:40 · 6919 阅读 · 24 评论 -
Hadoop高可用(Hadoop2.x)
Hadoop高可用(Hadoop2.x)目录Hadoop高可用(Hadoop2.x)1.什么是高可用2.Hadoop集群存在的问题3.单点故障3.1HDFS的单点故障3.2NameNode的内存受限的问题3.3Yarn的单点故障4.Hadoop的高可用5. Hadoop HA架构搭建5.1基本环境配置5.2安装Zookeeper5.3安装Hadoop5.4测试6.NameNode的联邦机制联邦的好处1.什么是高可用高可用性HA(High原创 2021-02-19 09:38:24 · 2217 阅读 · 0 评论 -
Spark2.4.7(Standalone)搭建
Spark2.4.7(Standalone)搭建1.虚拟机环境主机名IP内存磁盘CPU系统hadoop1192.168.56.772G40G1Centos7hadoop2192.168.56.882G40G1Centos7hadoop3192.168.56.992G40G1Centos72.下载安装包使用中科大的开源软件镜像站,https://mirrors.ustc.edu.cn/apache/spark/spark-2.4原创 2020-12-07 10:54:08 · 1129 阅读 · 1 评论 -
CDH集群离线部署(CM6.3.1 + CDH6.3.2 + CentOS7)
CDH集群部署1.1原生Hadoop的问题版本管理过于混乱 部署过程较为繁琐,升级难度较大 兼容性差 安全性低1.2CDH和CM(ClouderaManager)CDH(Cloudera’s Distribution Including Apache Hadoop),是Hadoop众多分中的一种,由Cloudera公司维护,基于稳定版本的ApacheHadoop构建,并集成了很多补丁,可以直接用于生产环境。就是Hadoop等大数据安装包的第三方版本的集合,提供了Hadoop等大数据服..原创 2020-10-11 09:22:19 · 8748 阅读 · 23 评论 -
Ambari2.7+HDP3.0安装(基于Centos7)
1.Ambari简介Apache Ambari项目旨在通过开发用于配置,管理和监视Apache Hadoop集群的软件来简化Hadoop管理。Ambari通过其RESTful API提供了直观,易于使用的Hadoop管理Web UI。Ambari使系统管理员可以:设置Hadoop集群Ambari提供了用于在任意数量的主机上安装Hadoop服务的分步向导。Ambari处理群集的Hadoop服务的配置。管理Hadoop集群Ambari提供了用于在整个集群中启动,停止和重新配置Hado原创 2020-10-10 14:21:00 · 7952 阅读 · 20 评论 -
zookeeper3.5.8分布式搭建
1.虚拟机环境主机名IP内存磁盘CPUhadoop1192.168.56.772G40G1hadoop2192.168.56.882G40G1hadoop3192.168.56.992G40G12.下载安装包https://mirrors.ustc.edu.cn/apache/zookeeper/zookeeper-3.5.8/使用的是中国科学技术大学的开源软件镜像站3.安装zookeeper特别注意:安装zookeeper的机原创 2020-11-26 19:42:29 · 501 阅读 · 0 评论