离线数仓-伪分布虚拟机 (所有组件部署完成，全流程运行成功）（数仓4.0-2.0，CDH）

已于 2024-05-29 19:51:03 修改
阅读量1.2w 收藏 104
点赞数 36
分类专栏： 大数据 文章标签： 数据仓库 linux 大数据
于 2021-11-28 08:44:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44033210/article/details/121586962
版权

离线数仓-伪分布虚拟机（所有组件部署完成，全流程运行成功）（数仓4.0-2.0，CDH）

所有组件部署好的镜像下载（在下面），仅供参考学习。（百度网盘，微云下载…）

博主通过学习尚硅谷数仓项目，将部署好的数仓虚拟机打包成ovf文件，由于博主电脑内存较小，博主使用了伪分布式集群搭建，全流程运行成功。分享虚拟机镜像文件给予大家学习。搭建数仓只需一台虚拟机，且最低配置（内存：3G,磁盘：20G，CUP：1，Linux最小化安装）

导入镜像的前提设置

记得跟博主设置一样的IP不然可能会出现集群无法使用

修改虚拟机IP

根据下图参考修改
在这里插入图片描述
在这里插入图片描述

镜像ovf文件的导入

VMware导入ova/ovf虚拟机文件

镜像ovf下载（将下载的所有文件，放在同一个文件夹下）

数仓4.0（已上传）

架构图

在这里插入图片描述

注意没学完数仓4.0的Kerberos（视频的P167及其之后视频），数仓4.0启动不了（可选择学完或使用数仓3.0）
视频链接地址

尚硅谷大数据电商数仓V4.0

部署好的虚拟机镜像下载

数仓4.0镜像-百度网盘下载
提取码: yyds

虚拟机描述（账号密码）
数仓4.0
系统：CentOS 7.5
主机名：warehouse
IP：192.168.88.103
Linux：root:root atguigu:atguigu
Mysql：root:000000 azkaban:azkaban ranger:ranger
Azkaban：atguigu:atguigu
Kylin：ADMIN:KYLIN
Superset：root:root
Zabbix：Admin:zabbix
Grafana：admin:admin
Kerberos：admin:admin atguigu:atguigu hdfs/hadoop:hdfs
Ranger：admin:atguigu123
Atlas：admin:admin

数仓3.0（已上传）

架构

在这里插入图片描述

视频链接地址

尚硅谷大数据电商数仓V3.0

部署好的虚拟机镜像下载

数仓3.0镜像-百度网盘下载
密码：yyds

操作演示地址

离线数仓3（伪分布）—运行结果预览

虚拟机描述（账号密码）
数仓3.0
系统：CentOS 7.9
主机名：servers
IP：192.168.88.102
Linux：root:123456
Mysql：root:123456     azkaban:123456
Kafka：admin:123456
Kylin：ADMIN:KYLIN
Superset：servers:servers
Azkaban：servers:servers
Zabbix：Admin:zabbix

数仓2.0（已上传）

架构

在这里插入图片描述

视频链接地址

尚硅谷大数据电商数仓V2.0

部署好的虚拟机镜像下载

数仓2.0镜像-百度网盘下载
密码：yyds

虚拟机描述（账号密码）
数仓2.0
系统：CentOS6.8
主机名：cluster
IP：192.168.88.101
Linux：root:123456
Mysql：root:123456
Azkaban：admin:admin
Superset：admin:admin
Kylin：ADMIN:KYLIN
Zabbix：Admin:zabbix
Atlas：admin:admin

CDH数仓（已上传）

架构

在这里插入图片描述

注意：伪分布内存较少（CDH的资源监控无法正常显示）
视频链接地址

尚硅谷大数据CDH电商数仓

部署好的虚拟机镜像下载

CDH数仓镜像-百度网盘下载
提取码: yyds

虚拟机描述（账号密码）
CDH
CentOS6.8
Linux：root:123456
mysql：root:000000
Cloudera Manager：admin:admin
Hue：admin:admin  yarn:yarn

如有问题可在评论区评论，博主会及时回复

坤坤不爱吃鱼
关注
  • 36
    点赞
  • 踩
  • 104
    收藏
    觉得还不错? 一键收藏
  • 78
    评论
专栏目录
尚硅谷离线数仓4.0镜像以及项目执行流程（3个虚拟机）
qq_43567029的博客
04-29 2777
实现好的离线数仓项目，内含搭建过程中遇到的问题。
Flink 实时数仓伪分布虚拟机 (所有组件部署完成）
《@书山有径%》的博客
03-30 2482
Flink 实时数仓伪分布虚拟机 (所有组件部署完成）—— 镜像下载 Flink实时数仓架构 虚拟机部署流程参考 离线数仓镜像 导入虚拟机成功后，记得修改虚拟机的内存和CPU 视频地址 Flink实时数据仓库 部署好的虚拟机镜像下载 百度网盘链接 验证码：jbk8 虚拟机描述（账号密码） Flink实时数仓 系统：centos7.5 主机名：flink IP：192.168.88.109 Linux：root：root Mysql：root:000000 maxwell:000000 canal:0000
VMware导入ova/ovf虚拟机文件
最新发布
Highlight_Jin的博客
05-07 1345
1.文件-打开-ova文件。4.导入完成，可以开始使用。2.为新虚拟机起名称。
尚硅谷VMware与CentOS7.9及XShell的安装
weixin_58989301的博客
08-01 359
亲测有效,一步到胃
尚硅谷离线数仓5.0项目个人完成经历与心得
bald__man的博客
05-09 1844
但是也碰到了几个问题，比如手动编写的分发脚本xsync不是要放在atguigu的bin文件夹下嘛，但是我的atguigu/bin不是全局变量，我也不知道为啥，我怀疑是一开始给atguigu用户权限的操作出了问题，然后我就用了老师给的样板机hadoop100。整体都是环境的搭建，因为hadoop，flume，kafka啥的都搭建了好多次了，没啥难度，视频1.5倍速就当复习了一遍。如果你格式化出问题了，需要把hadoop文件夹里的data文件夹和logs文件夹删掉，然后再去修改问题，然后再格式化。
VMware搭建分布式集群基础环境
weixin_42897804的博客
11-20 654
VMware搭建分布式集群基础环境
CentOS7安装Flink1.17伪分布式
大头皮鞋的博客
04-02 1519
在1台CentOS7机器上安装flink1.17伪分布式
CDH5.16.1企业离线部署--安装包.txt
09-10
CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel jdk-8u45-linux-x64.gz mysql-connector-java-5.1.47.jar CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1 manifest.json cloudera-manager-centos7-cm5.16.1_x86...
hive2.1.1-cdh6.3.2
05-08
1. **hive-jdbc-2.1.1-cdh6.3.2-standalone.jar**：这是Hive JDBC的独立版本，包含了所有必要的依赖，可以直接在没有其他CDH库的环境中运行。开发者可以将这个JAR文件添加到他们的项目中，以便通过Java应用程序或Web...
apache-atlas-2.1.0-bin.tar.gz--基于cdh6.3.1编译完成
05-10
在CDH 6.3.1中集成Apache Atlas，意味着用户可以直接在CDH平台上进行数据治理操作，无需额外安装Apache Atlas，简化了部署和管理流程。 **编译完成的含义：** “基于cdh6.3.1编译完成”表明Apache Atlas 2.1.0是为...
clouder-cdh-6.2.1 离线安装包
02-09
│ ├── CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel │ ├── CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha1 │ └── manifest.json └── cm6 └── 6.2.1 ├── allkeys.asc └── redhat7 ...
CDH6离线安装 -
04-01
CentOS7 下离线安装CDH6，绝对可用。 各种坑的解决，强烈建议收藏，因为CDH6和CDH5离线安装区别很大，官方网文档太混乱，这个是非常清晰的概括总结
Flink环境部署
demonson的专栏
04-29 1181
一、基础环境搭建 1.创建用户 groupadd hadoop useradd -g hadoop hadoop passwd hadoop XXX --添加sudo权限 visudo hadoop ALL=(ALL) NOPASSWD:ALL 2.安装需要的工具 yum install htop java lrzsz sysstat iotop -y yum install ansible -y 3.hadoop用户下配置互信 ssh-keygen -t rs
Flink 部署
热门推荐
mengxianglong123的博客
03-26 1万+
这里需要提到 Flink 中的几个关键组件：客户端（Client）、作业管理器（JobManager）和任务管理器（TaskManager）。我们的代码，实际上是由客户端获取并做转换，之后提交给 JobManger 的。所以 JobManager 就是 Flink 集群里的“管事人”，对作业进行中央调度管理；而它获取到要执行的作业后，会进一步处理转换，然后分发任务给众多的TaskManager。这里的 TaskManager，就是真正“干活的人”，数据的处理操作都是它们来做的， 一、快速启动一个 Fli.
Flink的安装和部署--伪分布模式
什么最重要？算法！！
05-01 624
Flink的安装和部署主要分为伪分布模式和集群模式：伪分布:如果Flink对应的Java进程都运行在一个物理机器上,称为伪分布模式，如果Flink对应的 Java进程运行在多台物理机器上,称为集群模式. 伪分布模式就是在一台服务器上面模拟集群环境，但仅仅是机器数量少,其通信机制与运行过程与真正的集群模式是一样的. Flink伪分布模式搭建过程（flink-1.10.2-bin-scala_2.11.tgz用这个即可） flink-1.7.2-bin-hadoop27-scala_2...
在虚拟机或Docker中搭建大数据伪分布式集群（六）：Flink集群搭建
tangguoxing000的博客
09-24 388
一、Flink 安装配置启动 1、安装 上传解压 tar -xzf flink-1.13.1-bin-scala_2.12.tgz mv flink-1.13.1-bin-scala_2.12 flink-1.13.1 配置环境变量 vi /etc/profile # 在文件尾部添加配置 export FLINK_HOME=/opt/flink-1.13.1 export PATH=$PATH:$FLINK_HOME/bin #退出保存，再使配置生效 source /etc/pr..
伪分布式安装部署
云雨寒冰
04-26 507
根据Linux安装结果做一个做一个分布式集群资源管理安装Hadoop 、YARN。第一步：上传文件hadoop-2.7.3.tar.gz到linux 中Linux系统自带上传下载软件        $ sudo yum install -y lrzsz        其中            rz:  上传文件            sz:  表示下载第二步：解压文件夹a、给压缩包赋予可执行条件...
虚拟机上进行Hadoop伪分布式部署并进行大数据处理_基于virtualbox虚拟机部署伪分布式hadoop环境
2401_84165919的博客
04-08 956
We can see that VMnet8’s ip address is192.168.200.1，当然不同的电脑在不同的地区不一样，看自己的电脑就行。(Press y|Y for Yes, any other key for No) 填n。网关：同一网段（子网）间终端可直接通信，不在同一网段（子网）的终端不能直接通信，需要通过网关才能通信。点击下载后，下拉页面并下载社区版的idea，这是一个tar.gz，按照前面的解压缩命令可以执行安装。
Flink入门之Standalone模式集群伪分布式搭建
吟啸徐行
03-22 4609
  1：首先配置Java相关环境以及Flink下载，解压就不说了。 2：接下来看看Flink的conf的配置文件：                                                   这里面需要我们配置的有：slaves和flink-conf.yaml文件，这里面masters文件是用来配置HA的，只要我们不配置HA的话，就不需要配置masters文件（fl...
spark-在windows中连接虚拟机中cdh集群的hdfs和hive
03-16
要在Windows中连接虚拟机中的CDH集群的HDFS和Hive，需要按照以下步骤操作： 1. 确保虚拟机和Windows主机在同一网络中，可以互相访问。 2. 在虚拟机中启动HDFS和Hive服务，并确保它们正常运行。 3. 在Windows主机上安装Hadoop客户端，可以从Apache官网下载。 4. 配置Hadoop客户端，包括core-site.xml、hdfs-site.xml和hive-site.xml等配置文件，确保它们与虚拟机中的配置一致。 5. 在Windows主机上启动Hadoop客户端，并使用hdfs命令和hive命令连接到虚拟机中的HDFS和Hive服务。 6. 在Hadoop客户端中可以执行各种HDFS和Hive操作，如上传文件到HDFS、创建Hive表等。 希望以上步骤能够帮助您成功连接虚拟机中的CDH集群的HDFS和Hive。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 78
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值