离线数仓2.0—分布式虚拟机

rubyw

已于 2023-05-18 14:30:11 修改

阅读量122

点赞数

分类专栏：大数据文章标签：服务器数据库大数据 linux

于 2023-05-18 10:09:34 首次发布

本文链接：https://blog.csdn.net/rubyw/article/details/125371658

版权

大数据专栏收录该内容

4 篇文章 0 订阅

订阅专栏

虚拟机：VMware WorkStation Pro15

数量：3台，hadoop102、hadoop103、hadoop104

部署好的镜像：

导入镜像前的设置：

视频链接地址：

尚硅谷大数据项目数据仓库,电商数仓V2.0新版

虚拟机描述（账号密码）

数仓2.0
系统：CentOS 6.9
主机名：hadoop102/hadoop103/hadoop104
IP：192.168.88.102/192.168.88.103/192.168.88.104
Linux：root:123456 atguigu:123456
Mysql：root:000000 
Azkaban：atguigu:123456

注：只部署到Azkaban

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

rubyw

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
1
评论
离线数仓2.0—分布式虚拟机

数量：3台，hadoop102、hadoop103、hadoop104。虚拟机：VMware WorkStation Pro15。：只部署到Azkaban。
复制链接

扫一扫

专栏目录

离线数仓-伪分布虚拟机 (所有组件部署完成，全流程运行成功）（数仓4.0-2.0，CDH）

《@书山有径%》的博客

11-28

1万+

尚硅谷数仓虚拟机镜像博主通过学习尚硅谷数仓项目，将部署好的数仓虚拟机打包成ovf文件，由于博主电脑内存较小，博主使用了伪分布式集群搭建，全流程运行成功。分享虚拟机镜像文件给予大家学习。搭建数仓只需一台虚拟机，且最低配置（内存：3G,磁盘：20G，CUP：1，Linux最小化安装）导入镜像的前提设置记得跟博主设置一样的IP不然可能会出现集群无法使用修改虚拟机IP 根据下图参考修改镜像ovf文件的导入 VMware导入ova/ovf虚拟机文件镜像ovf下载（将下载的所有文件，放在同一个文件夹下）

离线数仓-07-基于Zabbix进行集群监控

迷雾总会解

06-01

392

主要介绍了Zabbix，以及基于Zabbix进行集群监控。

1 条评论您还未登录，请先登录后发表或查看评论

大数据常用开源框架

lucasmaluping的专栏

01-25

979

转自：数据社主要基于对现阶段一些常用的大数据开源框架技术的整理，只是一些简单的介绍，并不是详细技术梳理。可能会有疏漏，发现再整理。参考的太多，就不一一列出来了。这只是作为一个梳理，对以后选型或者扩展的做个参考。目录系统平台（Hadoop、CDH、HDP）监控管理（CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）文件系统（HDFS、GPFS、Ceph、GlusterFS、Swift 、BeeGFS、Alluxio）资源调度（YARN、Mesos

大数据开发要学Java框架吗？

weixin_51689029的博客

12-08

2723

大数据开发要学Java框架吗？学习大数据要去学习Java而且还要精通，不仅要掌握Java基础知识还要掌握一些核心的Java架构。从java基础开始,学习大数据开发过程中必备的离线数据分析、实时数据分析和内存数据计算等，掌握大数据体系中几乎所有的核心技术。Java具有非常多的优秀特性，同时拥有庞大的类库生态和大量的开发者，在大数据生态体系中，大数据生态组件很多都是用Java语言或基于JVM的语言（如Scala）开发的。

简易版离线数仓伪分布式搭建（个人使用）

09-20

简易版离线数仓伪分布式搭建（个人使用）本文档旨在指导个人用户搭建一个简易版的离线数仓伪分布式系统，使用 Hadoop 作为核心组件。整个过程可以划分为两个主要步骤：环境搭建和 Hadoop 配置。一、环境搭建 ...

离线数仓安装包.rar

01-06

离线数仓是大数据处理领域中的重要组成部分，它主要用于存储和分析大规模的非实时数据。本压缩包"离线数仓安装包.rar"包含了构建离线数据仓库所需的几个关键组件，包括JDK（Java Development Kit）、Hadoop和Hive。...

Hive on Spark 离线数仓生成的原始数据

02-12

在这个特定的场景中，"Hive on Spark 离线数仓生成的原始数据"指的是2024年1月11日至13日期间，通过Hive on Spark平台对业务数据进行处理后生成的结果。这些数据包含了1月7日至10日的历史业务活动记录，这意味着它们...

基于Sqoop+Hive+Spark+MySQL+AirFlow+Grafana的工业大数据离线数仓项目

03-04

在大数据处理领域，构建一个基于Sqoop、Hive、Spark、MySQL、AirFlow和Grafana的工业大数据离线数仓项目是一项复杂而关键的任务。这个项目旨在整合来自不同源头的数据，进行清洗、转化和分析，以支持制造行业的决策...

OAuth2.0分布式系统环境搭建.docx

06-26

在分布式系统环境中搭建 OAuth2.0，通常涉及以下几个步骤： 1. **数据库准备**： - `oauth_client_details` 表存储客户端的配置信息，如客户端ID、客户端密钥、授权范围等。 - `oauth_code` 表用于存储授权码模式...

Linux：基础命令学习

qq_55038440的博客

07-20

1236

实例：-F根据文件类型在列出的文件名称后加一符号。实例： -R 递归显示目录中的所有文件和子目录。. 开头的隐藏文件也会列出。可执行文件则加 "*"，用于显示目录文件信息。

【等保测评】服务器——Windows server 2012 R2

LongL_GuYu的博客

07-22

1440

等保测评：服务器——Windows server 2012 R2

某企业网络及服务器规划与设计

cj13106811623的博客

07-22

1079

在此次系统设计中，我们采用分层设计方法，将网络的逻辑结构化整为零，分层讨论设计与实现的细节问题。将网络拓扑结构划分为3个层次，即核心层、汇聚层和接入层。

Linux 下部署 syncthing 中继服务器

qq_61940759的博客

07-21

1511

来自🥬🐶程序员Truraly | 田园（欢迎关注）

博客建站4 - ssh远程连接服务器

阳光日志

07-22

358

SSH（Secure Shell）是一种加密的网络协议，用于在不安全的网络中安全地远程登录到其他计算机系统。它提供了对远程服务器的安全访问，并支持加密数据传输。SSH协议通过使用公钥加密技术来确保通信的安全性，防止中间人攻击和数据泄露。

服务器上使用Docker部署sonarQube，并集成到Jenkins实现自动化。

qq_52983535的博客

07-22

517

目标是要在目标服务器上使用docker工具部署好sonar环境，然后再集成到Jenkins中实现自动化的代码审查工作。

yum install和localinstall、rpm -i的区别是什么

太极淘的博客

07-22

235

yum localinstall <package_name_locate>用于安装本地的rpm包，并且会自动联网从远程仓库查找相关的依赖包，以完成安装，同时也可以指定一个远程包的url地址，执行安装。使用 yum localinstall 安装本地包并自动联网查找安装相关依赖，其实也有个限制，就是已有的yum仓库能找到依赖包，如果没有，也无法完成安装。install 和 localinstall 后面都可以指定一个url地址的软件包，yum会安装该地址指定的软件。也都可以指定一个远程url的rpm包；

nfs服务器+配置autofs自动挂载

nianwan2157的博客

07-23

909

这个服务是在客户端的上面，它会持续的检测某个指定的目录，并预先设置当使用到该目录的某。脱机都可能造成另外一方等待超时。文件系统的使用过程中，如果客户端要使用服务端所提供的文件系统，可以在。服务器与客户端的连接不会一直存在，当我们挂载了。文件中写入的命令，在每次启动系统用户。文件系统的需求时才让系统自动挂载。文件系统资源，并进行自动挂载的操作。个子目录时，将会取得来自服务器端的。本地端目录具体挂载配置文件。本地端子目录挂载参数 服务器。中设置开机时自动挂载（服务器之后，任何一方。文件系统使用完毕后，让。

JAVA代码审计JAVA0基础学习(需要WEB基础知识)DAY2