尚硅谷离线数仓4.0镜像以及项目执行流程（3个虚拟机）

已于 2022-04-29 17:21:56 修改
阅读量2.7k 收藏 12
点赞数 3
文章标签： hive hadoop spark flume kafka
于 2022-04-29 17:20:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43567029/article/details/124500297
版权

与尚硅谷项目完全一致，用户是atguigu，所有密码设置为root

其中IP是192.168.10.xxx，例如：192.168.10.102

运行前一定要设置好网络

由于时间有限，项目只做到可视化展示部分，运行前看一下文档里面有脚本的全流程

为了方便，只写了Azkaban的启动脚本

数据是生成的日期为2020-06-14的数据，目前2020-06-16的数据已经装载完。

程序员颜柒
关注
  • 3
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 9
    评论
Linux学习 尚硅谷版（自备笔记方便查找）
weixin_44764294的博客
03-12 1036
Linux内核最初只是芬兰人Linux Torvalds在赫尔辛基大学上学时处于个人爱好而编写的。Linux是一套免费使用和自 由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。Linux能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承 了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。
尚硅谷大数据技术之模板虚拟机环境准备1
08-08
尚硅谷大数据技术之模板虚拟机环境准备（作者：尚硅谷大数据研发部）版本：V3.3第1章 VMware1.1 VMware安装一台电脑本身是可以装多个操作系统的，但
大数据（hadoop分布式搭建--尚硅谷）手把手教学
qq_43774324的博客
05-28 3637
二 Hadoop 运行环境搭建 1.创建虚拟机，创建名称为hadoop100 ![在这里插入图片描述](https://img-blog.csdnimg.cn/e89556e0b9b54d9fa3f25dea18873db2.png 2.配置三处网络环境 （1） 点击编辑—>虚拟网络编辑器，进行网络编辑，点击更改配置 将VMnet8网络模式改为NET模式，并且将子网IP地址配置为192.168.10.0，将子网掩码设置为：255.255.255.0 （2） 更改本机的ip地址配置 在设置中选
尚硅谷Linux
只要学不死，就往死里学！！！
03-14 2025
Linux 尚硅谷笔记
Hadoop运行环境搭建
qq_45491549的博客
08-24 338
目录测试环境网络配置VMware的网络配置Windows的网络配置虚拟机网络IP修改地址配置修改主机名和hosts文件Hadoop运行环境搭建模拟虚拟机环境准备克隆虚拟机在hadoop102安装JDK在hadoop102安装HadoopHadoop目录结构 测试环境 Linux系统版本：CentOS 7 x86 Hadoop版本：hadoop-3.1.3 终端模拟软件：SecureCRT Java版本：jdk-8u162-linux-x64 安装模板虚拟机，IP地址192.168.10.100、主机名称.
高并发系列
会算法的架构师
12-06 151
test
离线数仓5.0镜像.txt
03-31
离线数仓5.0是一门数据仓库及数据治理方面的课程，旨在帮助学习者掌握离线数据仓库的建设和管理方法，以及数据治理的基本知识和技能。本课程涵盖了数据仓库的基本概念、架构设计、ETL流程、数据质量管理、数据分析...
大数据项目之在线教育离线数仓（4可视化报表）.pdf
07-12
"大数据项目之在线教育离线数仓（4可视化报表）" 本文档主要讲解了大数据技术之 Superset 的应用，特别是在线教育离线数仓中的使用。Superset 是一个现代的数据探索和可视化平台，功能强大且十分易用，支持多种数据...
离线制作java镜像,项目打包镜像
最新发布
06-16
离线制作java镜像,项目打包镜像
安装k8s 1.28 所需的离线镜像包
03-19
部署k8s1.28集群所需离线镜像包，已经为大家准备好了，大家有需要可以自行下载，下载后部署的方法，在主页k8s专栏的文章中有详细说明，如果大家有疑问可以查看文章，或者私信我，我会尽快回复，谢谢大家 registry....
尚硅谷dubbo视频教程+课程资料（网盘地址，密码）
02-21
尚硅谷，dubbo视频教程，课程资料，是txt文本，内含百度网盘地址和密码，下载从速
2018尚硅谷Docker完整视频
07-30
整理的DOcker技术学习视屏链接，希望分享出来给大家，谢谢
Flink 实时数仓伪分布虚拟机 (所有组件部署完成）
《@书山有径%》的博客
03-30 2490
Flink 实时数仓伪分布虚拟机 (所有组件部署完成）—— 镜像下载 Flink实时数仓架构 虚拟机部署流程参考 离线数仓镜像 导入虚拟机成功后，记得修改虚拟机的内存和CPU 视频地址 Flink实时数据仓库 部署好的虚拟机镜像下载 百度网盘链接 验证码：jbk8 虚拟机描述（账号密码） Flink实时数仓 系统：centos7.5 主机名：flink IP：192.168.88.109 Linux：root：root Mysql：root:000000 maxwell:000000 canal:0000
尚硅谷4.0数仓项目整体设计要点记录
weixin_40503364的博客
04-26 2630
未完待续，排版全部更新完后再整理 项目部署 虚拟机环境配置下载 整体设计 日志划分 业务日志批量更新，用户行为日志事实更新 虚拟机 虚拟机登录 root root sudo systemctl start/status mysqld mysql -uroot -p '000000' gmail bin/sqoop list-databases --connect jdbc:mysql://warehouse:3306/ --username root --password 000000 h
谷粒商城--从入门到入坟（持续更新）第二篇：安装linux虚拟机
热门推荐
qq_44969643的博客
09-12 1万+
一，安装virtualBox 下载、安装virtualBox：https://www.virtualbox.org，傻瓜式操作。最后要开启cpu虚拟化技术。 二，安装linux系统 我们可以到网上下载linux镜像，然后添加到virtualBox中。 这里，我们是下载vagrant，通过这个工具，去下载linux镜像。 1）下载vagrant 下载、安装vagrant:https://app.vagrantup.com/boxes/search Vagrant官方镜像仓库。 下载可能会有点慢。安装选择默认就
Kylin之Cube构建原理
lixinkuan的博客
02-10 1320
目录 一、Cube构建流程 1.1、创建中间表 1.2、将中间表的数据均匀分配到不同的文件 1.3、创建维度字典表 1.4、多维度构建cube（重要） 1.5、Hbase K-V映射 1.6、将cube data转成HFile格式并导入HBase 二、Cube构建算法 2.1、逐层构建算法（layer） 2.2、快速构建算法（inmem） 一、Cube构建流程 1.1、创建...
【尚硅谷】电商数仓V4.0丨大数据数据仓库项目实战【学习记录】第二节
prague6695的博客
04-27 3565
电商数据仓库系统 6. 数仓搭建-DWD层 启动日志表–对应一个启动日志 页面日志表–对应一个页面埋点日志 动作日志表–在一个页面埋点日志会有多个动作 一行数据是一个动作，所以就需要一进多出的操作，UDTF函数 6.1.5 动作日志表装载中定义UDTF函数 动作日志解析思路：动作日志表中每行数据对应用户的一个动作记录，一个动作记录应当包含公共信息、页面信息以及动作信息。先将包含action字段的日志过滤出来，然后通过UDTF函数，将action数组“炸开”（类似于explode函数的效果），然后使用get_
强强联手 | 尚硅谷&腾讯云EMR离线数仓教程发布
zjjcchina的博客
01-05 193
项目基于腾讯云EMR平台打通数据采集通道，从数仓建模到逐层构建离线数仓，拥有完整的数仓建模理论及建模过程，且在构建过程中采用了腾讯云EMR平台组件和原生组件相结合的方式，让企业在组件选择上更加灵活。通过本套教程的学习，你将全方位掌握腾讯云大数据服务组件的使用和调优！腾讯云EMR是由腾讯云打造的线上租赁式大数据解决方案平台，一站式高效部署。使用便携，没有繁琐的配置文件，直接线上修改配置；应用灵活，可以选择腾讯云提供的服务，也可以自行安装搭建服务。本套离线数仓项目由尚硅谷和腾讯云官方联合推出。
数仓4.0（一）
JiaXingNashishua的博客
08-02 571
方式一，在离开该页面时，上传在这个页面产生的所有数据（页面、事件、曝光、错误等）。缺点，不是特别及时。方式二，每个事件、动作、错误等，产生后，立即发送。将生成日志写成脚本，然后放在bin目录下，然后分发给其他集群，这样就可以随时生成日志了。页面数据主要记录一个页面的用户访问情况，包括访问时间、停留时间、页面路径等信息。我们的日志结构大致可分为两类，一是普通页面埋点日志，二是启动日志。曝光数据主要记录页面所曝光的内容，包括曝光对象，曝光类型等信息。，包括设备信息，地理位置，应用信息等，即下边的。...
docker离线安装mysql镜像
08-24
要离线安装MySQL镜像，你可以按照以下步骤进行操作： 1. 首先，你需要下载MySQL离线镜像文件并将其上传到你的服务器上。 2. 使用命令`docker load -i mysql-57.gz`加载镜像文件。这将从离线文件中加载MySQL镜像。 3. 使用命令`docker images`确认镜像已成功加载。 4. 创建一个MySQL容器，并通过文件挂载和端口映射进行配置，具体命令如下： ``` docker run -p 3306:3306 --name mysql \ -v /mydata/mysql/log:/var/log/mysql \ -v /mydata/mysql/data:/var/lib/mysql \ -v /mydata/mysql/conf:/etc/mysql \ -e MYSQL_ROOT_PASSWORD=root \ -d mysql:5.7 ``` 参数说明： - `-p 3306:3306`：将容器的3306端口映射到主机的3306端口 - `-v /mydata/mysql/log:/var/log/mysql`：将日志文件夹挂载到主机 - `-v /mydata/mysql/data:/var/lib/mysql`：将数据文件夹挂载到主机 - `-v /mydata/mysql/conf:/etc/mysql`：将配置文件夹挂载到主机 - `-e MYSQL_ROOT_PASSWORD=root`：设置MySQL根用户的密码为root - `-d mysql:5.7`：后台运行MySQL 5.7镜像 这样，你就成功离线安装了MySQL镜像。如果在启动过程中遇到"(Errcode: 13 - Permission denied)"的错误，你可以在启动命令中加上`--privileged=true`参数来解决。如果你想进入MySQL容器的bash交互界面，可以使用命令`docker exec -it mysqlserver bash`。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [docker离线安装mysql镜像](https://blog.csdn.net/Alinlx/article/details/120776889)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* [docker安装mysql镜像步骤](https://blog.csdn.net/D_J1224/article/details/126219542)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值