本科-企业实训
文章平均质量分 55
就想做一条闲鱼
这个作者很懒,什么都没留下…
展开
-
滴滴项目(下篇)Superset数据可视化
继续完善之前的项目——Sqoop数据导出+Superset数据可视化进度之前已经安装完sqoop、创建完表,搭建好数据仓库。在分析完核心指标之后,我们需要将指标数据导出到mysql数据库中,便于后续的应用,比如结果指标的可视化。Apache Sqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具。来自于Apache软件基金会提供。Hadoop生态系统包括:HDFS、Hive、Hbase等RDBMS体系包括:Mysql、Oracle、DB2等Sqoop可以理解为:“SQL 到原创 2021-10-13 10:52:46 · 505 阅读 · 0 评论 -
滴滴出行实战(中篇)
企业实训课第九节此节内容主要是自己完成滴滴出行项目。打开集群,先构建数据仓库(数仓分层)一、构建数据仓库——创建表我们创建表,首先需要明确需求。需要哪几张表,各层之间的关系如何?这些问题需要在构建数仓考虑清楚。--1:创建数据库 -- 1.1 创建ods库 create database if not exists ods_didi; -- 1.2 创建dw库 create database if not exists dw_didi; -- 1.3 创原创 2021-10-09 10:05:45 · 1023 阅读 · 0 评论 -
实战_滴滴出行_理论(上篇)|配置Sqoop|安装Superset
企业实训课第八节继续补上节的知识点hive视图[定义]HIVE中的视图(view)是一种虚拟表,指保存定义,不实际存储数据。通常从真实 物理表查询中创建生成视图,也可以从已经存在的视图上创建新视图。创建视图时,将冻结视图的架构,如果删除或更改基础表,则视图将失败。视图是用来简化操作的,不缓冲记录,也没有提高查询性能。语法--hive中有一张真实的基础表t_usa_covid19select *from t_usa_covid19;--1、创建视图create view原创 2021-10-08 17:46:07 · 623 阅读 · 0 评论 -
zeppelin 行转列、开窗函数、动态分区表
企业实训课第七节一键启动所有命令(脚本)cd /export/ #进入到此文件夹下llmkdir onekey # 创建一个文件夹cd onekey/vim onekey-start.sh # 进入到编辑模式,编辑内容### context# 启动HDFS集群echo "启动Hadoop集群..."/export/server/hadoop-3.1.4/sbin/start-all.sh# 启动Hive MetaStore 服务器echo "启动Hive MetaSto原创 2021-10-05 15:47:34 · 264 阅读 · 1 评论 -
安装配置zeppelin
企业实训(1)续篇企业视频第六节后半节在上一节已经解压包了。先进入到/export/server/apache-hive-3.1.2-bin/bin里,启动beeline,连接jdbc;连接jdbc !connect jdbc:hive2://node1:10000 show databases; // 数据库是存在的安装配置zeppelin把zeppelin压缩包上传到node1里的:/export/software/路径下zeppelin简单介绍介绍Apache Z原创 2021-09-30 10:03:21 · 185 阅读 · 0 评论 -
2021-09-29
企业实训笔记(一)安装配置Zeppelin首先启动三台虚拟机,打开后,打开MobaXterm,;先后打开:开启集群 /export/server/hadoop-3.1.4/sbin/start-all.sh启动 metastore 服务器nohup /export/server/hive-3.1.2/bin/hive --service metastore > ./metastore.log 2>&1 &nohup /export/server/hive-3.1原创 2021-09-29 19:31:31 · 152 阅读 · 0 评论