本科-企业实训
文章平均质量分 55
就想做一条闲鱼
这个作者很懒,什么都没留下…
展开
-
滴滴项目(下篇)Superset数据可视化
继续完善之前的项目——Sqoop数据导出+Superset数据可视化 进度 之前已经安装完sqoop、创建完表,搭建好数据仓库。 在分析完核心指标之后,我们需要将指标数据导出到mysql数据库中,便于后续的应用,比如结果指标的可视化。 Apache Sqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具。来自于Apache软件基金会提供。 Hadoop生态系统包括:HDFS、Hive、Hbase等 RDBMS体系包括:Mysql、Oracle、DB2等 Sqoop可以理解为:“SQL 到原创 2021-10-13 10:52:46 · 461 阅读 · 0 评论 -
滴滴出行实战(中篇)
企业实训课第九节 此节内容主要是自己完成滴滴出行项目。 打开集群,先构建数据仓库(数仓分层) 一、构建数据仓库——创建表 我们创建表,首先需要明确需求。需要哪几张表,各层之间的关系如何?这些问题需要在构建数仓考虑清楚。 --1:创建数据库 -- 1.1 创建ods库 create database if not exists ods_didi; -- 1.2 创建dw库 create database if not exists dw_didi; -- 1.3 创原创 2021-10-09 10:05:45 · 964 阅读 · 0 评论 -
实战_滴滴出行_理论(上篇)|配置Sqoop|安装Superset
企业实训课第八节 继续补上节的知识点 hive视图 [定义] HIVE中的视图(view)是一种虚拟表,指保存定义,不实际存储数据。 通常从真实 物理表查询中创建生成视图,也可以从已经存在的视图上创建新视图。 创建视图时,将冻结视图的架构,如果删除或更改基础表,则视图将失败。 视图是用来简化操作的,不缓冲记录,也没有提高查询性能。 语法 --hive中有一张真实的基础表t_usa_covid19 select * from t_usa_covid19; --1、创建视图 create view原创 2021-10-08 17:46:07 · 581 阅读 · 0 评论 -
zeppelin 行转列、开窗函数、动态分区表
企业实训课第七节 一键启动所有命令(脚本) cd /export/ #进入到此文件夹下 ll mkdir onekey # 创建一个文件夹 cd onekey/ vim onekey-start.sh # 进入到编辑模式,编辑内容 ### context # 启动HDFS集群 echo "启动Hadoop集群..." /export/server/hadoop-3.1.4/sbin/start-all.sh # 启动Hive MetaStore 服务器 echo "启动Hive MetaSto原创 2021-10-05 15:47:34 · 254 阅读 · 1 评论 -
安装配置zeppelin
企业实训(1)续篇 企业视频第六节后半节 在上一节已经解压包了。 先进入到/export/server/apache-hive-3.1.2-bin/bin里,启动beeline,连接jdbc; 连接jdbc !connect jdbc:hive2://node1:10000 show databases; // 数据库是存在的 安装配置zeppelin 把zeppelin压缩包上传到node1里的:/export/software/路径下 zeppelin简单介绍 介绍 Apache Z原创 2021-09-30 10:03:21 · 172 阅读 · 0 评论 -
2021-09-29
企业实训笔记(一)安装配置Zeppelin 首先启动三台虚拟机,打开后,打开MobaXterm,; 先后打开: 开启集群 /export/server/hadoop-3.1.4/sbin/start-all.sh 启动 metastore 服务器 nohup /export/server/hive-3.1.2/bin/hive --service metastore > ./metastore.log 2>&1 & nohup /export/server/hive-3.1原创 2021-09-29 19:31:31 · 137 阅读 · 0 评论