大数据离线分析之企业实战分享

最新推荐文章于 2024-01-29 08:56:56 发布
最新推荐文章于 2024-01-29 08:56:56 发布
阅读量280 收藏
点赞数
文章标签： 大数据 hadoop 数据库 数据仓库 云计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51689029/article/details/127306710
版权

本次课程将结合大数据行业技术栈现状，为大家讲解企业中常用的离线分析。从如何使用大数据管理平台Cloudera Manager，到主流常用的分析模型，由浅入深逐步介绍，零基础小白也能听懂，对大数据感兴趣的小伙伴不要错过。

【主讲内容】
1.快速上手大数据管理平台CM
2.详解主流离线分析引擎Presto
3.大数据离线分析常用分析模型

Part1：大数据管理平台 Cloudera Manager

大数据生态圈

在这里插入图片描述
Cloudera Manager
在这里插入图片描述
在这里插入图片描述
Cloudera Manager(简称CM)是Cloudera公司开发的一款大数据集群安装部署利器.
这款利器具有集群自动化安装、中心化管理、集群监控、报警等功能，使得安装集群从几天的时间缩短在几小时以内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。

cloudera manager有四大功能：
（1）管理：对集群进行管理，如添加、删除节点等操作。
（2）监控：监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控。
（3）诊断：对集群出现的问题进行诊断，对出现的问题给出建议解决方案。
（4）集成：对hadoop的多组件进行整合

在这里插入图片描述

Part2：大数据分析引擎Presto

Presto在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Part3：大数据离线分析模型

在这里插入图片描述
在这里插入图片描述
https://tech.meituan.com/2017/05/26/hotel-dw-layer-topic.html

https://mp.weixin.qq.com/s/CfxNcMJIl6irunrTNTs25g

在这里插入图片描述

第一阶段 大数据开发入门

学前导读：从传统关系型数据库入手，掌握数据迁移工具、BI数据可视化工具、SQL，对后续学习打下坚实基础。

1.大数据数据开发基础MySQL8.0从入门到精通

MySQL是整个IT基础课程，SQL贯穿整个IT人生，俗话说，SQL写的好，工作随便找。本课程从零到高阶全面讲解MySQL8.0，学习本课程之后可以具备基本开发所需的SQL水平。

2022最新MySQL知识精讲+mysql实战案例_零基础mysql数据库入门到高级全套教程

第二阶段 大数据核心基础

学前导读：学习Linux、Hadoop、Hive，掌握大数据基础技术。

2022版大数据Hadoop入门教程
Hadoop离线是大数据生态圈的核心与基石，是整个大数据开发的入门，是为后期的Spark、Flink打下坚实基础的课程。掌握课程三部分内容：Linux、Hadoop、Hive，就可以独立的基于数据仓库实现离线数据分析的可视化报表开发。

2022最新大数据Hadoop入门视频教程，最适合零基础自学的大数据Hadoop教程

第三阶段 千亿级数仓技术

学前导读：本阶段课程以真实项目为驱动，学习离线数仓技术。

数据离线数据仓库，企业级在线教育项目实战（Hive数仓项目完整流程）
本课程会、建立集团数据仓库，统一集团数据中心，把分散的业务数据集中存储和处理 ；目从需求调研、设计、版本控制、研发、测试到落地上线，涵盖了项目的完整工序 ；掘分析海量用户行为数据，定制多维数据集合，形成数据集市，供各个场景主题使用。

大数据项目实战教程_大数据企业级离线数据仓库，在线教育项目实战（Hive数仓项目完整流程）

第四阶段 PB内存计算

学前导读：Spark官方已经在自己首页中将Python作为第一语言，在3.2版本的更新中，高亮提示内置捆绑Pandas；课程完全顺应技术社区和招聘岗位需求的趋势，全网首家加入Python on Spark的内容。

1.python入门到精通（19天全）

python基础学习课程，从搭建环境。判断语句，再到基础的数据类型，之后对函数进行学习掌握，熟悉文件操作，初步构建面向对象的编程思想，最后以一个案例带领同学进入python的编程殿堂。

全套Python教程_Python基础入门视频教程，零基础小白自学Python必备教程

2.python编程进阶从零到搭建网站

学完本课程会掌握Python高级语法、多任务编程以及网络编程。

Python高级语法进阶教程_python多任务及网络编程，从零搭建网站全套教程

3.spark3.2从基础到精通

Spark是大数据体系的明星产品，是一款高性能的分布式内存迭代计算框架，可以处理海量规模的数据。本课程基于Python语言学习Spark3.2开发，课程的讲解注重理论联系实际，高效快捷，深入浅出，让初学者也能快速掌握。让有经验的工程师也能有所收获。

Spark全套视频教程，大数据spark3.2从基础到精通，全网首套基于Python语言的spark教程

4.大数据Hive+Spark离线数仓工业项目实战

通过大数据技术架构，解决工业物联网制造行业的数据存储和分析、可视化、个性化推荐问题。一站制造项目主要基于Hive数仓分层来存储各个业务指标数据，基于sparkSQL做数据分析。核心业务涉及运营商、呼叫中心、工单、油站、仓储物料。

全网首次披露大数据Spark离线数仓工业项目实战，Hive+Spark构建企业级大数据平台

我想去吃ya
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hive-简介
03-01
Hive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求而产生和发展的，是建立在Hadoop上的数据仓库基础构架。作为Hadoop的一个数据仓库工具，Hive可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能。Hive主要提供以下功能：1.它提供了一系列的工具，可用来对数据进行提取/转化/加载（ETL）；2.是一种可以存储、查询和分析存储在HDFS（或者HBase）中的大规模数据的机制；3.查询是通过MapReduce来完成的（并不是所有的查询都需要MapReduce来完成，比如select*fromXXX就不需要；Hive设计目的就是用来管理和
Hive 是什么
山鬼谣弋痕夕的博客
01-31 5362
1.Hive 是什么 hive 是一个构建在Hadoop上的数据仓库工具,它可以让结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,剋将SQL语句转换为MapReduce任务进行运行,其优点是学习成本低. hive的目的是让精通SQL技能的分析师能够在Facebook存放在HDFS的大规模数据集上进行查询操作. 目前,Hive已经成为一个通用的、可伸缩的数据处理平台.   2...
【Sql Server】新手一分钟看懂在已有表基础上增加字段和说明
最新发布
小5聊的博客
01-29 5225
在实际项目开发中，在整个开发过程中，随着对业务不断优化和深入，当时设计的表结构， 可能已经无法满足当前需求，需要增加或者移除一些字段，本篇文章将展示如何在已有表基础上增加表字段和备注说明
Hive 到底有什么用？
JavaEdge全是干货的技术号
11-27 888
开发无需经常编写MapReduce程序，因为网站最主要的大数据处理就是SQL分析，因此Hive很重要。随Hive普及，我们对在Hadoop执行SQL的需求越强，对大数据SQL的应用场景也多样化起来，于是又开发各种大数据SQL引擎。Cloudera开发Impala，运行在HDFS上的MPP架构的SQL引擎。
为什么使用Hive？Hive提供了什么？Hive支持哪些用户？
zuoninger的专栏
01-13 1万+
为什么使用Hive？ 为什么使用Hive？那么，在哪里使用Hive呢？在载入了60亿行（经度、维度、时间、数据值、高度）数据集到MySQL后，系统崩溃了，并经历过数据丢失。这可能部分是因为我们最初的策略是将所有的数据都存储到单一的一张表中了。后来，我们调整了策略通过数据集和参数进行分表，这有所帮助但也因此引入了额外的消耗，而这并非是我们愿意接受的。 相反，我们决定尝试使用Apache Hive
大数据离线分析项目(Hadoop).pdf
10-02
大数据离线分析项目(Hadoop) 大数据离线分析项目是基于Hadoop的大数据处理项目，旨在捕获用户每天的行为数据，生成业务日志文件，并对日志文件进行清洗、分析、提取出需要的价值信息，以提供有价值的指标对网站的...
Hive大数据离线应用开发
06-13
本章将为大家解答以下问题：基于Hadoop的Hive工具的基本概念以及配置和启动。Hive的数据类型、表以及数据操作。如何用Hive进行数据查询。Hive的内置函数。如何用Hive实现电商的自动推荐。如何进行Sqoop的应用开发。...
大数据 hive 实战数据
04-07
包含video user数据
离线分析架构全景及开发实战.pptx
08-03
从离线分析架构设计、开发必备技能、开发实战三个标题入手。 讲解大数据分析离线架构如何设计与开发，掌握必备知识技能。
离线和实时大数据开发实战
07-31
大数据开发实战（Hadoop、Hive、Spark等）
为什么使用Hive和Impala
dashujuedu的博客
12-20 3928
Impala 与Hive都是构建在Hadoop之上的数据查询工具，但是各有不同侧重，那么我们为什么要同时使用这两个工具呢？单独使用Hive或者Impala不可以吗？
Hive简介、什么是Hive、为什么使用Hive、Hive的特点、Hive架构图、Hive基本组成、Hive与Hadoop的关系、Hive与传统数据库对比、Hive数据存储（来自学习资料）
涂作权的博客
06-10 1万+
1.1 Hive简介1.1.1 什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。1.1.2 为什么使用HiveØ 直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短 MapReduce实现复杂查询逻辑开发难度太大Ø 为什么要使用Hive 操作接口采用类SQL语法，提供快速开发的能力。 避免
sp_addextendedproperty增加字段描述
hybxiaodao的博客
12-02 340
--创建表 create table 表(a1 varchar(10),a2 char(2)) --为表添加描述信息 EXECUTE sp_addextendedproperty N'MS_Description', '人员信息表', N'user', N'dbo', N'table', N'表', NULL, NULL --为字段a1添加描述信息 E...
SQL SERVER 添加字段说明语句
二月十六的博客
10-06 9118
使用SQL语句添加数据库字段的说明，测试表如下： --测试数据 if not object_id(N'T') is null drop table T Go Create table T([Id] int,[Name] nvarchar(22)) Insert T select 1,N'张三' union all select 2,N'李四' Go --测试数据结束 Selec...
常见SQL语句说明
weixin_34014277的博客
01-22 178
常见 SQL 的语句以及用法如下： 语句 语法 AND / OR SELECT column_name(s) FROM table_name WHERE condition AND ALTER TABLE (add column) ALTER TABLE table_name ADD column_name datatype ALTER TABLE (drop column)...
sql中查询字段说明的语句
风若寒
08-26 736
SELECT 表名 = D.NAME,序号 = A.COLORDER,字段名 = A.NAME,字段备注 = ISNULL(G.[VALUE], ' ') FROM SYSCOLUMNS A INNER JOIN SYSOBJECTS D ON A.ID=D.ID AND D.XTYPE= 'U ' AND D.NAME <> 'DTPR
sql语句怎么写？
qq_43475097的博客
02-27 5837
CREATE DATABASE exam; /创建部门表/ CREATE TABLE dept( deptno INT PRIMARY KEY, dname VARCHAR(50), loc VARCHAR(50) ); /创建雇员表/ CREATE TABLE emp( empno INT PRIMARY KEY, ename VARCHAR(50), job VARCHAR(50), mgr...
hive核心基本概念
热门推荐
freefish_yzx的博客
08-13 1万+
基于 Hadoop 的一个数据仓库工具： hive本身不提供数据存储功能，使用HDFS做数据存储， hive也不分布式计算框架，hive的核心工作就是把sql语句翻译成MR程序 hive也不提供资源调度系统，也是默认由Hadoop当中YARN集群来调度 可以将结构化的数据映射为一张数据库表，并提供 HQL(Hive SQL)查询功能
sqlserver中给表与字段添加描述并导出数据字典
风之&诉
11-15 1万+
表及字段描述信息处理示例： --创建表 create table 表(a1 varchar(10),a2 char(2)) --为表添加描述信息 EXECUTE sp_addextendedproperty N'MS_Description', '人员信息表', N'user', N'dbo', N'table', N'表', NULL, NULL --为字段a1添加描述信息 EXECU
大数据离线分析pdf
09-24
大数据离线分析PDF是指利用大数据技术对PDF文档进行离线分析和处理。...总的来说，大数据离线分析PDF是利用大数据技术对PDF文档进行全面的处理和分析，通过挖掘其中的信息和模式，为企业和机构提供更深入的洞察和价值。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值