大数据
文章平均质量分 94
啊啊啊啊
JeremyHeria
life's a struggle
展开
-
2021年大学生大数据技能竞赛上海分区HIVE篇解析
文章目录项目需求step1:创建ods层数据表step2:创建dwd层数据表step3:创建dwm数据处理分析step4:创建dws层step5:创建app层其他参考设置:题目前置准备covid_ods库covid_dwd库covid_dwm库covid_dws库covid_app库项目需求自2019年底,湖北省武汉市监测发现不明原因肺炎病例,中国第一时间报告疫情,迅速采取行动,开展病因学和流行病学调查,阻断疫情蔓延。SARS-CoV-2是一种有着高扩散能力的病毒,通过飞沫、直接接触和被感染的物体传播原创 2022-05-22 22:02:02 · 2792 阅读 · 6 评论 -
hadoop大数据平台的构建
目录hadoop概述什么是hadoop?hadoop特点hadoop组成hadoop概述什么是hadoop?Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统( Distributed File System),其中一个组件是HDFS(Hadoop Distributed File System)。原创 2021-12-19 22:15:14 · 2655 阅读 · 0 评论 -
大数据生态圈简介
大数据平台架构大致可分为五个层级。顶层为应用层,提供数据服务与可视化,解决企业实际问题。第二层是大数据处理核心,包括数据处理、交互式分析以及机器学习与数据挖掘。第三层是资源调度,为了充分利用系统资源,提高全系统的资源利用率以及增强系统扩展性,需要进行统一的资源管理与调度。第四层是数据存储,如何解决海量数据的读写问题,是实现大数据平台的构建的基础。第五层是数据获取,快速、高效获取到海量信息是大数据的前提。原创 2021-12-03 22:14:08 · 7031 阅读 · 0 评论