大数据
文章平均质量分 94
Duktig丶
这个作者很懒,什么都没留下…
展开
-
大数据基础之HBase —— HBase概述
HBase概述HBase的存储结构HBase的shell操作HBase的读写流程HBase APIHBase的集成原创 2021-11-13 17:32:21 · 3704 阅读 · 1 评论 -
大数据基础之Hive(五)——Hive实战(统计电影排名的各种问题)
Hive实现电影排名、热度等数据分析和统计原创 2021-11-02 11:30:08 · 3566 阅读 · 0 评论 -
大数据基础之Hive(四)—— 常用函数和压缩存储
Hive的常用函数的使用,以及自定义函数的实现,重点解读窗口函数的应用。Hive的压缩存储原创 2021-11-02 11:28:23 · 1265 阅读 · 0 评论 -
大数据基础之Hive(三)—— 分区表和分桶表
作者:duktig博客:https://duktig.cn (文章首发)优秀还努力。愿你付出甘之如饴,所得归于欢喜。更多文章参看github知识库:https://github.com/duktig666/knowledge背景学习完Hadoop,有没有感到编写一个MapReduce程序非常复杂,想要进行一次分析和统计需要很大的开发成本。那么不如就来了解了解Hadoop生态圈的另一名成员——Hive。让我们一起来了解,如何使用类SQL语言进行快速查询和分析数据吧。前边文章我们了解了Hive.原创 2021-11-02 11:24:52 · 1242 阅读 · 0 评论 -
大数据基础之Hive(二)—— DDL语句和DML语句
Hive的DDL语句,如何建库建表,如何进行增删改查的实现?原创 2021-11-02 11:23:03 · 1843 阅读 · 0 评论 -
大数据基础之Hive(一)—— Hive概述
什么是 Hive ?Hive 的优缺点Hive 的使用场景Hive的架构Hive 和数据库比较win10安装Hive3.x原创 2021-11-02 11:20:10 · 2364 阅读 · 1 评论 -
大数据基础之Hadoop(四)——Yarn
Yarn 资源调度器概述Yarn工作机制Yarn调度算法Yarn常用命令原创 2021-10-28 16:54:29 · 483 阅读 · 0 评论 -
大数据基础之Hadoop(三)—— MapReduce
MapReduce 概述 MapReduce序列化MapReduce 框架原理MapReduce实战原创 2021-10-28 16:52:21 · 1086 阅读 · 0 评论 -
大数据基础之Hadoop(一)—— Hadoop概述
Hadoop概述HDFS、MapReduce、Yarn概述Hadoop在win10下的安装原创 2021-10-28 16:01:59 · 2595 阅读 · 0 评论 -
大数据基础之Hadoop(二)—— HDFS
Hadoop的HDFS概述HDFS的shell操作HDFS的APIHDFS的读写流程原创 2021-10-28 16:40:00 · 562 阅读 · 0 评论 -
初识大数据
大数据概念大数据(Big Data):指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。按顺序给出数据存储单位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。大数据主要解决,海量数据的采集、存储和分析计算问题。大数据特点1、Volume(大量)截至目前,人类生产的所有印刷材料的数据量是200PB,而历史上全人类总共说过的话的数据量大约是5E原创 2021-10-24 22:24:46 · 179 阅读 · 0 评论