大数据理论
文章平均质量分 86
分享大数据理论知识。
水坚石青
CSDN社区博客专家,阿里云社区专家博主,华为云战略合作伙伴,创业者。
擅长数据仓库开发,小系统二次开发,数据分析,熟悉大数据基础知识等。
技术栈:Java+Python+Hadoop+Hive+Oracle+MySQL
展开
-
大数据入门-什么是Kudu
Kudu是Cloudera开源的新型列式存储系统,是Apache Hadoop生态圈的成员之一,专门为了对快速变化的数据进行快速的分析,填补了以往Hadoop存储层的空缺。原创 2022-04-17 13:53:43 · 7002 阅读 · 4 评论 -
大数据入门-五分钟读懂Hive
最近在收集整理大数据入门文章,各位盆友关注点赞不迷路,每天都要开心鸭!大数据入门系列文章1.大数据入门-大数据是什么2.大数据入门-大数据技术概述(一)3.大数据入门-大数据技术概述(二)4.大数据入门-三分钟读懂Hadoop一、概念Hive是基于Hadoop的一个数据仓库工具,用来进行数据抽取,转化,加载,这是一种可以存储,查询和分析存储在Hadoop中的大规模数据的机制。Hive数据仓库工具能将结构化的数据文件映射成一张表,并提供SQL查询功能,能将SQL语句转化成.原创 2021-10-07 10:45:06 · 1773 阅读 · 4 评论 -
大数据入门-五分钟读懂HDFS
目录大数据入门系列文章一、概念二、架构及组件概念三、读写流程四、大白话五、其他大数据入门系列文章最近在收集整理大数据入门文章,各位盆友关注点赞不迷路,每天都要开心鸭!大数据入门系列文章1.大数据入门-大数据是什么2.大数据入门-大数据技术概述(一)3.大数据入门-大数据技术概述(二)4.大数据入门-三分钟读懂Hadoop一、概念HDFS英文全称为:Hadoop Distributed File System,是指被设计成适合运行在通用硬原创 2021-08-09 07:42:46 · 2371 阅读 · 8 评论 -
大数据入门-三分钟读懂Hadoop
最近在收集整理大数据入门文章,各位盆友关注点赞不迷路,每天都要开心鸭!大数据入门系列文章1.大数据入门-大数据是什么1.大数据入门-大数据是什么2.大数据入门-大数据技术概述(一)2.大数据入门-大数据技术概述(一)3.大数据入门-大数据技术概述(二)3.一、背景及概念背景:经过自己三年多的接触,个人谈一些自己的愚见。我们之所以用Hadoop,是因为关系型数据库已经不能满足我们对数据处理的要求。比如我们要进行数据的追溯以及关联,简单的关系型数据库经过优化以及处理没原创 2021-08-07 04:17:16 · 1744 阅读 · 7 评论 -
大数据入门-大数据技术概述(二)
大数据入门系列文章你知道什么是大数据吗,请走传送门。1.大数据入门-大数据是什么1.大数据入门-大数据是什么2.大数据入门-大数据技术概述(一)2.大数据入门-大数据技术概述(一)一、简介本次介绍的是调度资源组件,...原创 2021-08-04 07:18:22 · 1748 阅读 · 5 评论 -
大数据入门-大数据技术概述(一)
一、简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台,为用户提供了系统底层细节透明的分布式基础架构。Hadoop是基于Java语言开发的,具有很好的跨平台特性,并且可以部署在廉价的计算机集群中Hadoop的核心是分布式文件系统HDFS(Hadoop Distributed File System)和MapReduceHadoop被公认为行业大数据标准开源软件,在分布式环境下提供了海量数据的处理能力几乎所有主流厂商都围绕Hadoop提供开发工具、开源软件、商业化工具原创 2021-08-01 11:09:54 · 12719 阅读 · 13 评论 -
大数据入门-大数据是什么
一、概念百度百科这样写道大数据(big data),IT行业术语,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。其实大数据可以理解为大的数据。什么叫大的数据,首先数据量大,种类多,增长快,价值密度低,需要分析处理得出有价值的数据。我们技术人员一般讲大数据是指大数据技术,例如Hadoop等技术。二、特点1.数据量大Volume:表示大数据的数据体量巨大。数据集合原创 2021-07-26 23:27:05 · 10663 阅读 · 2 评论