大数据组件
文章平均质量分 51
localhost_rachel
业精于勤 荒于嬉,形成于思 毁于随。
展开
-
初识Spark
什么是Spark Spark是基于内存计算的大数据并行运行的计算框架,提高了大数据环境下数据处理的实时性 Spark特点 Spark可以部署到Yarn上 Spark可以访问Hadoop中Hdfs文件 Spark是基于Scala语言编写的 SparkSQL SparkSQL是Spark生态中的一员,作用类似与Hive SparkSQL的两个组件 SQLContext:Spark Sql提供SQLContext封装Spark中所有关系性功能 DataFrame:DataFrame是一个分布式原创 2021-03-20 13:41:19 · 152 阅读 · 0 评论 -
初识Hive
HiveSQL是一种类似于SQL语言的工具,作为海量数据分析的SQL查询引擎,因相对简单易上手,被越来越多的人使用与喜爱,比如我们常见的数据分析师、BI报表工程师、数仓工程师等岗位,这些岗位的同事们基本上都是HiveSQL的粉丝(包括我也是)。下面就大概记录一下自己对HiveSQL的认识。 理解Hive 基于Hadoop的数据仓库工具,对MapReduce的一个封装,底层就是MapReduce程序,HiveSql替代了复杂的MapReduce程序 将Hdfs中的结构化数据映射为一张虚表,并提供sql.原创 2021-03-20 13:21:51 · 130 阅读 · 0 评论 -
理解Hadoop
前言 Hadoop这个生态圈,被越来越多的人熟悉与使用。离线数仓的建设更离不开Hadoop生态圈相关组件的支持,因此打算从三个方面简单梳理Hadoop,这三个方面分别是Hadoop是什么?Hadoop能干什么?Hadoop如何用? Hadoop是什么 Hadoop是一个存储与分析海量数据的工具 Hadoop核心部件 Hdfs:分布式文件存储系统,负责分布式文件的存储与读取。hdfs中包含两个部分namenode与datanode,namenode负责存放元数据信息,datanode负责存放实际..原创 2021-03-20 12:06:29 · 171 阅读 · 0 评论