自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(4)
  • 收藏
  • 关注

原创 Spark Core

1.RDD基本概念1.1什么是RDDRDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点:自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将数据缓存在内存中,后续的查询能够重用这些数据,这极大地提升了查询速度。Dataset:一个数据集合,用于存放数据的。Distributed:RDD中的数据是分布式存储的,可用于分布式计算。

2020-09-30 15:55:05 89

原创 Spark基础及安装环境

Spark基础及安装环境(1) 概念: Spark是一站式大数据分析平台, Spark的计算速度在官网对比逻辑回归模型和Hadoop的对比, 其中spark比hadoop快100倍, Hadoop3.X比spark快10倍(仁者见仁智者见智)(2)为什么学习Spark? --> 对于Hadoop中的MapReduce计算仅仅支持一次计算模型, 但是对于图计算或者机器学习算法都需要迭代计算, 而且MapReduce又涉及多次写磁盘的操作(导致计算速度很慢). 而Spark可以使用关键数据抽象RD

2020-09-29 11:49:19 361

原创 HDFS的基础详解

概念: HDFS是Hadoop Distribute File System 的简称(Hadoop 分布式文件系统), 是hadoop核心组件之一, 作为最底层的分布式存储服务而存在.分布式文件系统解决的问题就是大数据存储问题.设计目标1. 硬件故障是常态: 故障检测和自动快速回复是HDFS的核心架构目标2. HDFS主要是以流式读取数据, 更注重数据访问的高吞吐量.被设计成批量的处理3. HDFS支持大文件4. HDFS对文件的要求是一次写入多次读取HDFS重要特性首先是一..

2020-09-10 12:11:45 409

原创 HBase的基础知识总结

概念: Hbase是建立在Hadoop HDFS之上, 提供高可靠性, 高性能, 列存储, 可伸缩, 实时读写的nosql数据库只支持通过主键 rowkey来检索数据不支持SQL语句的查询, 不支持join等复杂查询, 不支持复杂的事务支持的数据类型byte[]HBase, Hadoop, RDBMS三者之间的对比(1) hbase依赖于Hadoop HDFS, 紧耦合依赖关系, 除此之外, hbase还依赖于zookeeper, 用于存储一些元数据.(2) Hbase不支持事务,..

2020-09-07 16:57:33 381

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除