- 博客(9)
- 收藏
- 关注
RSS订阅原创 Flink 基础原理与优化思路
什么是Flink？ Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。 Flink 提供了诸多高抽象层的 API 以便用户编写分布式任务： DataSet API， 对静态数据进行批处理操作， 将静态数据抽象成分布式的数据集，用户可以方便地使用 Flink 提供的各种操作符对分布式数据集进行处理， 支持 Java、Scala 和 Python。 DataStream API，对数据流进行流处理操作，将流式的数据抽
2022-04-12 10:26:05
2256
原创 spark基础理论及优化思路(三)
DStream以及基本⼯作原理？ DStream是spark streaming提供的⼀种⾼级抽象，代表了⼀个持续不断的数据流。DStream可以通过输⼊数据源来创建，⽐如 Kafka、flume等，也可以通过其他DStream的⾼阶函数来创建，⽐如map、reduce、join和window等。 DStream内部其实不断产⽣RDD，每个RDD包含了⼀个时间段的数据。 Spark streaming⼀定是有⼀个输⼊的DStream接收数据，按照时间划分成⼀个⼀个的batch，并转化为⼀个RDD，RDD的
2022-04-07 18:45:20
1201
原创 Hbase基础优化
文章目录HBase的操作数据的步骤?HDFS和HBase各⾃使⽤场景RowKey的设计原则？hbase、hregion、max.filesize应该设置多少合适?HBase存储单元Cell?HBase的客户端Client？介绍HBase⼆级索引？哪些HBase优化⽅法?HRegionServer宕机如何处理？HBase简单读写流程？HBase和Hive的对⽐HBase与传统关系型数据库(如MySQL)的区别？请描述如何解决Hbase中region太⼩和region太⼤带来的冲突？解释下 hbase 实时查询
2022-04-07 10:59:02
2133
原创 spark基础理论及优化思路（二）
文章目录Spark工作流程Spark三种提交模式Spark on yarn 的调度RDD 阶段划分RDD任务划分RDD任务切分中间为：Application、Job、Stage、TaskRDD持久化RDD Cache 缓存RDD CheckPoint检查点缓存与检查点区别什么是RDDreduceBykey与groupByKey的区别从shuffle的角度功能角度RDD的五大特点如何使用Spark实现TopN的获取？Spark shuffer原理Spark内存溢出问题内存溢出的场景：解决方案：SparkStr
2022-03-28 15:01:46
2946
原创 Hive面试基础
文章目录hadoop中两个⼤表实现join的操作Hive中存放是什么？Hive与关系型数据库的关系？Hive中的排序关键字有哪些？⼤表和⼩表join数据清洗怎么做的？怎么⽤spark做数据清洗?hive优化有哪些？分析下hive数据倾斜问题，有什么解决⽅案？数据中的null,在hive底层如何存储？Hive内外部表的区别?hive 是如何实现分区的？请谈⼀下hive的特点是什么？hive和RDBMS有什么异同？ hadoop中两个⼤表实现join的操作 Hive中可以通过分区来减少数据量； 通过优化HQL
2022-03-24 18:14:52
1981
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人