大数据基础实操系列
文章平均质量分 95
大数据技术实操
爱学大树锯
深耕大数据技术与开发,熟悉Java、scala、python
展开
-
大数据技术之高频面试题-专业技术基础
大数据技术之高频面试题版本:V6.0目录第1章 面试说明 91.1 面试的本质 91.2 面试过程最关键的是什么? 91.3 面试时该怎么说? 91.4 面试技巧 91.4.1 六个常见问题 91.4.2 两个注意事项 101.4.3 自我介绍(控制在4分半以内,不超过5分钟) 10第2章 手写代码 112.1 快排 112.2 归并 122.3 手写Spark-WordCount 142.4 冒泡排序 142.5 二分查找 152.6 二叉树之Scala实现 172.原创 2021-02-27 02:41:41 · 2575 阅读 · 0 评论 -
一节课轻松通关 Spark
大数据跟我学系列文章007-三节课轻松通关 Spark (一)文章目录大数据跟我学系列文章007-三节课轻松通关 Spark (一)前言第01讲: MapReduce:计算框架和编程模型第02讲:Hadoop:集群的操作系统第03讲:如何设计与实现统一资源管理与调度系统第04讲:解析 Spark 数据处理与分析场景第05讲:如何选择 Spark 编程语言以及部署 Spark0 + 1 + 2 + 3 + 4关闭第06讲:Spark 抽象、架构与运行环境第07讲:Spark 核心数据结构:弹性分布式数据集转载 2021-02-27 02:31:43 · 2610 阅读 · 0 评论 -
《一篇读懂——BloomFilter布隆过滤器》
《一篇吃透——BloomFilter》 关键词:BloomFilter Redis Guava BigData 提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录《一篇吃透——BloomFilter》前言一、背景知识布隆过滤器介绍产生的契机二、Bloom Filter 原理1.设计思想2.优缺点(1)占用空间少,能够保密数据(2)时间效率也较高,插入和查询的时间复杂度均为O(k)(3)存在假阳性的概率,不适用于任何要求100%准确率的情境3原创 2021-02-21 12:42:48 · 1466 阅读 · 0 评论 -
《大数据跟我学系列文章-轻松通关 Flink ——06.Flink 进阶篇》
大数据跟我学系列文章006-轻松通关 Flink——06.Flink 进阶篇模块二:进阶篇第07讲:Flink 常见核心概念分析第08讲:Flink 窗口、时间和水印第09讲:Flink 状态与容错第10讲:Flink Side OutPut 分流第11讲:Flink CEP 复杂事件处理第12讲:Flink 常用的 Source 和 Connector模块三:生产实践篇第13讲:如何实现生产环境中的 Flink 高可用配置第14讲:Flink Exactly-once 实现原理解转载 2021-02-20 19:02:53 · 969 阅读 · 0 评论 -
《大数据跟我学flink系列文章000-Flink问题集锦》
大数据跟我学flink系列文章000-Flink问题集锦——03.Flink 常用的 DataSet 和 DataStream API介绍 Flink 的 DataSet 和 DataStream 的 API,并模拟了实时计算的场景,详细讲解了 DataStream 常用的 API 的使用文章目录大数据跟我学flink系列文章000-Flink问题集锦——03.Flink 常用的 DataSet 和 DataStream API前言一、Flink实操问题?1.yarn1)flink yarn-se原创 2021-02-20 14:28:27 · 746 阅读 · 0 评论 -
《大数据跟我学系列文章004-轻松通关 Flink ——04.Flink SQL & Table编程和案例》
大数据跟我学系列文章003-轻松通关 Flink——04.Flink SQL & Table编程和案例分别从 Flink Table & SQL 的背景和编程模型、常见的 API、算子和内置函数等对 Flink Table & SQL 做一个详细的讲解和概括,最后模拟了一个实际业务场景使用 Flink Table & SQL 开发文章目录大数据跟我学系列文章003-轻松通关 Flink——04.Flink SQL & Table编程和案例前言一、Flink原创 2021-02-19 17:11:34 · 526 阅读 · 0 评论 -
《大数据跟我学系列文章-轻松通关 Flink ——03.Flink 常用的 DataSet 和 DataStream API》
大数据跟我学系列文章-轻松通关 Flink——03.Flink 常用的 DataSet 和 DataStream API介绍 Flink 的 DataSet 和 DataStream 的 API,并模拟了实时计算的场景,详细讲解了 DataStream 常用的 API 的使用文章目录大数据跟我学系列文章-轻松通关 Flink——03.Flink 常用的 DataSet 和 DataStream API前言一、流批一体?1.DateSet 和 DataStream 的区别和联系2.DataStrea转载 2021-02-14 20:24:32 · 764 阅读 · 0 评论 -
《大数据跟我学系列文章002-轻松通关 Flink-02-Flink 编程模型与spark、storm的比较》
大数据跟我学系列文章-轻松通关 Flink——02.Flink 的编程模型与其他框架(spark、storm)比较主要介绍 Flink 的编程模型与其他框架比较。包括 Flink 程序的基础处理语义和基本构成模块,并且和 Spark、Storm 进行比较,Flink 作为最新的分布式大数据处理引擎具有哪些独特的优势几种框架对比如下:文章目录大数据跟我学系列文章-轻松通关 Flink——02.Flink 的编程模型与其他框架(spark、storm)比较前言一、Flink 的核心语义和架构模型1转载 2021-02-14 18:04:00 · 424 阅读 · 0 评论 -
《大数据跟我学系列文章001-轻松通关 Flink-01-Flink 入门程序 WordCount 和 SQL 实现》
大数据跟我学系列文章-轻松通关 Flink——-01.Flink 入门程序 WordCount 和 SQL 实现分别从DataSet(批处理)和 DataStream(流处理)两种方式如何进行单词计数开发;最后介绍 Flink Table 和 SQL 的使用本文为拉勾课程《 42讲轻松通关 Flink》笔记,本着“只有亲身实践过并整理成体系才属于自己真正掌握的知识” 的理念写出本篇文章,后续每天更新,持续关注,欢迎留言讨论~文章目录大数据跟我学系列文章-轻松通关 Flink——-01.Flink转载 2021-02-14 13:59:31 · 399 阅读 · 0 评论