迎难而上

参考文章：https://blog.csdn.net/jiangshouzhuang/article/details/104453937在本篇文章中，笔者将给大家带来 Spark SQL 中关于自适应执行引擎（Spark Adaptive Execution）的内容。在之前的文章中，笔者介绍过 Flink SQL，目前 Flink 社区在积极地更新迭代 Flink SQL 功能和优化性能，尤其 Flink 1.10.0 版本的发布，在增强流式 SQL 处理能力的同时也具备了成熟的批处理能力。但.

单例模式是一个老生常谈的问题，这里对单例模式的实现做一下总结分类懒汉模式 饿汉模式1.2.3.

zookeeper 连接地址，zookeeper 的连接方式多种多样，这里展示3种连接方式1.命令行连接2.jar程序连接3.IDE 插件一、zkCli.sh / zookeeper-client 连接方式命令行连接zookeeper-client -server cdh-manager:2181,cdh-node1:2181,cdh-node2:2181连接后的信息[root@cdh-manager /]# zookeeper-client -serve...

报错信息详细报错信息ERROR admin.TopicCommand$: org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor: 1 larger than available brokers: 0.创建 Topic 的命令：kafka-topics --create --zookeeper cdh-manager:2181,cdh-node1:2181,cdh..

题目描述：在未排序的数组中找到第k个最大的元素。请注意，你需要找的是数组排序后的第 k 个最大的元素，而不是第 k 个不同的元素。示例 1输入: [3,2,1,5,6,4] 和 k = 2输出: 5示例 2:输入: [3,2,3,1,2,4,5,5,6] 和 k = 4输出: 4 这道题，转化下思路，第K个最大的元素就是前K个元素中最小的元素。构建一个小根堆，堆的大小为K 1）当堆的大小小于K的时候，依次向其中加入新元素 2）当堆的大小=k 时，...

1.数据结构：堆（Heap）https://www.jianshu.com/p/6b526aa481b12.Java实现最大堆https://www.jianshu.com/p/257820688bf13.java借助PriorityQueue实现小根堆和大根堆https://blog.csdn.net/zcf1784266476/article/details/68961473我们先来了解下堆的基本概念：基本概念堆就是用数组实现的二叉树，所有它...

相关文章：1.栈的特点https://www.php.cn/faq/421530.html 栈是日常常用的数据结构，栈(Stack)是一种线性存储结构，有如下特点： 栈中的数据元素遵守”后进先出”(First In Last Out)的原则，简称FILO结构，限定只能在栈顶进行插入和删除操作。栈的相关概念 ：栈顶与栈底：允许元素插入与删除的一端称为栈顶，另一端称为栈底。压栈：push 栈的插入操作，叫做进栈，也称压栈、入栈。...

我们对基础的数据结构队列都非常的熟悉，这里回顾下队列是一种先进先出（First in First Out）的线性表，简称FIFO。允许插入的一端称为队尾，允许删除的一端称为队头它有两个基本操作：offer在队列尾部加人一个元素poll从队列头部移除一个元素Java 中的队列可以利用实现 Deque 接口的类作为实现类，Deque 的实现类主要分为两种场景：一般场景 LinkedList 大小可变的链表双端队列，允许元素为 nu...

区别1. InnoDB支持事务，MyISAM不支持，对于InnoDB每一条SQL语言都默认封装成事务，自动提交，这样会影响速度，所以最好把多条SQL语言放在begin和commit之间，组成一个事务；2. InnoDB支持外键，而MyISAM不支持。对一个包含外键的InnoDB表转为MYISAM会失败；3. InnoDB是聚集索引，使用B+Tree作为索引结构，数据文件是和（主键）索引绑在一起的（表数据文件本身就是按B+Tree组织的一个索引结构），必须要有主键，通过主键索引效...

参考文章：1.B+树总结https://www.jianshu.com/p/71700a464e972.B-Tree Hash b+Tree三种索引特点对比https://blog.csdn.net/weixin_42540340/article/details/888350233.MySQL索引的原理，B+树、聚集索引和二级索引的结构分析https://www.cnblogs.com/yuanrw/p/10225659.html4.MySQL数据库中索引...

1.mysql关于聚集索引、非聚集索引的总结http://blog.itpub.net/30126024/viewspace-2221485/2.mysql-聚集索引https://www.cnblogs.com/happyflyingpig/p/7652553.htmlB+ 索引MySQL 的 innodb 引擎使用的是 B+ 树作为索引的组织结构什么是B+树，B+树与B树之间有什么差异，请参考我的博文 ：以上图片就是一颗B+树，通过以上B+树的截图...

参考文章：1.Linux 命令神器：lsofhttps://www.jianshu.com/p/a3aa6b01b2e12.linux lsof 命令详解https://www.cnblogs.com/sparkbj/p/7161669.html lsof是系统管理/安全的尤伯工具。将这个工具称之为lsof真实名副其实，因为它是指“列出打开文件（lists openfiles）”。而有一点要切记，在Unix中一切（包括网络套接口）都是文件。 有趣的是，lsof...

uniq 在日常工作中也是非常常用的命令，这篇文章来看下 uniq 指令的作用。注意： uniq 主要是用来做去重，以及计数统计的，但是注意一点 ！ uniq 的文件必须预先经过 sort 为有序的文件英文介绍[root@cdh-manager linux_cmd_test]# uniq --helpUsage: uniq [OPTION]... [INPUT [OUTPUT]]Filter adjacent matching lines from INPUT (or standar.

最近有被问到如何在Linux 中实现 2个可能重复文件的交集。下面，我们进行下梳理。函数介绍 英文首先，看下sort 的函数介绍 ：可以使用的方法 man sort / sort -h[root@cdh-manager linux_cmd_test]# sort --helpUsage: sort [OPTION]... [FILE]... or: sort [OPTION]... --files0-from=FWrite sorted concatenation ...

参考文章：1.创建多线程有四种方式https://blog.csdn.net/YTREE_BJ/article/details/92761104Java 创建线程的4种方式 ：继承Thread类创建多线程 实现Runnable接口创建多线程 实现Callable接口通过FutureTask包装器来创建Thread多线程 使用ExecutorService、Callable、Future实现有返回结果的线程。继承Thread类创建多线程代码如下：继承Thre...

参考文章：1.双亲委派模型的破坏(JDBC例子)https://blog.csdn.net/awake_lqh/article/details/1061712192.面试官：说说双亲委派模型？https://baijiahao.baidu.com/s?id=1633056679004596814&wfr=spider&for=pc3.【JVM】浅谈双亲委派和破坏双亲委派https://www.cnblogs.com/joemsu/p/9310226.html...

参考文章：1.浅谈线程池ThreadPoolExecutor核心参数https://www.cnblogs.com/stupid-chan/p/9991307.html2.Java线程池 ThreadPoolExecutor（一）线程池的核心方法以及原理https://blog.csdn.net/m0_37506254/article/details/905740383.Java 中的几种线程池，你之前用对了吗https://www.cnblogs.com/fengzhe...

1.Spark性能调优：checkPoint的使用https://blog.csdn.net/leen0304/article/details/78718346概述 checkpoint的意思就是建立检查点，类似于快照，例如在spark计算里面，计算流程DAG特别长，服务器需要将整个DAG计算完成得出结果，但是如果在这很长的计算流程中突然中间算出的数据丢失了，spark又会根据RDD的依赖关系从头到尾计算一遍，这样子就很费性能，当然我们可以将中间的计算结果通过cache或者persi...

参考文章：1.ORALCE函数：LAG()和LEAD() 分析函数详解、https://blog.csdn.net/pelifymeng2/article/details/70313943LAG, LEAD 函数简单介绍Lag和Lead分析函数可以在同一次查询中取出同一字段的前N行的数据(Lag)和后N行的数据(Lead)作为独立的列。 在实际应用当中，若要用到取今天和昨天的某字段差值时，Lag和Lead函数的应用就显得尤为重要。当然，这种操作可以用表的自连接实现，...

原文地址：1.Hive SQL复杂场景实现(1) —— 连续发单天数https://blog.csdn.net/Adrian_Wang/article/details/89791948 至今在数据分析岗摸爬滚打已有一年，尚且不敢说自己挖掘洞见的本事提升多少。但实打实的与SQL打了一年的交道，接触过各种各样的业务场景，完成过各种千奇百怪的需求，自我感觉在sql编程上也颇有体会。 相信接触过SQL的人都明白知道其非常容易上手，作为一个结构化查询语言，其在数据提取上给人们提供了非常大...

原文链接：1.Hive SQL复杂场景实现(2) —— 实时/最大在线人数https://blog.csdn.net/adrian_wang/article/details/89840671背景 之前遇到这个问题：，能不能用SQL求某一天哪个时刻进行中的订单量最多，这个数是多少？我寻思挺有意思，就细想了一下。其实思考下可以发现，如果要求一段时间内的同时处于服务过程中的最大订单量，相当于也要知道每个时刻的数量，所以求最大和求实时是等同的。 这个问题在不同的业务场景下有不同的...

今天模拟实现 broadcastJoin 的时候突然意识到了这个点，对 Spark 的 Cache 做个总结。问题 在Spark中有时候我们很多地方都会用到同一个RDD, 按照常规的做法的话,那么每个地方遇到Action操作的时候都会对同一个算子计算多次。这样会造成效率低下的问题 !!!!常见 transform , action 算子 =>https://blog.csdn.net/u010003835/article/details/10...

参考文章1.kafka 中 zookeeper 具体是做什么的？https://www.cnblogs.com/yogoup/p/12000545.html最近回顾了下 kafka 的相关部分的知识，既然 kafka 并不是依赖于 zookeeper 进行 AR 进行 Topic 的Leader选举的，那么 zookeeper 到底完成了那些工作呢 ？zookeeper 是 kafka 不可分割的一部分，可见其重要程度，所以我们有必要了解一下 zookeeper 在 kaf...

原文地址 ：https://www.cnblogs.com/binyue/p/10308754.html 好久没有用Kafka了，对知识梳理一下： Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka的特性之一就是高吞吐率。 即使是普通的服务器，Kafka也可以轻松支持每秒百万级的写入请求，超过了大部分的消息中间件，这种特性也使得Kafka在日志处理等海量数据场景广泛应用。 针对Kaf...

1.Kafka “高吞吐” 之顺序访问与零拷贝https://cloud.tencent.com/developer/article/14766492.kafka通过零拷贝实现高效的数据传输https://blog.csdn.net/lxlmycsdnfree/article/details/789738643.Kafka的零拷贝技术https://www.jianshu.com/p/835ec2d4c1704.什么是“零拷贝”技术https://baijiahao.baidu.

Base Spark 2.2.0首先，我们看下 coalesce 与 repartition 的主要区别：这两个算子主要区别，在于是否有shuffle 流程的发生。其中 coalesce 没有 shuffle 流程的发生，而 repartition 存在 shuffle。coalescerdd 的 coalesce实现/** * Return a new RDD that is reduced into `numPartitions` partitions. ...

SparkSQL 相关文档 ：http://spark.apache.org/docs/2.4.4/sql-performance-tuning.html 今天使用spark对一组大数据进行合并作join操作，一直都报下面的错：Exception in thread “broadcast-exchange-0” java.lang.OutOfMemoryError: Not enough memory to build and broadcast the table to all w...

一 概述 Shuffle就是对数据进行重组，由于分布式计算的特性和要求，在实现细节上更加繁琐和复杂 Hadoop Shuffle 在MapReduce框架，Shuffle是连接Map和Reduce之间的桥梁，Map阶段通过shuffle读取数据并输出到对应的Reduce；而Reduce阶段负责从Map端拉取数据并进行计算。在整个shuffle过程中，往往伴随着大量的磁盘和网络I/O。所以shuffle性能的高低也直接决定了整个程序的性能高低。Spark Shu...

之前一直没有出相关的文章，这次整理一下。希望你看了这篇文章，作业的 task 不是200 个！！！ 首先 Shuffle 相关的参数与理解整个Shuffle 流程是密不可分的，建议在看这篇文章，如果你对整个Shuffle 流程还没有一个直观的认识，可以看下这篇文章。首先 ，Spark Shuffle 调优只是 Spark 中的一部分。并不是说通过调优，Spark 任务就会如何的快。重要的是资源！！！Spark 的资源在于以下几个参数， 提交作业申请的 executor-num , e...

参考文章：1.【学习笔记】hive 之行拆列explodehttps://yq.aliyun.com/articles/654743 HIVE 中内置了 EXPLODE 和LATERAL VIEW，这两个 Function 非常的有用。尤其是在行转列的情形下。2.hive中的lateral view 与 explode函数的使用https://blog.csdn.net/guodong2k/article/details/79459282本篇文章我们也是用了 ...

参考文章 ：https://blog.csdn.net/yuanyangsdo/article/details/64441165本文主要讲解下 HIVE 中 str_to_map 如何使用函数介绍我们先看下函数介绍： map<string,string> str_to_map(text[, delimiter1, delimiter2]) Splits text into key-value pairs us...

线程基本概念 线程是现代操作系统上进行并行执行的一个流行的编程方面的抽象概念。当一个程序内有多个线程被叉分出用以执行多个流时，这些线程就会在它们之间共享特定的资源（如，内存地址空间、打开的文件），以使叉分开销最小化，并避免大量高成本的IPC（进程间通信）通道。这些功能让线程在并发执行时成为一个高效的机制。 在Linux中，程序中创建的线程（也称为轻量级进程，LWP）会具有和程序的PID相同的“线程组ID”。然后，各个线程会获得其自身的线程ID（TID）。对于Linux内...

今天面试被问到了这个问题，感觉自己回答的并不好。写一下这篇文章记录一下：https://www.jianshu.com/p/6411fff954cfSpark基本概念RDD：弹性分布式数据集 (Resilient Distributed DataSet)。Spark 是数据不动，代码动的架构！！！！RDD 的基本特性RDD 有三个基本特性 ： 分区，不可变，并行操作分区 每一个 RDD 包含的数据被存储在系统的不同节点上。逻辑上我们可以将 RDD ...

给定一棵二叉树，想象自己站在它的右侧，按照从顶部到底部的顺序，返回从右侧所能看到的节点值。示例:输入:[1,2,3,null,5,null,4]输出:[1, 3, 4]解释: 1 <---/ \2 3 <---\ \ 5 4 <---想法与思路：1.因为右视图是同一层最右边的节点1.构建Map Key 层高 , Value 节点值2.想象中序遍历，右边的...

参考文章 ：1.Spark join种类(>3种)及join选择依据https://blog.csdn.net/rlnLo2pNEfx9c/article/details/106066081Spark 内部JOIN 大致分为以下3种实现方式 ：1.BroadCastHashJoin2.ShuffledHashJoin3.SortMergeJoin1.BroadCastHashJoin 翻过源码之后你就会发现，Spark 1.6之前实...

参考文章 ：https://www.cnblogs.com/schoolbag/p/9640990.html在Spark中有map和mapPartitions算子，处理数据上，有一些区别主要区别：map是对rdd中的每一个元素进行操作；mapPartitions则是对rdd中的每个分区的迭代器进行操作MapPartitions的优点：如果是普通的map，比如一个partition中有1万条数据。ok，那么你的function要执行和计算1万次。使用MapPartiti...

参考文章：1.HIVE行转列和列转行https://www.cnblogs.com/blogyuhan/p/9274784.html2.HIVE行转列和列转行https://blog.csdn.net/jiantianming2/article/details/79189672列转行方式一 ： 通过 GROUP BY + CASE WHEN + 聚合函数需求如下1.有用户学习情况的 uid, 科目，分数 多行数据。已知每个人所学分为英语，数学，...

参考https://blog.csdn.net/duyuanhai/article/details/103066861Sqoop 并行化原理 Sqoop并行化是启多个map task实现的，-m(或--num-mappers)参数指定map task数，默认是四个。 当指定为1时，可以不用设置split-by参数，不指定num-mappers时，默认为4，当不指定或者num-mappers大于1时，需要指定split-by参数。并行度不是设置的越大越好，map task的启...

链接：https://leetcode-cn.com/problems/next-permutation题目实现获取下一个排列的函数，算法需要将给定数字序列重新排列成字典序中下一个更大的排列。如果不存在下一个更大的排列，则将数字重新排列成最小的排列（即升序排列）。必须原地修改，只允许使用额外常数空间。以下是一些例子，输入位于左侧列，其相应输出位于右侧列。1,2,3 → 1,3,23,2,1 → 1,2,31,1,5 → 1,5,1参考文章：https://...

参考文章：1.Spark2+的sql 性能调优https://www.cnblogs.com/yyy-blog/p/10260988.html重要的要点在内存中缓存数据 性能优化相关参数 广播 分区数据的调控 文件与分区 文件格式1、在内存中缓存数据性能调优主要是将数据放入内存中操作，spark缓存注册表的方法版本 缓存 释放缓存 spark2.+ spark.catalog.cacheTable("tableName")缓存表 ...

https://blog.csdn.net/weixin_42464054/article/details/92804678维度建模的三种方式，基本概念记录一下。主要是记下这几张图片！1.1  星型模式。1.2  雪花模式。1.3  星座模式记忆词：  星型模式、星座模式一、维度建模三种模式、1.1 ~星型模式。星型模式(Star Schema)是最常用的维度建模方式。星型模式是以事实表为中心，所有的维度表直接连接在事实表上，像星星一样。...

转载于:1.关于sparksql中的hinthttps://www.cnblogs.com/lestatzhang/p/10669547.html前言在Spark中，结构化查询可以通过指定查询提示(hint)来进行优化。查询提示，即向查询加入注释，告诉查询优化器提供如何优化逻辑计划， 这在查询优化器无法做出最佳决策时十分有用。Spark SQL支持COALESCE，REPARTITION以及BROADCAST提示。 在分析查询语句时，所有剩余的未解析的提示将从查询计划中被移除。.

这是一个面试会遇到的问题，网上处理方法一大堆，但是讲清楚实现的并不多，也没什么例子。 这里对这个问题就具体的实现做个展示。首先，主流的做法有以下几种1.cashtable （更类似于 Hive 中 Map JOIN）2.broadcast 后，join 相当于自己实现 broadcast join3.数据膨胀，去前缀（操作复杂，不推荐）不知道为那么那么多人推崇这种做法？1.cashtable （更类似于 Hive 中 Map JOIN）首先，我比较推荐 cashtab...

今天面试遇到了一道题，通过HQL 求访问深度以及当前页与下一页面的地址前提假设：1.用户只访问同一page一次2.用户单一标签页跳转有如下图1 转换为 图2 格式，即访问路径问题 图1 图2SELECT tmpB.platform, tmpB.user_id, tmpB.seq, t...

大致语法如下：LOAD DATA [LOCAL] INPATH '/path/to/local/files'OVERWRITE INTO TABLE table_name[PARTITION ( pt = 'partion-key' [,....] )];作用： 将本地或者hdfs上的数据导入hive表LOCAL有 LOCAL 表示从本地文件系统（ 文件会被拷贝到 HDFS 中 ）无 LOCAL 表示从HDFS中加载数据 （注意：文件直接被移动 !!! 而不是拷...

今天，遇到了一个问题，求 : 某一天HIVE分区表的数据，观看视频个数不同的前5名user_id。问题描述 ：用户浏览日志（date, user_id, video_id）, 统计 2020.03.29 观看不同视频个数的前5名 user_id。（大数据集）先创建表，并构建数据CREATE TABLE IF NOT EXSITS user_video_log( user_id BIGINT, video_id BIGINT)PARTITIONED BY( pt STRIN..

最近面试遇到了一道面试题，如何实现 FULL OUTER JOIN。什么是FULL JOIN首先我们要知道 FULL OUTER JOIN 和 RIGHT JOIN / LEFT JOIN 的区别。可以参考我的文章：1.数据库__内连接、左外连接、右外连接、交叉连接区别https://blog.csdn.net/u010003835/article/details/492528932.数据库__SQL的四种连接-左外连接、右外连接、内连接、全连接https://blog.c.

链接：https://leetcode-cn.com/problems/two-sum给定一个整数数组 nums和一个目标值 target，请你在该数组中找出和为目标值的那两个整数，并返回他们的数组下标。你可以假设每种输入只会对应一个答案。但是，数组中同一个元素不能使用两遍。示例:给定 nums = [2, 7, 11, 15], target = 9因为 nums[0] + nums[1] = 2 + 7 = 9所以返回 [0, 1]解析：给定数组...

转载 ：https://zhuanlan.zhihu.com/p/113194071题目描述:给定整数n和k，找到1到n中字典序第k小的数字。注意：1 ≤ k ≤ n ≤ 109。示例:**输入:**n: 13 k: 2**输出:**10**解释:**字典序的排列是 [1, 10, 11, 12, 13, 2, 3, 4, 5, 6, 7, 8, 9]，所以第二小的数字是 10。思路:十叉树，用题目的测试用例来举例子。...

来源：力扣（LeetCode）链接：https://leetcode-cn.com/problems/remove-duplicates-from-sorted-list题目Given a sorted linked list, delete all duplicates such that each element appear onlyonce.给定一个排序链表，删除所有重复的元素，使得每个元素只出现一次。Example 1:Input: 1->1->2Ou...

情况是这样的，我编写SparkSQL 基本上基于RDD 转换的SQL。因为这样，RDD 转化为 DataFrame 去执行SQL , 在做 JOIN 和 Shuffle 的时候会自动使用 spark.sql.shuffle.partitions 的分区数。spark.sql.shuffle.partitions 200 用于配置 join 或aggregate混洗（shuffle）数据时使用的分区数 不设置sql默认partition数目参数具体表现如下：...

参考文章 ：1.spark2.4.3 sparkSQL 用户自定义函数笔记https://blog.csdn.net/cqi024442/article/details/1002655661、简介从Spark2.0以上的版本开始，spark是使用全新的SparkSession接口代替Spark1.6中的SQLcontext和HiveContext来实现对数据的加载、转换、处理等工作，并且实现了SQLcontext和HiveContext的所有功能。我们在新版本中并不需要之前那么.

我们看下如何在 SparkSQL 中 定义并使用 UDTF。

在SparkSQL中，我们常常使用系统定义的聚合函数 ，如Max，Min 等。我们看下如何在 SparkSQL 中 定义并使用 UDAF。

在Spark SQL 中我们使用 UDF 的情况十分常见。下面，我们讲解下如何在Spark 中定义并使用 UDF。

参考文章：1.Spark 配置Kryo序列化机制https://www.jianshu.com/p/68970d1674fa2.Spark kyro Serializationhttps://www.jianshu.com/p/141bb0244f643.Spark中使用kyro序列化https://blog.csdn.net/wangweislk/article/details/789998144.【Spark七十八】Spark Kyro序列化https://www.ite

去除null、NaN去除 dataframe 中的 null 、 NaN 有方法 drop ，用 dataframe.na 找出带有 null、 NaN 的行，用 drop 删除行：df.na.drop()去除空字符串去除空字符串用 dataframe.where ：df.where("colname <> '' ")示例代码package com.spark.test.offline.filterimport org.apache.sp...

参考文章1.https://blog.csdn.net/lemonzhaotao/article/details/802963142.这是个比较基本的知识，我们这里整理下1）RDD 转化为 DataSet / DataFrame 1.通过反射去转化 （有限制） 2.通过定义structType去做转化2) DataFrame / DataSet 转化为 RDDRDD 转化为 DataSet / DataFrame1.通过反射去转化 （有限...

DataFrame的基本操作函数Action 操作1、 collect()返回值是一个数组，返回dataframe集合所有的行2、 collectAsList()返回值是一个java类型的数组，返回dataframe集合所有的行3、 count()返回一个number类型的，返回dataframe集合的行数4、 describe(cols: String*)返回一个通过数学计算的类表值(count, mean, stddev, min, an...

数据倾斜，是一个有可能遇到的问题，Hive 中 groupby 数据倾斜， 已经有参数可以很好的支持了。Hive 参考文章https://blog.csdn.net/u010003835/article/details/105495135下面我们看下 SparkSQL 如何解决这种 GroupBy 类型的数据倾斜思路如下： 其实是和 Hive 的 调优参数，将作业拆分为2个参数一样的。 set hive.map.aggr=true; set hive.gro...

原文https://blog.csdn.net/liam08/article/details/79663018Summaryorg.apache.spark.sql.functions是一个Object，提供了约两百多个函数。大部分函数与Hive的差不多。除UDF函数，均可在spark-sql中直接使用。经过import org.apache.spark.sql.functions._ ，也可以用于Dataframe，Dataset。version2.3.0大部分支持..

今天有被问到 UNION 算子会不会产生 Shuffle 。说实话，这个没有研究过，我们写个demo代码 ：package com.spark.test.offlineimport org.apache.spark.{SparkConf, SparkContext}/** * Created by szh on 2020/5/28. */object TestUnion { def main(args: Array[String]): Unit = { ...

//实现一个函数，输入两个链表（递增），合并为一个链表，依然保持有序。package com.offer.test.listnodecomb;class ListNode { int val; ListNode next = null; ListNode(int val) { this.val = val; }}/** * Created by szh on 2020/5/27. * @author szh */public c.

敲黑板 ，引入的依赖 一定要 “compile” 或则 “runtime”，否则spark conf 无法初始化，这辈子也运行不了，千万不要是 “provided". <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <ver...

参考文章 ：1.yarn资源memory与core计算配置https://www.cnblogs.com/xjh713/p/9855238.html2.cdh之调整YARN（调优yarn 生产必做优化项）004https://blog.csdn.net/weixin_33788244/article/details/91669894内存相关参数 我们在运行使用CDH平台的时候，需要对YARN 的资源配置进行一定的调整。下面我们看一下相关的参数 ，主要的涉及到...

CDH 中大数据相关组件的日志目录存放在/var/log/${component} 目录下面。[root@cdh-manager log]# pwd/var/log[root@cdh-manager log]# lltotal 8600drwxr-xr-x. 2 root root 204 Dec 4 2018 anacondadrwx------. 2 root root 9...

我们在使用 CDH 做集群管理的时候，非常的方便。下面，详细了解下主要几个节点的日志位置。1.ResourceManager log2.NodeManager log3.Container logResourceManager logResourceManager log 位置相关参数是hadoop.log.dir这里是 /var/log/hadoop-yarn进目录看一下[root@cdh-node2 hadoop-yarn]# pwd/var/log/h...

原文地址：https://www.jianshu.com/p/4e4c188f5d7b一个问题我们使用如下的参数提交了Flink on YARN作业（per-job模式）。/opt/flink-1.9.0/bin/flink run \--detached \--jobmanager yarn-cluster \--yarnname "x.y.z" \--yarnjobManagerMemory 2048 \--yarntaskManagerMemory 4096 \--.

Based on Flink 1.10.1本文主要讲解下 flink 中 flink-conf.yaml 中有关 slots 的 配置，与 Yarn 中 container 以及 cores 的相应关系。主要涉及以下两个参数# The number of task slots that each TaskManager offers. Each slot runs one parallel pipeline.taskmanager.numberOfTaskSlots: 2...

今天，我对 Flink ON YARN 集群的内存进行下调整。我调整了 Container 容器最小的分配内存，导致了一系列的问题，这里记录一下。（1）yarn.nodemanager.resource.memory-mb 表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。（2）yarn.nodemanager.vmem-pmem-ratio 任务每使用1MB...

最近整理一下，之前没注意到的点。本文整理下 Job 与 Stage 的划分依据。参考文章：1.Spark的Job、Stage、Task是按何种规则产生的https://blog.csdn.net/gaopu12345/article/details/791566752.Spark中job、stage、task的划分+源码执行过程分析https://blog.csdn.net/hjw199089/article/details/77938688Job 划分依据 ：...

Base on Spark 2.4.5参考文章 ：1.官方文档http://spark.apache.org/docs/latest/rdd-programming-guide.html#transformations2.Spark transform 与action算子https://blog.csdn.net/chixushuchu/article/details/863072683.https://blog.csdn.net/qq_15300683/...

最近，我学习了Flink, 写了个FlinkWordCount。依赖这里使用Maven 进行代码管理 ：父Pom<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocatio.

Base on Flink 1.10.1 Flink 托管给Yarn 是一个非常常用的形式，下面我们通过官网给出的流程图，了解下 Flink On Yarn 的任务执行流程。前提 ：首先，我们如果能让我们的任务在Yarn 上托管执行，我们是需要设置一些环境变量 ：The YARN client needs to access the Hadoop configuration to connect to the YARN resource manager and HDFS....

原文地址https://blog.csdn.net/weixin_44904816/article/details/106066579 相信不少读者在开发 Flink 应用时或多或少会遇到在内存调优方面的问题，比如在我们生产环境中遇到最多的 TaskManager 在容器化环境下占用超出容器限制的内存而被 YARN/Mesos kill 掉[1]，再比如使用 heap-based StateBackend 情况下 State 过大导致 GC 频繁影响吞吐。这些问题对于不熟悉 Fli...

Flink 中 TaskManager 中模型比较复杂，本文讲解下 Flink 中的内存模型以及相关的配置 ( 基于 Flink 1.10 )内存分布简介首先我们看一下 Flink 官网给出的内存示意图 ：https://ci.apache.org/projects/flink/flink-docs-release-1.10/ops/memory/mem_setup.html#set-up-task-executor-memory一般来说我们只需要选择以下3种方...

本文主要讲解下 flink 如何搭建 ：单节点集群standalone 集群yarn session 集群最近学习了下 Flink ，看了许多天的书，一上手搭建集群遇到了许多问题。 我在这里整理下集群搭建所遇到的问题。单节点集群 单节点集群，其实不难。主要我是虚拟机器，内存很小，所以我们要调整 task-manager 的内存参数。task-manager 的内存分配管理 与 参数配置 是一个大问题，我专门写了一篇文章 ：...

和写流程相比，HBase读数据是一个更加复杂的操作流程，这主要基于两个方面的原因：其一是因为整个HBase存储引擎基于LSM-Like树实现，因此一次范围查询可能会涉及多个分片、多块缓存甚至多个数据存储文件；其二是因为HBase中更新操作以及删除操作实现都很简单，更新操作并没有更新原有数据，而是使用时间戳属性实现了多版本。删除操作也并没有真正删除原有数据，只是插入了一条打...

参考文章 ：https://www.jianshu.com/p/5c846e205f5fLSM-tree 在 NoSQL 系统里非常常见，基本已经成为必选方案了。今天介绍一下 LSM-tree 的主要思想，再举一个 LevelDB 的例子。目录LSM-tree写入流程：查询流程：LevelDB写入流程：查询流程：LSM-tree读写放大写放大：...

参考文章：1.详解布隆过滤器的原理、使用场景和注意事项https://www.jianshu.com/p/2104d11ee0a22.数学之美：布隆过滤器https://zhuanlan.zhihu.com/p/72378274什么是布隆过滤器 本质上布隆过滤器是一种数据结构，比较巧妙的概率型数据结构（probabilistic data structure），特点...

本篇文章主要介绍 HBase 中的 LSM -Tree 中的合并，分为以下几个部分目录LSM-Tree Compaction 主要流程Compaction 作用Compaction 分类Minor Compaction :Major Compaction :Compaction 触发条件MemStore Flush：后台线程周期性检查：手动...

xxx

目录namespace 基本概念namespace 基本操作namespace 相关的创建操作namespace 相关的删除操作namespace相关的查询操作namespace 相关的修改操作namespace 基本概念在HBase中，namespace命名空间指对一组表的逻辑分组，类似RDBMS中的database，方便对表在业务上划分。Apa...

HBase 升级方案HBase 2.0 新特性1) AssignmentManager V22)In-memory Flush & Compaction3) Offheaping of Read/Write PathHBase 2.0 的 “坑”1) V2.0.3之前的版本不支持HBCK22) 重度依赖 Procedure V2...

HBase架构组成HMaster组成HRegionServer节点Zookeeper集群HBase容错机制HBase架构组成HBase 采用 Master / Slave 架构搭建集群，它隶属于 Hadoop 生态系统，由以下几个类型的节点组成HMaster节点、HRegionServer节点、ZooKeeper集群而在底层，它将数据存储于...

HBase 的Shell 是操作HBase 的重要手段。下面我们讲解下Hbase Shell 都能完成那些功能。目录启动Hbase Shell帮助退出debug 模式输入截至 ...

HBase 的计数器在 点击流和广告统计中非常常用。本篇文章我们将从 shell 和 java API 两个方面去探索 Hbase 的计数器的使用。

在上一篇文章，我们讲解了 Hbase 中的扫描器，这篇文章，我们讲解下过滤器。 过滤器可以对扫描的数据进行一定程度的过滤，当然这个流程是在服务器端进行执行的。过滤器最基本的接口为 Filter, 除此之外，还有一些由HBase 提供的无需编程就可以直接使用的类。Filter 执行流程所有的过滤器都在服务端生效，叫做谓词下推。这样可以保证过滤掉的数据不会传送到客户端。...

Hbase 取数据通过 Get 方法去取数据还是效率太低了。这里我们学习下如何获取一批数据。这里我们首先学习下Scan ，Scan 是基础，在Scan中可以设置过滤器 Filter。扫描器 扫描技术。这种技术类似于数据库系统中的游标（cursor), 并利用到了HBase 提供的底层顺序存储的数据结构。扫描操作的工作方式类似于迭代器，用户无需调用scan...

本篇文章主要承接第一篇文章，继续讲解更加高效的batch操作xxxxxx

https://blog.51cto.com/14744108/2486385HBase最大版本数量 HBase 通过 HColumnDescriptor 为每个列族配置要存储的最大行数版本。最大版本的默认值为1。这是一个重要的参数，因为如数据模型部分所述，HBase 也没有覆盖行的值，而是按时间（和限定符）存储不同的值。在重要的压缩过程中删除多余的版本。最大版本的数...

由于网上的HBase Java API 大多都是基于 Hbase 1.0 + 的，故写了这篇文章。参考了以下文章：https://blog.csdn.net/u012893747/article/details/84753988本篇文章只讲解下 基本的 CURD 操作，更为复杂的操作，我们放到后面讲解。目录依赖包建立连接创建表删除列族删除表插入数据...

由于我对HBase 中的表 ，存在非常多的疑惑。所以现在我对 HTable 的组织形式做一个整理。先上一个表 官腔一点的描述：HBase 是按照 BigTable 模式实现的，是一个稀疏的，分布式的，持久化的，多维的映射，由行键，列键和时间戳索引。 HBase 中的表 存在 行键，列族， 列， 时间戳（版本） 各种各样的概念。 那么它们之间是一个什么样的关系呢？...

我们可以通过界面上对 cdh 集群进行配置但是避免不了的是，我们可能需要手动的修改配置文件，对集群进行调整那么集群所使用的配置文件，在哪里呢？默认的都在 /etc/${modelName} 目录下，比如zookeeper 的配置文件，就在 /etc/zookeeper 目录下查验一下：[root@cdh-node2 etc]# cd /etc/zookee...

我们可以利用 Hbase-shell 进行版本的查看进入Hbase-shell 后可以看到 hbase版本[root@cdh-manager ~]# hbase shellJava HotSpot(TM) 64-Bit Server VM warning: Using incremental CMS is deprecated and will likely be remove...

本文主要讲解如何通过 Java API 操作 HBase

大纲地址 ：https://blog.csdn.net/u010003835/article/details/105334641场景九.减少IO次数1) 通过多表插入 FROM A INSERT B SELECT a, ... INSERT C SELECT a, ...2) 一次输入,多次使用 WITH TABLE AS (...)...

Hive优化，大纲地址：https://blog.csdn.net/u010003835/article/details/105334641测试数据场景八_数据裁剪问题1) 记录数裁剪 i.通过分区，分桶 表的优势 去构建 ii.通过筛选条件，去除无效的记录，使得无效数据在 map 阶段 剔除2) 列裁剪i.剔除...

Hive 优化，大纲地址 ：https://blog.csdn.net/u010003835/article/details/105334641场景七.数据倾斜问题1) 由于空值导致的数据倾斜问题2) 由于数据类型不一致，导致的转换问题，导致的数据倾斜3) 业务数据本身分布不均，导致的数据倾斜...

大纲地址 ：https://blog.csdn.net/u010003835/article/details/105334641测试数据场景六.通过让MAP 端, 多去承担任务， 去减少 Reducer 的计算成本 和 数据传输成本。1）MAP JOIN 的方式2) MAP AGGR , 在 Map 端进行预聚合...