m0_46191714的博客

项目1.介绍电商数仓项目2.在项目中用的什么数据栈？3.数据仓库建模几种方式4.讲一下维度建模，维度表5.数据倾斜6.提到了map_join代替普通join，面试官问为什么map_join能解决数据倾斜，具体流程怎样7.数据缺失值处理8.数仓分层（各层作用）9.数仓建设的理论（哪两种）为什么用这种？10.星型模型和雪花模型介绍，各自的适合什么样的数据场景11.数仓建设的原理12.为什么会发生数据倾斜，怎么解决13.什么是事务hadoop1.mapreduce的几部分2.map

留存率问题牛客上的原题https://www.nowcoder.com/practice/1fc0e75f07434ef5ba4f1fb2aa83a450?tpId=268&tqId=2285344&ru=/exam/oj&qru=/ta/sql-factory-interview/question-ranking&sourceUrl=%2Fexam%2Foj%3Ftab%3DSQL%25E7%25AF%2587%26topicId%3D268解答select a.dt

仅记录维度建模维度建模维度建模划分为事实表、维度表两种类型。事实表：在ER模型中抽象出了有实体、关系、属性三种类别，在现实世界中，每一个操作型事件，基本都是发生在实体之间的，伴随着这种操作事件的发生，会产生可度量的值，而这个过程就产生了一个事实表，存储了每一个可度量的事件。事实表还可以被分为三种（1）事务型事实表以每个事务或事件为单位，例如一个销售订单记录，一笔支付记录等，作为事实表里的一行数据。一旦事务被提交，事实表数据被插入，数据就不再进行更改，其更新方式为增量更新。（2）周期型快照事实

1. 基础架构Producer ：消息生产者，就是向 kafka broker 发消息的客户端；Consumer ：消息消费者，向 kafka broker 取消息的客户端；Consumer Group （CG）：消费者组，由多个 consumer 组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费；消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。Broker ：一台 kafka 服务器就是一个 broker。一个集群由多个

看这篇笔记https://ashiamd.github.io/docsify-notes/#/study/BigData/Flink/%E5%B0%9A%E7%A1%85%E8%B0%B7Flink%E5%85%A5%E9%97%A8%E5%88%B0%E5%AE%9E%E6%88%98-%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0

主要内容Collection集合迭代器增强forList集合Set集合学习目标 能够说出集合与数组的区别 说出Collection集合的常用功能 能够使用迭代器对集合进行取元素 能够说出集合的使用细节 能够使用集合存储自定义类型 能够使用foreach循环遍历集合 能够说出List集合和Set集合的区别 能够说出List集合各种实现类的区别 能够说出Set集合各种实现类的区别 能够说出Collection和Map集合的区别 说出Map集合的常用功能 能够遍历Map集

认识三个概念SID：服务器ID。用来唯一标识一台ZooKeeper集群中的机器，每台机器不能重复，和myid一致。ZXID：事务ID。ZXID是一个事务ID，用来标识一次服务器状态的变更。在某一时刻，集群中的每台机器的ZXID值不一定完全一致，这和ZooKeeper服务器对于客户端“更新请求”的处理逻辑有关。Epoch：每个Leader任期的代号。没有Leader时同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加第一次选举（1）服务器1启动，发起一次选举。服务器1投自己一票。此

1. hive架构原理2. hive运行机制3. 数据上传方法一：hadoop dfs -put xxx—本地数据的绝对路径 /user/hive/warehouse/xx–这个xx是你自己创建的数据库方法二：直接在hive里面输入load data local inpath ‘xxx–本地数据的绝对路径’ into table xxx–你自己c4. 数据导出insert overwrite local directory ‘xxx–本地路径’ select查询语句；5. 创表相关

Shell中提交了一个脚本，进程号已经不知道了，但是需要kill掉这个进程，怎么操作?ssh $i "ps -ef | grep file-flume-kafka | grep -v grep |awk '{print \$2}' | xargs kill"

1. HBASE架构我们知道HBase依赖HDFS也依赖Zookeeper，那么首先出来的应该是HDFS，这是他底层的存储地，随便画几个DataNode无所谓，然后HBase还依赖Zookeeper，因此我们在启动HBase之前需要先启动它们。那接下轮到HBase启动了，HBase需要启动两大进程HMaster和HRegionServer，这个Master工作太累了，它需要把某些工作交给Zookeeper，后面在说具体都交给些什么任务。Master主要管理DDL相关的操作，操作表，操作命名空间，HReg

hadoop复习题、面试题记录hdfs读写流程、namenode、MapReduce流程、shuffle详细过程、yarn任务提交流程等

任意的int的数值对Integer.MAX_VALUE进行（&）与运算时会得到其绝对值给定一个非负整数 n ，请计算 0 到 n 之间的每个数字的二进制表示中 1 的个数，并输出一个数组。如果正整数 i 是一个偶数，那么 i 相当于将 i/2 左移一位的结果，因此偶数 i 和 i/2 的二进制形式 1 的个数是一样的 如果 i 是奇数，那么 i 相当于将 i/2 左移一位之后再将最右边的位设为 1 的结果，因此奇数 i 比 i/2 的二进制形式 1 的个数多 1 个 可以利用这个规律有如下代码

在此记录刷力扣时遇到的一些技巧-树判断两树是否相同【100】给你两棵二叉树的根节点 p 和 q ，编写一个函数来检验这两棵树是否相同。如果两个树在结构上相同，并且节点具有相同的值，则认为它们是相同的。public boolean isSameTree(TreeNode p, TreeNode q) { if(p==null&&q == null){ return true; } if(p!=null &&

1.列表反转给定一个单链表的头结点pHead，长度为n，反转该链表后，返回新链表的表头。public ListNode ReverseList(ListNode head) { if (head == null ) return null ; ListNode pre = null ; ListNode next = null ; while(head != null ) { next = head.next ;

给一个01矩阵，1代表是陆地，0代表海洋， 如果两个1相邻，那么这两个1属于同一个岛。我们只考虑上下左右为相邻。岛屿: 相邻陆地可以组成一个岛屿（相邻:上下左右） 判断岛屿个数。例如：输入[[1,1,0,0,0],[0,1,0,1,1],[0,0,0,1,1],[0,0,0,0,0],[0,0,1,1,1]]对应的输出为3public int solve(char[][] grid) { //边界条件判断 if (grid == null || grid.length

动态规划

记录一下刷力扣时遇到的一些技巧-哈希表【128】给定一个未排序的整数数组 nums ，找出数字连续的最长序列（不要求序列元素在原数组中连续）的长度。请你设计并实现时间复杂度为 O(n) 的算法解决此问题。if (nums.length == 0) return 0;var set = new HashSet<Integer> ();int maxLen = 1;for (int num: nums) { set.add(num);}// 带记忆化的中心拓展 保证每个元素只

记录刷力扣时遇到的技巧（链表）/* * public class ListNode { * int val; * ListNode next; * ListNode() {} * ListNode(int val) { this.val = val; } * ListNode(int val, ListNode next) { this.val = val; this.next = next; } */ListNode header = new Li

记录刷力扣时遇到的一些技巧（栈与队列）简单的逆波兰表达式计算器无括号有乘除后缀表达式class Solution { public int evalRPN(String[] tokens) { Stack<Integer> stk = new Stack<Integer>(); for(String token : tokens){ if(token.equals("+")) stk.push(stk.pop()+

记录刷力扣时数与位的小技巧【190】颠倒给定的 32 位无符号整数的二进制位。public class Solution { // you need treat n as an unsigned value public int reverseBits(int n) { int res=n&1; int i=1; while(i<32){ n=n>>>1; re