- 博客(26)
- 收藏
- 关注
RSS订阅原创 大数据面试题（校招）
项目1.介绍电商数仓项目2.在项目中用的什么数据栈？3.数据仓库建模几种方式4.讲一下维度建模，维度表5.数据倾斜6.提到了map_join代替普通join，面试官问为什么map_join能解决数据倾斜，具体流程怎样7.数据缺失值处理8.数仓分层（各层作用）9.数仓建设的理论（哪两种）为什么用这种？10.星型模型和雪花模型介绍，各自的适合什么样的数据场景11.数仓建设的原理12.为什么会发生数据倾斜，怎么解决13.什么是事务hadoop1.mapreduce的几部分2.map
2022-03-07 15:20:04
2684
1
原创 sql常考题
留存率问题牛客上的原题https://www.nowcoder.com/practice/1fc0e75f07434ef5ba4f1fb2aa83a450?tpId=268&tqId=2285344&ru=/exam/oj&qru=/ta/sql-factory-interview/question-ranking&sourceUrl=%2Fexam%2Foj%3Ftab%3DSQL%25E7%25AF%2587%26topicId%3D268解答select a.dt
2022-02-19 18:03:55
447
原创 数据仓库理论
仅记录维度建模维度建模维度建模划分为事实表、维度表两种类型。事实表：在ER模型中抽象出了有实体、关系、属性三种类别，在现实世界中，每一个操作型事件，基本都是发生在实体之间的，伴随着这种操作事件的发生，会产生可度量的值，而这个过程就产生了一个事实表，存储了每一个可度量的事件。事实表还可以被分为三种（1）事务型事实表以每个事务或事件为单位，例如一个销售订单记录，一笔支付记录等，作为事实表里的一行数据。一旦事务被提交，事实表数据被插入，数据就不再进行更改，其更新方式为增量更新。（2）周期型快照事实
2022-02-05 08:29:00
1188
原创 kafka复习题、面试题
1. 基础架构Producer ：消息生产者，就是向 kafka broker 发消息的客户端；Consumer ：消息消费者，向 kafka broker 取消息的客户端；Consumer Group （CG）：消费者组，由多个 consumer 组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费；消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。Broker ：一台 kafka 服务器就是一个 broker。一个集群由多个
2022-02-02 16:27:30
1869
原创 flink复习题
看这篇笔记https://ashiamd.github.io/docsify-notes/#/study/BigData/Flink/%E5%B0%9A%E7%A1%85%E8%B0%B7Flink%E5%85%A5%E9%97%A8%E5%88%B0%E5%AE%9E%E6%88%98-%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0
2022-02-02 09:46:04
1706
原创 java之Collection
主要内容Collection集合迭代器增强forList集合Set集合学习目标 能够说出集合与数组的区别 说出Collection集合的常用功能 能够使用迭代器对集合进行取元素 能够说出集合的使用细节 能够使用集合存储自定义类型 能够使用foreach循环遍历集合 能够说出List集合和Set集合的区别 能够说出List集合各种实现类的区别 能够说出Set集合各种实现类的区别 能够说出Collection和Map集合的区别 说出Map集合的常用功能 能够遍历Map集
2022-01-31 11:17:59
28453
2
原创 zookeeper选举机制
认识三个概念SID：服务器ID。用来唯一标识一台ZooKeeper集群中的机器，每台机器不能重复，和myid一致。ZXID：事务ID。ZXID是一个事务ID，用来标识一次服务器状态的变更。在某一时刻，集群中的每台机器的ZXID值不一定完全一致，这和ZooKeeper服务器对于客户端“更新请求”的处理逻辑有关。Epoch：每个Leader任期的代号。没有Leader时同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加第一次选举（1）服务器1启动，发起一次选举。服务器1投自己一票。此
2022-01-29 15:18:50
149
原创 hive复习题、面试题
1. hive架构原理2. hive运行机制3. 数据上传方法一：hadoop dfs -put xxx—本地数据的绝对路径 /user/hive/warehouse/xx–这个xx是你自己创建的数据库方法二：直接在hive里面输入load data local inpath ‘xxx–本地数据的绝对路径’ into table xxx–你自己c4. 数据导出insert overwrite local directory ‘xxx–本地路径’ select查询语句；5. 创表相关
2022-01-27 10:03:30
2644
原创 linux技巧
Shell中提交了一个脚本，进程号已经不知道了，但是需要kill掉这个进程，怎么操作?ssh $i "ps -ef | grep file-flume-kafka | grep -v grep |awk '{print \$2}' | xargs kill"
2022-01-24 17:11:40
833
原创 hbase复习题、面试题
1. HBASE架构我们知道HBase依赖HDFS也依赖Zookeeper，那么首先出来的应该是HDFS，这是他底层的存储地，随便画几个DataNode无所谓，然后HBase还依赖Zookeeper，因此我们在启动HBase之前需要先启动它们。那接下轮到HBase启动了，HBase需要启动两大进程HMaster和HRegionServer，这个Master工作太累了，它需要把某些工作交给Zookeeper，后面在说具体都交给些什么任务。Master主要管理DDL相关的操作，操作表，操作命名空间，HReg
2022-01-24 15:38:43
1796
原创 hadoop复习题
hadoop复习题、面试题记录hdfs读写流程、namenode、MapReduce流程、shuffle详细过程、yarn任务提交流程等
2022-01-22 16:39:44
1079
原创 剑指offer一些题型
任意的int的数值对Integer.MAX_VALUE进行（&）与运算时会得到其绝对值给定一个非负整数 n ，请计算 0 到 n 之间的每个数字的二进制表示中 1 的个数，并输出一个数组。如果正整数 i 是一个偶数，那么 i 相当于将 i/2 左移一位的结果，因此偶数 i 和 i/2 的二进制形式 1 的个数是一样的 如果 i 是奇数，那么 i 相当于将 i/2 左移一位之后再将最右边的位设为 1 的结果，因此奇数 i 比 i/2 的二进制形式 1 的个数多 1 个 可以利用这个规律有如下代码
2022-01-22 08:28:35
130
原创 力扣笔记之树常见题型
在此记录刷力扣时遇到的一些技巧-树判断两树是否相同【100】给你两棵二叉树的根节点 p 和 q ，编写一个函数来检验这两棵树是否相同。如果两个树在结构上相同，并且节点具有相同的值，则认为它们是相同的。public boolean isSameTree(TreeNode p, TreeNode q) { if(p==null&&q == null){ return true; } if(p!=null &&
2022-01-22 08:28:24
2571
原创 牛客刷题高频
1.列表反转给定一个单链表的头结点pHead，长度为n，反转该链表后，返回新链表的表头。public ListNode ReverseList(ListNode head) { if (head == null ) return null ; ListNode pre = null ; ListNode next = null ; while(head != null ) { next = head.next ;
2022-01-22 08:28:14
1337
原创 力扣刷题之dfs
给一个01矩阵，1代表是陆地，0代表海洋， 如果两个1相邻，那么这两个1属于同一个岛。我们只考虑上下左右为相邻。岛屿: 相邻陆地可以组成一个岛屿（相邻:上下左右） 判断岛屿个数。例如：输入[[1,1,0,0,0],[0,1,0,1,1],[0,0,0,1,1],[0,0,0,0,0],[0,0,1,1,1]]对应的输出为3public int solve(char[][] grid) { //边界条件判断 if (grid == null || grid.length
2022-01-16 09:58:31
216
原创 力扣笔记之哈希表常见题型
记录一下刷力扣时遇到的一些技巧-哈希表【128】给定一个未排序的整数数组 nums ，找出数字连续的最长序列（不要求序列元素在原数组中连续）的长度。请你设计并实现时间复杂度为 O(n) 的算法解决此问题。if (nums.length == 0) return 0;var set = new HashSet<Integer> ();int maxLen = 1;for (int num: nums) { set.add(num);}// 带记忆化的中心拓展 保证每个元素只
2021-09-23 17:10:07
216
原创 力扣笔记之链表常见题型
记录刷力扣时遇到的技巧（链表）/* * public class ListNode { * int val; * ListNode next; * ListNode() {} * ListNode(int val) { this.val = val; } * ListNode(int val, ListNode next) { this.val = val; this.next = next; } */ListNode header = new Li
2021-09-16 20:11:18
169
原创 力扣笔记之栈与队列常见题型
记录刷力扣时遇到的一些技巧（栈与队列）简单的逆波兰表达式计算器无括号有乘除后缀表达式class Solution { public int evalRPN(String[] tokens) { Stack<Integer> stk = new Stack<Integer>(); for(String token : tokens){ if(token.equals("+")) stk.push(stk.pop()+
2021-09-06 21:52:47
173
原创 力扣笔记之数与位常见题型
记录刷力扣时数与位的小技巧【190】颠倒给定的 32 位无符号整数的二进制位。public class Solution { // you need treat n as an unsigned value public int reverseBits(int n) { int res=n&1; int i=1; while(i<32){ n=n>>>1; re
2021-09-06 11:05:27
142
原创 赫夫曼压缩文件作业
#include<stdio.h>#include<stdlib.h>#include<string.h>typedef char *String;static String thr[256]; //每个字符的编码typedef struct{ char ch; long weight,parent,lchild,rchild;}HTNode;typedef struct{ HTNode data[512];
2021-08-23 14:45:16
111
原创 敢死队问题c语言作业
#include<stdio.h>#include<string.h>#include<stdlib.h>#include<malloc.h>//循环单链表typedef struct node{ int data; struct node *next ;}LNode;//定义节点类型LNode *CREAT(int n)//创建循环单链表{ LNode *s,*q,*T; int i; if(n!=0) { T=q=(LNo
2021-08-23 14:43:39
1486
2
原创 搭建HA高可用
1，必要的基础：四节点的非高可用集群，第四个节点的zookeeper可设置为observer2，在此基础上，修改core-site.xml为：<configuration><!-- 集群初始配置 --><!-- 此处开启HA，因此需要将fs.default.name修改为fs.defaultFS --><property> <name>fs.defaultFS</name> <value>hdfs://ns
2021-08-23 14:39:08
341
原创 力扣笔记之数组常见题型
在此记录我在刷力扣数组题时的一些技巧1.数组的遍历1.1 找出前三大的数int max1 = Integer.MIN_VALUE;int max2 = Integer.MIN_VALUE;int max3 = Integer.MIN_VALUE;for (int i : nums) if (i > max1) { max3 = max2; max2 = max1; max1 = i; } else if (i > max2) { m
2021-08-15 17:59:06
602
原创 c语言文件管理系统
#include<stdio.h>#include<stdlib.h>#include<string.h>FILE *fp;struct xsonde{ int xh; char xm[15]; int gs; int yy; int wl; double pj; struct xsonde *next;};void *bc(struct xsonde *head)//保存在文件夹中的函数{ struct xsonde *p; p=hea
2020-08-02 10:12:24
3107
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人