校招
清风千雨
大数据,java后端
展开
-
HIVE 行转列以及列转行
列转行语法:虚拟表lateral view explode(split(tag,’,’)) 表别名 as 列别名表test列名: id tagselect id,tag_new from test lateral view explode(split(tag,',')) nums as tag_new行转列使用函数:concat_ws(’,’,collect_set(column))说明:collect_list 不去重,collect_set 去重。 column 的数据类原创 2020-06-08 17:14:19 · 404 阅读 · 0 评论 -
多线程
文章目录创建线程1.实现Runnable接口2.继承Thread类3.实现callable接口sychronize和ReentrantLock1.lockcountDownLatchCyclicBarrier3. 线程池1.CachedThreadPool2.FixedThreadPool3. SingleThreadExecutor4.FIFO队列 LinkedBlockingQueue、Arr...原创 2020-05-04 20:49:08 · 155 阅读 · 0 评论 -
Kafka的各种原理
文章目录1.kafka吞吐量为什么大?1.kafka吞吐量为什么大?1)kafka读写数据是顺序读取的,效率达到常数级。生产者将消息发送到topic的每个分区时,将数据顺序写入最后面的一个segment file,segment file达到阈值刷新到磁盘(默认500m),消费者消费的是磁盘的segment file,每个segment file对应两个文件,分别是以.log结尾的数据文件和...原创 2020-02-16 15:10:41 · 716 阅读 · 0 评论 -
计算机网络
1.http和tcp的区别http是建立在tcp之上的应用层协议,而tcp是传输层建立的协议HTTP/1.* 一次请求-响应,建立一个连接,用完关闭;HTTP/1.1 串行化单线程处理,可以同时在同一个tcp链接上发送多个请求,但是只有响应是有顺序的,只有上一个请求完成后,下一个才能响应。一旦有任务处理超时等,后续任务只能被阻塞(线头阻塞);HTTP/2 并行执行。某任务耗时严重,不会影响...原创 2020-02-11 14:16:43 · 119 阅读 · 0 评论 -
大数据实时监控预警
文章目录1. 通过flume采集数据发送到Kafka1)自定义source2)自定义拦截器Interceptor3)自定义sink2.kafka->spark->es3.kafka->spark->hbase4.kafka->spark->hdfs5.kafka->spark->redis(warn预警)1. 通过flume采集数据发送到Kafka...原创 2020-01-22 22:21:28 · 3934 阅读 · 0 评论 -
LeetCode
文章目录hot1001.有效的括号hot1001.有效的括号题目:给定一个只包括 ‘(’,’)’,’{’,’}’,’[’,’]’ 的字符串,判断字符串是否有效。有效字符串需满足:左括号必须用相同类型的右括号闭合。左括号必须以正确的顺序闭合。注意空字符串可被认为是有效字符串。示例 1:输入: “()”输出: true示例 2:输入: “()[]{}”输出: true示例 ...原创 2020-01-14 22:57:57 · 277 阅读 · 0 评论 -
数据结构-树
文章目录1.二叉树2.二叉查找树(binary search tree)bs Tree3.AVL树4.红黑树5.BTree6.B+Tree6.树堆1.二叉树public class TreeDemo { //二叉树节点类 private static class TreeNode{ private int data; private TreeNo...原创 2020-01-14 20:26:32 · 128 阅读 · 0 评论 -
数据结构-链表
public class LinkedDemo { private static class Node{ int data; Node next; public Node(int data) { this.data = data; } } //头指针 private Node ...原创 2020-01-14 14:54:45 · 84 阅读 · 0 评论 -
JVM面试
文章目录1.jvm内存区域2.jvm指令分析3.内存回收1.jvm内存区域类通过类装载到相应内存区域,每一个线程都有单独的栈,本地方法栈,程序计数器,然后将每个方法进行压栈,每个方法压入站后为一个栈帧,栈帧中常用的几个区域为局部变量表,操作数栈,动态链接,方法出口。栈帧局部变量表:存储的局部变量操作数栈:方法栈进行例如a+b这样的计算在这个内存区域进行,将a和b的值取到操作数栈中进行计...原创 2020-01-11 12:38:41 · 137 阅读 · 0 评论 -
Elasticsearch restAPI
文章目录操作索引1.创建索引2.创建_mapping和type3.查看索引4.删除索引新增数据1.插入数据2.自定义Id3.自动判断类型生成_mapping修改数据1.修改数据删除数据基本查询1.查询所有的(match_all)操作索引1.创建索引PUT test{ "settings": { "number_of_replicas": 1, "number_of_sh...原创 2019-11-26 00:11:51 · 217 阅读 · 0 评论