- 博客(26)
- 资源 (2)
- 收藏
- 关注
原创 Hive工作原理
Hive 工作原理详解-阿里云开发者社区1. Driver组件:该组件包括:Compiler、Optimizer、Executor,它可以将Hive的编译、解析、优化转化为MapReduce任务提交给Hadoop1中的JobTracker或者是Hadoop2中的SourceManager来进行实际的执行相应的任务。2. MetaStore组件:存储着hive的元数据信息,将自己的元数据存储到了关系型数据库当中,支持的数据库主要有:Mysql、Derby、支持把metastore独立出来放在远程的集群上面,使
2023-09-18 16:14:14
283
原创 Hbase工作原理
Region 大小超过设定的阈值:HBase 监测每个 Region 的大小,并在某个 Region 的大小超过预设的阈值(称为 split size)时触发拆分。按 Region 数量拆分:HBase 将会根据当前 Region 的数量和预设的最大 Region 数量,将一个大的 Region 均匀地拆分成多个子 Region。创建新的子 Region:根据选定的拆分策略,HBase 会创建新的子 Region,并将其分配给适当的 RegionServer 进行处理。
2023-09-13 17:13:28
496
原创 个人技术栈(java和大数据部分)
工作四五年了,做了不少项目,学了不少技术框架,了解不不少设计思想,自身的技术积累也有不少了,今天用头脑风暴的方式梳理一下,可能不全,后面会不断完善。技术栈 1.java:集合、多线程、JVM原理 1) Collection List ArrayList LinkedList (Deque的实现) Vector (Stack的父类) 推荐用 Deque替换 Stack Set: ...
2022-02-27 13:26:25
1302
原创 20个常见Java面试题
Java面试题:1.hashmap数据结构,线程安全问题的原因,发生时机,扩容机制等,分1.7和1.8分别描述2.concurrenthashmap数据结构实现原理,分1.7和1.8描述3.cas的实现原理,juc的相关内容4.spring的启动流程,bean的生命周期5.设计模式在工作中的使用,Spring中用了哪些设计模式6.jvm内存结构,gc的方法,垃圾回收器等7.类的加载流程,加载机制8.zookeeper如何保持一致性,zab算法流程发散:cap理论是什么?zk满足了哪两个条
2020-12-25 10:36:48
223
原创 redis缓存相关问题及解决方案
缓存问题击穿,穿透,雪崩,一致性解决方案:1.击穿:给操作加锁(缓存为空,查数据库,更新缓存)2.穿透:查数据库,存储返回空值,或者使用布隆过滤器过滤数据库中没有的数据3.雪崩:设置随机过期时间4.数据一致性:双写(更新数据库,并且更新缓存),失效模式(写数据库,删除缓存,缓存的更新由读操作完成),二者的共同问题:操作非原子操作,需要加锁。一致性解决方案: 1)缓存的所有数据都有过期时间,数据过期下一次查询触发主动更新 2)读写数据的时候,加上分布式读写锁。(在经常写,经常读的...
2020-12-10 10:40:59
294
原创 mysql索引优化的几个建议
本文的内容是自己的学习记录,摘自B站尚硅谷mySql优化专题视频教程,只摘取了自己觉得必要的点,后期会继续补充。链接为:https://www.bilibili.com/video/BV1KW411u7vy?p=1一、关于Explain查看mysql执行计划explain之type(访问类型):从最好到最差依次是:system>const>eq_ref>ref>range>index>ALLsystem:表只有一行记录(等于系统表),这是const类型的特
2020-12-06 20:51:13
419
原创 我特么今天跟红黑树干起来了
前段时间,虎扑识货面试一直问我红黑树和b+树的相关内容,b+树还是挺熟悉的,但是红黑树面试基本上没人问,所以一年多没看过,结果我连红黑树最基本的概念都说不准缺。遇到对原理这么执着的面试官,不知道是幸运呢还是幸运呢?曾几何时,我也是数据结构和算法的坚定支持者,这次面的我好像什么都不知道似的。算了,既然又遇到了,就再看看吧。这次学习主要参考了4篇博客,这四篇各有特色第一篇:https://blog.csdn.net/qq_41854763/article/details/82694873在这片博客中
2020-06-14 15:44:20
518
原创 虎扑识货面试小记
2020.6.8 晚上8点,有幸参加了识货app的高级java开发岗的面试,没有通过。暂且记录一下面试题目。整体来说这次面试底层原理问的很深。1、自我介绍2、讲一下简历上最有成就感的项目3、MySql索引的底层数据结构是什么,具体介绍一下该数据结构,用这种结构的好处是什么,为什么不用红黑树?4、接着3,红黑树和B+树的区别、java使用红黑树为了什么,使用红黑树有哪些好处和弊端,红黑树是什么?5、接着4,HashMap在java1.7和java1.8版本中有哪些不同?Concurrent
2020-06-12 10:24:00
2285
原创 字节跳动技术支持面试小记
2020.6.11上午,有幸参与了字节跳动技术支持岗的视频面试。暂且记录下面试问的问题吧。1、自我介绍2、mybatis的缓存原理3、微服务注册中心的原理4、如何保证rocketMq的高可用5、工作中有没有做过数据库的主从同步(就当做数据主从同步的原理吧)6、抓包工具用过哪些,讲一下抓包处理问题的流程,比如:接口返回500错误怎么处理7、spring的ioc原理8、数据库(MySql)的索引有哪些、原理是什么、使用的注意事项、结合实际工作讲一下(如何定位查询慢的问题)9、
2020-06-12 09:44:11
3767
1
原创 solr7.2.1集成ansj分词器
最近刚离职,为了尽快找到好的工作,不敢不好好学习,查漏补缺。之前的工作满打满算做了11个月,主要内容是搜索业务接口的开发,主要使用的是solr引擎,工作期间由于忙于业务并没有对solr的基础进行过仔细的学习,这两天先从solr最基本的知识点开始梳理。 关于分词器,工作中用的是ik分词器,起初也对各种分词器进行过调研和比较,最后觉得ansj还是比其他分词器要好些,所以想...
2018-12-05 15:57:57
449
原创 学习记录(探究java i/o)
输入/输出:探究java.io本章将介绍打包在java.io中的基于流的I/O系统,它们自Java最初发布以来就已提供且被广泛使用从1.4版本开始,java添加量另一套I/O系统,被称为NIO(也就是新I/O)NIO被打包到java.nio及其子包中。1 I/O类和接口(见截图)2 File 类尽管java.io定义的大多数类用于操作流,但File不是。
2017-10-02 17:14:21
291
原创 剑指offer66题(1-6)
第一题/**在一个二维数组中,每一行都按照从左到右递增的顺序排序,每一列都按照从上到下递增的顺序排序。 * 请完成一个函数,输入这样的一个二维数组和一个整数,判断数组中是否含有该整数。 * Created by gentl on 2017/9/18. */public class T1_cankao { /*两种思路 一种是: 把每一行看成有序递增的数组,
2017-09-20 21:56:03
232
原创 东方财富笔试题最后一题(2017.09.16)
一个简单的编程题:有一个n*n的二阶数组,从右上角开始,顺时针,从外到内,依次遍历所有元素。例如:1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16输出:4 8 12 16 15 14 13 9 5 1 2 3 7 11 10 6代码如下:package ...
2017-09-16 23:42:12
7545
5
原创 jni.h no such file or directory(第一次使用JNI的常见问题)
刚才遇到这个问题,搜了半天,没有合适的解决办法。然后回头看vs2017上的一些设置。我之前在x86平台上就在“包含目录”那一项上设置了"jdk路径\include\win32"和“jdk路径\include”而我在换到64位平台时没有在这里设置路径,所以遇到此问题,设置好之后,问题解决。
2017-09-15 21:51:37
2859
原创 Java多线程学习记录
java多线程1 线程模型1.1线程优先级 ·线程自愿地放弃控制:线程显式地放弃控制权、休眠或在I/O之前阻塞,都会 出现这种情况。在这种情况下,检查所有其他线程,并且准备运行的线程中 优先级最高的那个线程会获得资源。 ·线程被优先级更高的线程取代。对于这种情况,没有放弃控制权的低优先级 线程不管正在做什么,都会被高优先级线程简单地取代。基本上,只要
2017-09-15 20:24:28
272
原创 java的I/O学习记录(以及一些其他知识点)
JAVA的I/O1 I/O的基础知识 1.1 流 Java程序通过流执行I/O。 流是一种抽象,要么产生信息,要么使用信息。 流通过java的I/O系统链接到物理设备。 所有流的行为方式都是相同的,尽管与他们连接的物理设备是不同的。 因此,可以为任意类型的设备应用相同的I/O类和方法。 这意味着可以将许多不同类型的输
2017-09-15 20:23:18
300
原创 2017.09.09网易校招笔试第一题
题目忘了,大意是:给你一个长度为n的整形数组A,你可以对A中的元素进行各种排列组合,看是否存在满足以下条件的数组:在该数组中,A[i]*A[i+1]%4==0,这里0先上代码(我不确定这个代码一定完全正确,但是我测试的数据结果都正常,把代码放在这里,主要是希望能有人再给指点指点)import java.util.Scanner;/** * Created by gentl o
2017-09-11 16:06:57
369
原创 2017秋招,网易校招网络笔试第二题,java实现
拿到这个题第一时间我是懵逼的,最终也没做出来,不过后来继续思考,又找了找资料,思路就出来了。首先是找到合法的括号序列。(这也是我的瓶颈,之前没接触过这种题,哎,太low了我。)此处参考博客:http://blog.csdn.net/xiaohei00000/article/details/50859678分析:给定数组n,求n对括号可以组成的括号序列。因为数字为n,所以每个字符
2017-09-11 15:31:39
498
原创 华为面试题(笔试,8分钟写出代码)
public class MinDiff { public static void main(String[] args){ int[] aa={2,5,4,3,1,0}; int[] bb={7,9,8,10,6,11}; exchange(aa,bb); } static void exchange(int[] a,in
2017-09-05 23:27:35
3358
转载 链表面试题代码总结(java)
这是原文链接:http://www.jianshu.com/p/a64d1ef95980最近总结了一下数据结构和算法的题目,这是第二篇文章,关于链表的,第一篇文章关于二叉树的参见废话少说,上链表的数据结构class ListNode { ListNode next; int val; ListNode(int x){ val = x;
2017-08-08 23:22:51
358
转载 二叉树面试题总结(Java)
本文参考博客:http://www.jianshu.com/p/0190985635eb先上二叉树的数据结构:class TreeNode{ int val; //左孩子 TreeNode left; //右孩子 TreeNode right;}二叉树的题目普遍可以用递归和迭代的方式来解1.求二叉树的最大深度int maxDea
2017-08-08 23:15:52
662
Professional C# 5.0 and .NET 4.5.1源代码(23-47)
2016-01-17
Professional C# 5.0 and .NET 4.5.1源代码(2-22)
2016-01-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人