数据研发面经——字节跳动

只会收藏他人资料的卑微嘎

已于 2022-07-25 10:47:19 修改

阅读量1.5k

点赞数 1

文章标签： java 开发语言后端

于 2022-02-24 09:17:08 首次发布

本文链接：https://blog.csdn.net/weixin_43708627/article/details/121928686

版权

接口的出现：

相同点

不同点

抽象类中可以有普通成员变量，接口中没有
抽象类中有非抽象的普通方法，接口中只有抽象方法
抽象类中的抽象方法的访问类型可以是public，protected，接口中的抽象方法只能是public的
抽象类和接口中都可以包括静态成员变量，抽象类中的静态成员变量的访问类型可以任意，但接口中定义的变量只能是public static final类型的，接口中都是常量
一个类可以实现多个接口，但是只能集成一个抽象类

强引用：java默认的引用，垃圾回收器永远不会回收被引用的对象，内存不足会抛出异常
软引用：内存足够，不会被回收，内存不足，系统会回收软引用对象，如果回收了软引用之后仍然没有足够的内存，才会抛出内存溢出异常，常被用来实现缓存技术 SoftReference<byte[]> sr = new SoftReference<>(buff); java.lang.ref.SoftReference类来表示软引用
弱引用：无论内存是否足够，只要JVM开始进行垃圾回收，弱引用关联的对象都会被回收
WeakReference<byte[]> sr = new WeakReference<>(buff) 用 java.lang.ref.WeakReference 来表示弱引用
虚引用：随时可能被回收，和没有任何引用一样，查看源码发现它只有一个构造函数和一个 get() 方法，而且它的 get() 方法仅仅是返回一个null，也就是说将永远无法通过虚引用来获取对象必须和引用队列ReferenceQueue 一起使用
用 PhantomReference 类来表示

加锁防止并发

共享锁，读锁，可以查看但无法修改和删除数据，当数据库被别人增加了读锁的时候，其他新来的事务可以读数据，但是不能写，也就是，如果事务T对数据A加上共享锁后，则其他事务只能对A再加共享锁，不能加排他锁，获得共享锁的事务只能读数据，不能修改数据
排他锁，写锁，既能读数据，也能修改数据。如果数据库已经被别人加了排他锁，那么后面的事务无法在数据库上加任何锁
悲观锁，借助数据库锁机制，在修改数据之前先锁定，一个事务如果锁定了某行数据，其他事务必须等待该事务处理完才可以处理那行数据。
- 在对记录修改前，先尝试为该记录加上排他锁
- 如果加锁失败，说明该记录正在被修改
- 如果枷锁成功，就可以对该记录做修改
- 其间如果有其他事务要对该记录做加锁的操作，都要等待或者抛异常
乐观锁，不会使用数据库提供的锁机制，记录数据版本

shuffle是map之后，reduce之前的操作，在map task端和reduce task端都有，首先map处理之后的结果进入到shuffle阶段，在进入到环形缓冲区之前，先进行分区，环形缓冲区相当于内存，map之后的数据写到缓冲区，当到80%的时候开始反向溢写，可以看做又开了一个线程，之前的继续写到缓冲区，新的将缓冲区的溢写到磁盘，在溢写之前，进行一次快排，保证区内有序，当所有的文件都溢写到磁盘之后，再进行一次归并排序，保证区内有序，最后都保存到了磁盘上，这时reduce来拉取对应分区的数据，并进行一次归并排序，按照相同的key分组，相同的key进入到同一个reduce中。
mapreduce，首先提交job，向yarn提交三份东西，split，jar，xml，开启mrAppmaster，根据切片数开启map task的个数。

总结

相同点

不同点

关注