- 博客(9)
- 收藏
- 关注
RSS订阅原创 hive中针对大数据量排序问题
hive中针对大数据量排序问题 问题：在hive表中对十亿级数据进行全局row number（）over排序求行号的时候发现搞不定 解决思路：将表映射到hbase中，然后用 hbase org.apache.hadoop.mapreduce.RowCounter’表名’就可以解决了 ...
2019-12-10 01:23:13
1755
原创 JVM判断对象存活
JVM判断对象存活 引用计数法 所谓引用计数法就是给每一个对象设置一个引用计数器，每当有一个地方引用这个对象时，就将计数器加一，引用失效时，计数器就减一。当一个对象的引用计数器为零时，说明此对象没有被引用，也就是“死 对象”,将会被垃圾回收.。 引用计数法有一个缺陷就是无法解决循环引用问题，也就是说当对象A引用对象B，对象B又引用者对象A，那么此时A,B对象的引用计数器都不为零，也就造成无法完成垃...
2019-08-09 14:48:05
249
原创 JVM思维导图
JVM思维导图 jvm需要了解的知识点，其中详细地知识点等有时间了会具体的写一下，如果大佬对其中的知识点有比较深刻的见解，请评论区附上博客链接， ...
2019-08-09 10:32:07
230
原创 Hadoop框架详解
文章目录Hadoop框架详解Apachehadoophadoop主要模块HDFSClientNamenodeDatanodesecondary namenodeMapReduce计算框架MapReduce 作业的生命周期YARNResourceManagerNodeManagerApplicationMasterYARN 运行流程 Hadoop框架详解 Apachehadoop 大家想了解更多关于...
2019-08-09 10:02:12
776
翻译 MR的shuffer过程
1.概述 v mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle； 通俗的讲， Shuffle描述着数据从map task输出到reduce task输入的这段过程 v shuffle: 洗牌、发牌——（核心机制：数据分区，排序，缓存）； v 具体来说：就是将maptask输出的处理结果数据，分发给re...
2019-05-27 10:14:49
337
原创 job的提交流程
hadoop jar jar包 类名 参数 1、客户端向rm提交任务 2、rm生成jobId和path，并返回客户端 3、客户端上传资源，并返回上传成功的结果给rm 4、rm将job任务放入调度队列 5、rm分配一个资源，用来启动appMaster 6、nodemanager从hdfs上拉取资源到本地 7、nodemanager拉取完资源后，向客户端发送申请执行语句的命令 8、客户端将启动命令返回...
2019-05-27 10:03:22
541
原创 java快速排序，插入排序
快速排序 package test2; import java.util.Arrays; public class Server1 { public static void quickSort(int arr[],int low,int hight) { if(low<hight) { int mid=partition(arr,low,hight); quickSort(...
2019-04-17 21:56:35
371
原创 java实现的简单图书管理系统
设计一个图书管理系统，要求如下： 1、添加一本图书（书名、作者、售价） 2、删除所有指定作者的书 3、查询所有指定作者的书，按照售价升序排序。 4、将图书馆中存储的所有的图书缓存到磁盘上，路径不限。 5、读取本地缓存的所有的图书信息 class Book implements Serializable { public String bookName; public String bookAuth...
2019-04-17 21:41:17
2899
1
原创 mybatis 一级缓存和二级缓存区别 与理解
一级缓存基于sqlSession默认开启,在操作数据库时需要构造SqlSession对象，在对象中有一个HashMap用于存储缓存数据。不同的SqlSession之间的缓存数据区域是互相不影响的。 一级缓存的作用域是SqlSession范围的，当在同一个sqlSession中执行两次相同的sql语句时，第一次执行完毕会将数据库中查询的数据写到缓存（内存）， 第二次查询时会从缓存中获取数据，不再去底...
2019-04-15 09:25:37
7725
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人