java
是小海腾呀
大数据
展开
-
job的提交流程
hadoop jar jar包 类名 参数1、客户端向rm提交任务2、rm生成jobId和path,并返回客户端3、客户端上传资源,并返回上传成功的结果给rm4、rm将job任务放入调度队列5、rm分配一个资源,用来启动appMaster6、nodemanager从hdfs上拉取资源到本地7、nodemanager拉取完资源后,向客户端发送申请执行语句的命令8、客户端将启动命令返回...原创 2019-05-27 10:03:22 · 466 阅读 · 0 评论 -
java快速排序,插入排序
快速排序package test2;import java.util.Arrays;public class Server1 { public static void quickSort(int arr[],int low,int hight) { if(low<hight) { int mid=partition(arr,low,hight); quickSort(...原创 2019-04-17 21:56:35 · 291 阅读 · 0 评论 -
java实现的简单图书管理系统
设计一个图书管理系统,要求如下:1、添加一本图书(书名、作者、售价)2、删除所有指定作者的书3、查询所有指定作者的书,按照售价升序排序。4、将图书馆中存储的所有的图书缓存到磁盘上,路径不限。5、读取本地缓存的所有的图书信息class Book implements Serializable {public String bookName;public String bookAuth...原创 2019-04-17 21:41:17 · 2732 阅读 · 1 评论 -
mybatis 一级缓存和二级缓存区别 与理解
一级缓存基于sqlSession默认开启,在操作数据库时需要构造SqlSession对象,在对象中有一个HashMap用于存储缓存数据。不同的SqlSession之间的缓存数据区域是互相不影响的。一级缓存的作用域是SqlSession范围的,当在同一个sqlSession中执行两次相同的sql语句时,第一次执行完毕会将数据库中查询的数据写到缓存(内存),第二次查询时会从缓存中获取数据,不再去底...原创 2019-04-15 09:25:37 · 7086 阅读 · 0 评论 -
MR的shuffer过程
1.概述 v mapreduce中,map阶段处理的数据如何传递给reduce阶段,是mapreduce框架中最关键的一个流程,这个流程就叫shuffle;通俗的讲, Shuffle描述着数据从map task输出到reduce task输入的这段过程 v shuffle: 洗牌、发牌——(核心机制:数据分区,排序,缓存); v 具体来说:就是将maptask输出的处理结果数据,分发给re...翻译 2019-05-27 10:14:49 · 255 阅读 · 0 评论