hdfs的读写文件过程

写详细步骤: 1、客户端向NameNode发出写文件请求,。 2、检查是否已存在文件、检查权限。若通过检查,客户端调用DistributedFileSystem的create方法创建文件,直接先将操作写入EditLog,并返回输出流对象。 (注:WAL,write ahead log,先写Log...

2019-05-09 12:25:36

阅读数 34

评论数 0

java的经典算法--递归解决爬楼梯问题

面试中比较常见的算法问题 假设你正在爬楼梯,需要n步你才能到达顶部。但每次你只能爬一步或者两步,你能有多少种不同的方法爬到楼顶部 样例 比如n=3,1+1+1=1+2=2+1=3,共有3中不同的方法 返回 3 public class Solution { /** * @param ...

2019-05-09 10:06:43

阅读数 32

评论数 0

java 线程sleep和wait

sleep方法不释放锁,指定时间结束后自动醒,wait释放锁,必须由notify唤醒

2019-04-08 21:34:14

阅读数 18

评论数 0

java多线程--run方法和start方法的区别

/*创建一个线程 Thread t1 = new Thread(); t1.run(); 只是调用了一个普通方法,并没有启动另一个线程,程序还是会按照顺序执行相应的代码。 t1.start(); 则表示,重新开启一个线程,不必等待其他线程运行完,只要得到cup就可以运行该线程。*/ packa...

2019-04-04 16:13:39

阅读数 29

评论数 0

java list集合的遍历删除

list集合可以用remove方法来删除元素,但是用简单的for循环遍历来依次删除肯定是错的 package udf; import java.util.ArrayList; import java.util.Arrays; public class Quanxian { public ...

2019-04-03 20:45:52

阅读数 31

评论数 0

hive的一些基础知识

Hive 是什么? Hive 是建立在 Hadoop 上的数据仓库。通俗的说,数据仓库就是用来作为查询 分析的数据库,很少用来插入,修改,删除 当前我们使用的hive版本是2.5.3.0-37 hive中的基本数据类型 数值型:tinyint、smallint、int、integer、bigi...

2019-03-29 22:06:30

阅读数 70

评论数 0

java 集合有序无序

有序、无序是指在进行插入操作时,插入位置的顺序性 先插的位置在前,后插的位置在后,则为有序,反之无序 而大家容易混淆的就是排序,排序是指集合内的元素是否按照升序或降序来排序 实现了List接口的集合类全部有序,如ArrayList、LinkedList 实现了Set接口的集合类中,HashSet...

2019-03-28 21:55:44

阅读数 63

评论数 0

java 的四种修饰符权限

同类 同包 子类 其他包 public √ √ √ √ protect √ √ √ × default √ √ × × private √ × × ×

2019-03-27 15:43:41

阅读数 32

评论数 0

数据倾斜发生的原因及解决办法

发生原因:1、数据本身分布不均,比如双十一和其它某个普通的日期相比,消费数据差别很大,这时把日期作为分区标志的话,就会造成map任务分布机不均匀。再比如某些恶意账号刷数据时,出现某一个账号下的数据特别多的现象。 2、数据不可切分造成一个map处理的数据太多 2、机器的原因,机器配置不同,有的运...

2019-03-26 22:09:53

阅读数 36

评论数 0

java死锁的构建

在一个多线程得环境当中,A线程拿了a资源再等待b资源,B线程拿到了b的资源,正在等待获取a资源。但是要求a和b资源均为共享资源,若不是共享资源,则不存在线程同步问题。 public class DeadLock { static class MyThread extends Thread {...

2019-03-26 21:58:03

阅读数 240

评论数 0

java实现快速排序

public class TestQuickSort { public static void quickSort(int [] intArray,int low,int high){ if(){ return; } } ...

2019-03-26 20:25:00

阅读数 41

评论数 0

Object的常用方法

equals: 判断两个对象是否相等,java原生实现的是比较地址,重写后可自定义,多改成按内容比较。比如String,Integer等。 hashcode 返回对象的hashcode值,是个int值,多用于hash结构的对象,比如hashset、hashmap,用于查找位置之后的再进行eq...

2019-03-26 17:22:30

阅读数 31

评论数 0

java的单例模式--饿汉模式

单例模式,用来是实现来产生一个对象,在一个应用进程中自始至终,只有一个实例对象 饿汉模式,来了就要吃 public class EleManSingle { private static EleManSingle singleton = new EleManSingle(); ...

2019-03-25 21:31:06

阅读数 59

评论数 1

java中的多态

比如你要做个篮子放水果,你当然不希望造这样的篮子--苹果篮子,橘子篮子,梨篮子,正常人都会想,麻烦啊,我就造个篮子,什么都能放,干嘛造那么多啊? 回归程序:你造个篮子 basket();参数是水果 fruit,这样你调用的时候就可以这样 basket(fruit f);然后往里放苹果啊,梨啊,什么...

2019-03-21 15:19:53

阅读数 3

评论数 0

mysql的一些基础知识

DDL:Data Definition Language(数据定义语言)create、alter、drop DML:Data Manipulation Language(数据操作语言) insert、update、delete DQL:Data QueryLanguage(数据查询语言),主要...

2019-03-13 21:39:04

阅读数 10

评论数 0

hive项目准备工作的常用模式

当我们开发项目,进行数据仓库的操作时,我们没必要一条命令一条命令的写,我们可以把命令分门别类的写在操作系统脚本文件里,然后把命令中的变量用参数代替(以后只需要修改这些参数就行了),然后去执行这些文件就行了。文件多了也需要分开放置到不同路径里,常用的四个路径是config、create、deal、u...

2018-05-20 08:43:41

阅读数 105

评论数 0

JDBC和DBCP

jdbc是Java Database Connectivity(java数据库连接)是一种用于执行sql语句的java api 示例源码(防注入、使用PrepareStatement): 首先要利用反射注册加载驱动,然后是建立连接,这个过程需要指明url(类似于ip,用于识别数据库的位置,其写...

2018-04-09 20:21:58

阅读数 1203

评论数 0

java版二次排序的流程

基本的二次排序,以按照两个字段排序为例。先按第一字段升序,再按第二字段降序。二次排序的核心是把原来的key--value对组合成key,称为newkey,value还是value。与原来的wordcount相比,多了一个“分组”步骤,就是把newkey中的第一个字段相同的数据放到一起,再按第二个字...

2018-04-08 21:50:08

阅读数 292

评论数 0

MapReduce具体过程

统计hdfs某个文件中重复单词的数目(WordCount),每个单词用空格分隔,统计每个单词的出现频率,说明MapReduce框架的过程。进行map过程之前,进行Pre-Map过程。框架帮我们把文件切分,NameNode把文件切分成block,每个block最大为128M;文件小于128M时,文件...

2018-03-17 22:53:59

阅读数 145

评论数 0

大数据生态组件简述

1、客户端向 nameNode 发送要上传文件的请求2、nameNode 返回给用户是否能上传数据的状态3、加入用户端需要上传一个 1024M 的文件,客户端会通过 Rpc 请求 NameNode,并返回需要上传给那些 DataNode(分配机器的距离以及空间的大小等),namonode会选择就近...

2018-03-17 09:16:27

阅读数 225

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭