2018年06月_axj1990

07月 06月

原创 hadoop操作遇到的问题

问题一：输出文件已存在在运行wordcount时，main函数接收文件输入和输出参数时，使用hadoop jar wc.jar com.hadoop.WordCountDriver /intup /output,报output file Already exists。用的hadoop-2.7.5，程序完全正确解决方法：hadoop jar wc.jar /intup /output，不需要mai...

2018-06-21 15:25:44 272

原创拆解字符串

1问题描述连续输入一串字符串（长度不超过100），请按字符串长度为10拆分每个字符串后，将拆分的字符串输出到新的字符串数组；长度不是10整数倍的字符串请在后面补字符@，空字符串不用处理。输入格式连续输入字符串，字符串长度小于100输出格式输出到长度为10，的新字符串数组，打印新字符串数组值2方法（1）设置一个临时空字符串temp和一个整数j；每遍历字符串s中的一个字符，j++，temp=temp+...

2018-06-21 15:09:56 1889

原创简单的rpc实现

1.什么是rpc？RPC（Remote Procedure Call）—远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。 client functions：客户端，请求发送端client stub：客户端句柄，主要是获...

2018-06-15 11:15:15 808

原创括号匹配算法2

上一篇中，我只是实现了（与）的括号匹配，没有实现其他括号，比如[ ,]和{，}，多括号相配，具体实现依然是使用栈，遍历字符串，遇到），], }字符时，出栈，最后判断栈是否为空。具体代码java： public boolean kuohao( String s){ if (null==s ){ return false; } ...

2018-06-15 09:18:04 197

原创括号匹配算法

问题说明：给（和）组成的字符串，判断该字符串中（）是否成对出现，例如（），（）（），（（））。解决方法：使用栈的特性：先进后出（1）遍历字符串，遇到（字符时，（进栈；遇到）时，将栈顶元素pop操作。（2）遍历后若栈中有字符，则不匹配；若，栈为空，则字符串中（）匹配具体代码（java实现）：public class LeetcodeTest { public static void mai...

2018-06-14 16:59:24 276

转载关于HDFS的 block、packet与chunk详解

block、packet与chunk在DFSClient写HDFS的过程中，有三个需要搞清楚的单位：block、packet与chunk；block是最大的一个单位，它是最终存储于DataNode上的数据粒度，由dfs.block.size参数决定，默认是64M；注：这个参数由客户端配置决定；packet是中等的一个单位，它是数据由DFSClient流向DataNode的粒度，以dfs.write...

2018-06-14 13:34:38 3468 4

原创 HDFS写数据流程

在客户端上传文件：hadoop hf -put xxx.txt时，流程如下图所示：1.客户端向NameNode发送上传文件请求：hadoop hf -put xxx.avi /aaa2.NameNode对客户端进行响应，文件系统可以上传文件；3.客户端通过rpc请求NameNode上传第一个block文件块，块的大小默认是128MB,主要是请求文件系统下将block写到哪个dataNode。4....

2018-06-14 13:20:46 211

原创 java动态代理：JDK接口实现方式

(1)什么是代理？大道理上讲代理是一种软件设计模式，目的地希望能做到代码重用。具体上讲，代理这种设计模式是通过不直接访问被代理对象的方式，而访问被代理对象的方法。这个就好比商户---->消防部门119(代理)---->消防员这种模式。我们可以不通过直接与消防对话的情况下，而通过消防119(代理)与其产生间接对话。(2)什么情况下使用代理？(1)设计模式中有一个设计原则是开闭原则，是说...

2018-06-11 11:26:21 6567 3