2018年07月_fuzuxian

转载 Hadoop RPC框架解析

转自大佬的博客：https://blog.csdn.net/thomas0yang/article/details/412112591、RPC框架概述1.1 RPC（Remote Procedure Call Protocol）——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间...

2018-07-31 22:22:34 527

原创 Eclipse关联Hadoop的源码（Ubuntu系统）_安装protoc_maven下载Hadoop源码

1. 安装maven 下载： apache-maven-3.2.5-bin.zip 配置环境变量： MAVEN_HOME=~/software/apache-maven/apache-maven-3.2.5 Path=%MAVEN_HOME%\bin 验证是否成功： mvn -ver...

2018-07-31 22:15:26 134

原创 RPC通信_远程调试——Hadoop

、、、、、///////\\ RPCServer.javaimport java.io.IOException;import org.apache.hadoop.HadoopIllegalArgumentException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.ipc.RPC;im...

2018-07-31 11:28:45 444

原创 HDFS的shell命令行操作以及Java接口

例如： $ hadoop fs -ls /-help |—— 功能：输出这个命令参数手册-ls |—— 功能：显示目录信息示例：hadoopfs−lshdfs://Master:9000/备注：这些参数中，所有的hdfs路径都可以简写,–&gt;hadoopfs−lshdfs://Master:9000/备注：这些参...

2018-07-30 15:40:06 922

原创 MapReduce例子——找出QQ共同好友

///////////////////\\\\\\\\ fri.txt 如下： person: friend1, friend2, friend3, friend4, …..A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E,OI:A,OJ:B,...

2018-07-29 20:14:41 528

转载 swig_JAVA程序调用C/C++库_方法四

转自大佬的博客： https://blog.csdn.net/fengsh998/article/details/8140587 可参考博客： http://yingchao.iteye.com/blog/625797  下面的例子，先从网上找来一个.c文件。example.c/* File : example.c */ #includ...

2018-07-19 11:05:25 604

转载 jnaerator_JAVA程序调用C/C++库_方法三

转载自大佬的博客： https://blog.csdn.net/10km/article/details/79252303 众所周知，java程序如果要调用动态库(.so,.dll)的函数，最传统方式是使用JNI技术，用JNI写java调用接口代码是非常痛苦的，调试也是比较麻烦的事儿，JNA推出后，大大降低了开发难度...

2018-07-19 10:47:54 2544 1

转载 JNA_JAVA程序调用C/C++库_方法二·

使用JNA访问Java外部功能接口 1. JNA简单介绍先说JNI(Java Native Interface)吧，有过不同语言间通信经历的一般都知道，它允许Java代码和其他语言（尤其C/C++）写的代码进行交互，只要遵守调用约定即可。首先看下JNI调用C/C++...

2018-07-19 10:47:23 825

原创 JNI_JAVA程序调用C/C++库_方法一

实际中，java语言有时还是会需要编写或使用其他语言的代码，这种代码通常成为本地代码用java调用C/C++函数通过Java调用C++代码编写的 *.dll 类库中封装的方法，本 Demo 中包含两个方法，一个是输出文本信息，无返回值；一个计算并返回两个整数之和。1. 编写Java接口package package test.test_1;public class t...

2018-07-17 21:51:13 3673

转载图解JavaEE, JavaWeb和JavaSE的知识体系

转载自大佬的博客：https://blog.csdn.net/weixin_39297312/article/details/79454642 JavaSEJava SE 以前称为 J2SE。它允许开发和部署在桌面、服务器、嵌入式环境和实时环境中使用的 Java 应用程序。Java SE 包含了支持 Java Web...

2018-07-16 18:06:19 363

原创线程Thread类(创建线程、线程同步、死锁、线程通讯、线程的停止、守护线程、join 方法)——Java基础

1. Thread 类进程：正在执行的程序作为一个进程，进程负责内存空间的划分单核的CPU在一个时间只能执行一个应用程序，各个应用程序在抢CPU资源 * 线程 Thread ：任何一个java程序，jvm在运行的时候都会创建一个main线程执行main方法中所有的代码 * 一个java 应用程序至少有 2 个线程 jvm 创建的一个主线程是负责 main 方法代码的执...

2018-07-16 13:39:01 266

原创增强for循环、可变参数、自动装箱与自动拆箱、枚举——Java基础

1. 增强for循环增强for循环作用：简化迭代器的书写格式适用范围：实现Iterable接口的对象或者数组对象都可以使用for循环格式： for（变量类型变量名：遍历的目标）注意事项： * 1. 底层还是使用迭代器遍历，获取迭代器由jvm完成，增强for循环过程不允许使用集合修改 * 2. 迭代器遍历与增强for循环区别：可以用迭代器的remove方法...

2018-07-15 14:29:48 208

原创 IO流_ Properties (配置文件类), 编码与解码, 转换流(InputStreamRead)——Java基础

1. Properties (配置文件类) Properties (配置文件类) ：主要用于生产配置文件与读取配置文件的信息 * 表示了一个持久的属性集。Properties 可保存在流中或从流中加载。属性列表中每个键及其对应值都是一个字符串 * public class Properties extends Hashtable <Object,Object> 1....

2018-07-14 22:10:58 846

原创 IO流_字符流、序列流、对象输出流（Reader，Writer, SequenceInputStream ，ObjectOutputStream）——Java基础

1. 字符流：字节流 + 编码表在写入一个字符时，Java虚拟机会将字符转为文件指定的编码（默认是系统默认编码），在读取字符时，再将文件指定的编码转化为字符。常见的码表如下：ASCII：美国标准信息交换码。用一个字节的7位可以表示。ISO8859-1：拉丁码表。欧洲码表，用一个字节的8位表示。。GB2312：英文占一个字节，中文占两个字节. 中国的中文编码表。GBK：中国的中文...

2018-07-14 21:36:07 249

原创 IO流（FileInputStream, BufferedInputStream）字节流与 IO 异常处理——Java基础

1. FileInputStream ：读取文件数据的输入字节流字节流：字节流读取的都是文件中的二进制数据，读取到二进制数据不会经过任何处理字符流：读取的数据以字符为单位，也是读取二进制数据，但是会把二进制数据转化成我们能识别的数据。字符流 = 字节流 + 解码使用FileInputStream 读取文件数据的步骤： 1. 找到目标文件 ...

2018-07-14 17:23:57 1496

原创 File类——Java基础

1. File类1.1 构造IO 流：硬盘《----》内存，键盘的数据 ----》内存 File 类的构造方法： File(String pathname) 根据指定文件或文件夹的路径创建一个File文件 F...

2018-07-14 16:10:41 154

转载代理模式_知识点与应用——Java基础

转自： https://www.cnblogs.com/cenyu/p/6289209.html Java的三种代理模式1.代理模式代理(Proxy)是一种设计模式,提供了对目标对象另外的访问方式;即通过代理对象访问目标对象.这样做的好处是:可以在目标对象实现的基础上,增强额外的功能操作,即扩展目标对象的功能.这里使用到编程中的一个思想:不要随意去修改别人已经...

2018-07-14 15:02:14 122

原创内部类_知识点与代码——Java基础

参考博客： Java内部类详解。 java提高篇(八)----详解内部类。 Java内部类的定义和使用 - 易小怪兽_iKing。1. 内部类基础内部类：将一个类定义在另一个类里面或者一个方法里面；成员内部类、局部内部类、匿名内部类、静态内部类1.1 成员内部类：位于另一个类的内部class Circle { private double radius = 0; pu...

2018-07-14 13:49:12 136

转载反射_原理与应用代码——Java

转自大佬的博客： (https://blog.csdn.net/sinat_38259539/article/details/71799078) 反射是框架设计的灵魂（使用的前提条件：必须先得到代表的字节码的Class，Class类用于表示.class文件（字节码））一、反射的概述JAVA反射机制是在运行状态中，对于任意一个类，都能够知道这个类的所有属性和方法；对于任意一个对...

2018-07-13 19:08:44 108

原创布隆过滤器(Bloom Filter)原理与应用——Mapreduce

布隆过滤器——初始状态转自：海量数据处理算法—Bloom Filter假设Bloom Filter使用一个m比特的数组来保存信息，初始状态时，Bloom Filter是一个包含m位的位数组，每一位都置为0。布隆过滤器——添加元素将要添加的元素给k个哈希函数（Hash Function），也称之为散列函数，得到对应于位数组上的k个位置，将这k个位置设为1。现有S={x1, x2,…,x...

2018-07-09 19:57:01 2786

原创 Hadoop实现全排序——MapReduce

转自：点击打开链接1. 使用一个Reduce进行排序 MapReduce默认只是保证同一个分区内的Key是有序的，但是不保证全局有序，因此将所有的数据全部发送到一个Reduce，这样实现全排序。import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.Path;import org.apache.hadoo...

2018-07-09 13:46:49 1090

转载自大佬的：https://www.cnblogs.com/codeOfLife/p/5464956.html &amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp; 针对前面介绍的输入格式，MapReduce也有相应的输出格式。默认情况下只有一个 Reduce，输出只有一个文件，默认文件名为 part-r-00000，输出文件的个数与 Reduce 的个数一致。如果有两个Redu...

2018-07-08 21:53:18 1089

转载 Partitioner内置分区与Partitioner自定义分区

转载自： https://blog.csdn.net/hanweida/article/details/45744781 MapReduce——Partitioner内置分区与Partitioner自定义分区MapReduce的编程灵活性很高，其中Partitioner分区函数的作用也很重要。Partitioner分区函数的作用：根据业务的需求，...

2018-07-08 21:42:53 495

转载 MapReduce设计模式学习——读书笔记

转载自大佬的博客： https://blog.csdn.net/gamer_gyt/article/details/50866905一：概要模式1：简介概要设计模式更接近简单的MR应用，因为基于键将数据分组是MR范型的核心功能，所有的键将被分组汇入reducer中本章涉及的概要模式有数值概要（numerical summarization），倒排索引（inverted index）...

2018-07-08 17:20:50 533

转载 MapReduce—API

转 Hadoop API 使用介绍 &amp;lt;div class=&quot;article-info-box&quot;&amp;gt; &amp;lt;div class=&quot;article-bar-top d-flex&quot;&amp;gt;

2018-07-07 22:37:11 843

转载 Mapper类——hadoop

1、Map是一些单个任务。Mapper类就是实现Map任务的类。haddop提供了一个抽象的Mapper基类，程序员需要继承这个基类，并实现其中相关的接口函数一个示例Mapper类的定义如下： public static class MyMapper extend Mapper<Object, Text ,Text ,IntWritable>①Mapper类是Hadoop提供...

2018-07-07 21:31:22 1179

生活不止眼前的枸杞，还有蜂蜜和咖啡！