2018年05月_历史五千年

11月 10月 09月 07月 06月 05月 04月 03月 01月

原创 hadoop HA场景下 java客户端远程访问hdfs配置

当hadoop namenode是HA集群时，客户端远程访问hdfs有两种实现方法：方法1：将所有关于namenode的参数写入Configuration对象中。代码：package com.lx;import java.io.BufferedInputStream;import java.io.FileInputStream;import java.io.InputStrea...

2018-05-31 19:16:14 5463 2

原创 windows下开发mapreduce程序，打包在linux hadoop集群执行过程

假设mapreduce程序已经写好，主类名称是com.wc.WordCount 下面开始演示。 1、右键项目，点击export 2、在export界面选择java jar 3、输入文件名，点击finish 4、上传到hadoop集群namenode节点上 5、使用hadoop jar命令进行执行命令格式：hadoop jar jarFileName mainClass ...

2018-05-31 14:02:47 2476

原创 mapreduce程序分解

mapreduce任务过程分为两个处理阶段：map阶段和reduce阶段。每个阶段都以键值对作为输入输出，其类型由程序员指定。程序员还需要重写两个函数：map函数和reduce函数。 map阶段输入的键是每一行的行偏移量；输入的值是该行文本，输出的键和值由程序员自定义。下面以统计文本单词数进行演示。假设有如下文本：[hadoop@hadoop1 ~]$ cat 1.txthel...

2018-05-31 13:23:37 814

原创 hadoop-2.6.5完全分布式集群安装，使用zookeeper做namenode和resourcemanager的HA

集群规划：需要的软件安装包： CentOS 6.5 X86_64: https://pan.baidu.com/s/10UzTzJmG2ZahRBkcmuLzNQ hadoop-2.6.5.tar.gz: https://pan.baidu.com/s/1mjZCzshR5oQWZM3cLJt60g jdk-8u172-linux-x64.tar.gz: https://pan.ba...

2018-05-29 20:05:52 702

原创 hadoop-2.6.5伪分布式集群搭建

本次搭建hadoop所使用的操作系统是红帽6，32位系统。[hadoop@hadoop01 ~]$ cat /etc/redhat-release Red Hat Enterprise Linux Server release 6.0 (Santiago)[hadoop@hadoop01 ~]$ uname -aLinux hadoop01 2.6.32-71.el6.i686 #1 S...

2018-05-11 17:05:08 1321 1

原创 hadoop java API实现文件下载

package com.zlf;import java.io.FileOutputStream; import java.io.IOException;import org.apache.commons.io.IOUtils; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FS...

2018-05-10 14:12:36 2076

原创 hadoop java API实现文件上传

package com.zlf;import java.io.FileInputStream;import java.io.IOException;import org.apache.commons.io.IOUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataOutp...

2018-05-10 13:58:05 2218

原创 java文件I/O操作

文件在程序中是以流的形式来操作的。 java流分为两种：字节流：用来读取二进制文件以及任何类型的文件字符流：用来读取文本文件字节流 InputStream : 字节输入流的所有类的超类 OutputStream : 字节输出流的所有类的超类字符流 Reader : 读取字符流的抽象类 Writer : 写入字符流的抽象类以下是文件操作常用的类。java.io....

2018-05-03 15:45:55 218

原创 java创建新执行线程有两种方法。

java创建新执行线程有两种方法。一种方法是将类声明为 Thread 的子类。该子类应重写 Thread 类的 run 方法。接下来可以分配并启动该子类的实例。例如，计算大于某一规定值的质数的线程可以写成： class PrimeThread extends Thread { long minPrime; PrimeThread(long minP...

2018-05-02 14:01:42 947