2019年07月_学习中....

原创 Linux普通用户安装JDK

1.首先将文件下载到家目录：解压：tar -xzvf记录好安装路径，在~/.bash_profile中配置jdk路径2.配置环境vim ~/.bash_profile3.保存退出，之后加载环境source ~/.bash_profile4.查看安装是否成功java -version...

2019-07-30 18:38:24 1371

原创在Eclipse中本地运行Mapreduce

1.首先创建一个maven项目，pom.xml中的配置信息如下：<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 h...

2019-07-28 22:30:29 350

原创 SequnceFile中数据的写入和读取

Writer:Squence.Writer对象的获取方法有很多种重载方法：对于：这个方法的使用。参数分别为： FileSystem Configuration 文件的输出路径 key 和value类型的.class文件。此处键值对的处处类型不强制使用Writable类，只要能被Serializable序列化和反序列化即可。获取Writer对象和配置好参数之后，就可以根据自己的...

2019-07-27 10:09:50 382

翻译 Liunx CentOS卸载java

1.查询java安装包的名称：rpm -qa | grep java2.使用yum卸载，保证已安装yum和配置好网络yum -y remove java java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64yum -y remove java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x...

2019-07-26 08:59:51 6019

原创定长格式（IntWritbale和LongWritable）和变长格式（VIntWritable 和 VLongWritable）

对于定长格式和变长格式：对整数进行编码时，有两种选择，即定长格式（IntWritbale和LongWritable）和变长格式（VIntWritable 和 VLongWritable）.需要编码的数值如果想当小（在127和-127之间，包括-127和127之间），变长格式就是只用一个字节进行编码；否则使用第一个字节便是数值的正负和后跟多少个字节。如何选择？定长格式编码很适合数值...

2019-07-21 11:17:25 3528

原创对于Mapreduce作业的输出

使用方法：1.在作业配置过程中将mapreduce.output.fileoutput.compress属性设置为true,将mapre-duce.output.fileoutputformat.copress.codec属性设置为打算使用的压缩codec的类名。另一种方案为在FileOutputFormat中使用:FileOutputFormat.setCompressOutput(...

2019-07-21 09:10:10 288

原创压缩从标准流输入读取的数据，然后将其写道标准输出

从控制台输入数据，然后对其进行压缩输出到控制台：package Demo5;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.io.IOUtils;import org.apache.hadoop.io.compress.CompressionCodec;import org.apache...

2019-07-20 17:29:46 195

原创 HDFS的数据完整性

1.上传数据时，客户端会负责将数据和校验和发送给datanode，最后一个datanode负责对数据进行校验，如果存在错误，则客户端会抛出异常：2.下载数据时，客户端会从datanode下载校验和，然后对数据进行校验，如果存在错误，client会将数据报告给namenode，然后如果不存在错误，客户端会将数据报告给datanode,datanode会由此更新日志(datanode持久保存...

2019-07-20 14:46:01 538

转载 java_单例模式之（概念、特点）

概念：　　java中单例模式是一种常见的设计模式，单例模式的写法有很多种，比较常见的有三种：懒汉式、饿汉式、内部类、双重验证。　　单例模式有以下特点：　　1、单例类只能有一个实例。　　2、单例类必须自己创建自己的唯一实例。　　3、单例类必须给所有其他对象提供这一实例。单例模式确保该类只被是实例化一次，并且只能自己实例化自己。若想某一类不在类外被实例化，只需用private...

2019-07-18 16:55:06 1358

原创 JAVA8中的接口新特性

在JAVA8以后接口中可以写静态方法和默认方法以及函数接口1.其中的静态方法需要用接口名调用。2.对于函数接口需用@FunctionInterface 标识，但是函数中只能写一个抽象方法，此方法可以使用lambda表达式调用；例子：接口：@FunctionalInterfacepublic interface T { int add(); //静态 static v...

2019-07-18 14:49:34 107

原创 PositionedReadable接口

FSDataInputStream也实现了Positionreadable接口，指从指定偏移量处读取数据。hdfs中文件数据为：首先对第一个方法进行测试：package test01;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.ha...

2019-07-18 10:03:55 225

原创 FSDataInputStream中的seek()方法

FSDataInputStream实现了Seekable接口实现方法：其中的seek(long pos)方法可以,对任意位置进行重新定位，与java.io.inputstream中的skip()不同。举个例子对，hdfs中的一个文件进行两次输出：文件中内容如下：在Eclipse中创建一个类对数据进行读取：package test01;import ...

2019-07-17 17:27:22 2674 2

原创 Hadoop URL读取数据

URL.setURLStreamHandlerFactory(),每个虚拟机只能调用一次这个方法，因此通常在静态中调用这个方法！这个限制以为着如果程序其他的组件已经声明一个实例，则将无法使用这个方法读取。1.在Eclipse中配置好相关环境<dependen...

2019-07-17 15:52:38 334

原创 Hadoop中hdfs dfs 下的命令

命令大全[-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp [-R] GROUP PATH...] [-chmod [-R] &lt...

2019-07-16 21:10:23 236

转载配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。开启日志聚集功能具体步骤如下：1.配置yarn-site.xml在该文件里面增加如下配置。<!-- 日志聚集功...

2019-07-16 20:25:00 408 1

原创 Hadoop配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：1. 配置mapred-site.xmlvi mapred-site.xml在该文件里面增加如下配置。<property> <name>mapreduce.jobhistory.address</name>...

2019-07-16 20:19:32 241

原创递归查看文件、递归删除文件、查看文件夹大小

package file;import java.io.File;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.IOException;public class Test01 { public static void main(String[] args) throws ...

2019-07-16 19:06:24 506

转载 1Hadoop高可靠集群HA(High Availiable)

准备工作：1. 制定集群节点部署计划节点 namenode datanode resourcemanager nodemanager journalnode ZKFC QuorumPeerMain ha...

2019-07-16 19:03:31 252

转载 Combiner的使用（转载）

package combiner;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Te...

2019-07-15 17:55:13 485

原创 ArrayList底层（JAVA8）

1.底层的成员变量 //当创见的实例为空时，在添加元素时，设置默认大小为10 private static final int DEFAULT_CAPACITY = 10; //用于空实例 private static final Object[] EMPTY_ELEMENTDATA = {}; //用于初始化 private static...

2019-07-15 15:46:56 97

原创 zookeeper集群的搭建

1.下载地址：http://zookeeper.apache.org/releases.html#download2.对下在的文件进行解压（我都放在了/apps下）命令：tar -xzvf zookeeper** zookeeper3.修改配置文件：命令：cd /apps/zookeeper/conf 复制一份 zoo_sample.cfg文件到zoo.cfg：...

2019-07-15 13:14:46 124

原创 java连接集群，并获取文件系统的信息

1.Maven中的配置如下：关于Hadoop,如果只配置haddop-client也可，所有的如下依赖包都会被下载。<dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</versi...

2019-07-13 10:34:45 303

转载 org.apache.poi 读取数字问题

poi的配置maven配置：<dependencies> <dependency> <groupId>org.apache.poi</groupId> <artifactId&gt...

2019-07-12 08:46:11 2818

转载 Eclipse中Maven的配置以及优化

下载地址：http://maven.apache.org/download.cgi1.首先从官网下载maven压缩包，然后解压到C:\Program Files\java\ 路径下2.配置环境变量：3.完成之后，win+R,cmd 输入：mvn --version 检测是否配置成功。输出以下则成功：4.在eclipse中配置：windows-...

2019-07-11 21:27:57 281

原创 Hadoop自定义开发输入类

目的将map输入的longWritable转化为按照行数读取，即key1代表第几行。文件中数据如下：package combiner;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStream;import java.io.InputStreamReader;imp...

2019-07-11 09:09:56 91

原创 easyui中的级联

input1:<input class="easyui-combobox" name="caName" style="width: 336px;height: 31px" data-options=" valueField: 'depp', textField: 'depp', url: '访问控制层，返回集合对象', onSelect: func...

2019-07-10 19:06:43 219

转载 JDK和Hadoop的序列化比较

1.什么是序列化和反序列化序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储（持久化）和网络传输。反序列化就是将收到字节序列（或其他数据传输协议）或者是硬盘的持久化数据，转换成内存中的对象。2.2.JDK序列化和反序列化Serialization（序列化）是一种将对象转换为字节流；反序列化deserialization是一种将这些字节流生成一个对象。序列...

2019-07-10 13:11:59 124

原创 Hadoop中简单序列化（实现Writable）

统计数据1.需要实现的方法有: write(DataOutput out) readfields(DataInput in)Word.javapackage test;import java.io.DataInput;import java.io.DataOutput;import java.io.IOE...

2019-07-10 09:49:15 399

转载 Java实现邮箱发送验证码（以QQ邮箱为例）

1、首先下载相关Java包地址：https://mp.csdn.net/postedit2.创建一个项目将jar包导入3.相关代码（主类SendEmail）：import javax.mail.Session;import javax.mail.Transport;import javax.mail.internet.InternetAddress;import ...

2019-07-07 22:07:45 8395 13

原创 java手机验证码的使用

1.首先寻找平台：https://www.yuntongxun.com/(我使用的免费60多条)2.下载相关配置文件：3.目录介绍：4.将jar包导入自己的项目5.根据自己的的需求修改Demo示例中的配置信息6.根据自己的需求修改示例：package com.xx.util;import java.util.HashMap;import j...

2019-07-04 18:09:58 389

原创开发Mapreduce

模拟hadoop中的wordcount示例1.首先创建一个Maven项目2.导入配置：<dependencies> <dependency> <groupId>jdk.tools</groupId> <artifactId>jdk.tools</artifactId> <versi...

2019-07-03 21:15:17 78

原创 Java操控集群

1.创建一个maven项目：配置pom.xml文件如下：<dependencies>  <dependency> <groupId>jdk.tools</groupId> <artifactId>jdk.tools</artifactId&...

2019-07-03 18:30:00 169

原创 maven配置文件时出现：Missing artifact jdk.tools:jdk.tools:jar:1.6

添加配置如下：<dependency> <groupId>jdk.tools</groupId> <artifactId>jdk.tools</artifactId> <version>1.6</version> <scope>system</scope> ...

2019-07-03 18:21:37 314

qq_36055407的博客