会写Bug的攻城狮

原创 Hadoop学习（十七）---zookeeper客户端命令以及API操作

一，客户端命令（1）启动客户端zkCli.sh（2）查看帮助help（3）查看当前znode所包含的内容ls /（4）创建节点create /hunterhenshuai 18（5）创建短暂znodecreate -e /itstar hunter（6）创建带序号znodecreate -s /bigdata hunter（7）创建短暂带序号create -e -s...

原创 Hadoop学习（十五）---hadoop 的数据压缩

1.Hadoop的三个阶段HDFS阶段分布式文件系统 Mapreducer阶段分布式编程框架 yarn阶段 mr阶段的运行资源调度框架 2.Hadoop的数据压缩技术在mr阶段要进行大量的数据运输，压缩技术大大减轻了数据传输的压力。压缩技术提高了网络带宽和磁盘空间的效率，节省资源，也是mr的优化策略，通过对压缩编码对mapper或者reducer数据传输进行数据的压缩，以减少磁盘...

原创 Hadoop学习（十六）---zookeeper的简介和配置安装以及命令行

一，zookeeper1.官方文档官方网站：https://zookeeper.apache.org/ Apache ZooKeeper致力于开发和维护开源服务器，实现高度可靠的分布式协调。   什么是ZooKeeper？ ZooKeeper是一种集中式服务，用于维护配置信息，命名，提供分布式同步和提供组服务。所有这些类型的服务都以分布式应用程序的某种形式使用。每次实施它们都需要...

原创 Hadoop学习（十四）---数据在mr的整个变化流程图示

转载 Hadoop学习（十三）----源码分析InputFormat,RecordRead及其实现类

 1.类图平时我们写MapReduce程序的时候，在设置输入格式的时候，总会调用形如job.setInputFormatClass(KeyValueTextInputFormat.class);来保证输入文件按照我们想要的格式被读取。所有的输入格式都继承于InputFormat，这是一个抽象类，其子类有专门用于读取普通文件的FileInputFormat，用来读取数据库的DBInputFo...

原创 Hadoop学习（十二）MapReduce的案列（对一个用户流量的使用量作分析并排序和自定义分区）

接着上一篇博客，我们对其数据进行全局排序和自定义分区1.mapper类package com.tiger.FlowSortMapper;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.ha...

原创 Hadoop学习（十一）MapReduce的案列（对一个用户流量的使用量作分析）以及小文件的优化方式。

一，mapper类package FlowCountTestMapper;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;/** * @aut...

原创 Hadoop（十）---在写MapReduce时未导入yarn的依赖包导致的错误！

错误截图解决方法：在项目中导入yarn的jar包，重新运行，OK。 

原创 Hadoop学习（九）---MapReduce的简单应用（Wordcount）并且对其在数据传输阶段进行优化（combiner）

一.整个应用的逻辑MR的三个阶段：Mapper Reducer Driver     1.用户自定义mapper类要继承父类Mapper    2.Mapper的输入数据的kv 对形式    3.重写Mapper的map方法（加入业务逻辑）    4.mapper的数据输出kv对形式    5.map（）方法（maptask）对每个<k,v>调用一次。      1....

原创 Hadoop学习（八）---namenode(续），secondary namenode ,datanode结点的讲解

1.文件上传和下载机制 2.namenode和secondary namenode 结点在谈secondary namenod结点之前，我们先来分析一下namenode节点，namenode结点保存元数据，比如命名空间信息，块信息等。当它运行的时候，这些信息是存在内存中的。但是这些信息也可以持久化到磁盘上。包括下面两部分组成。edits是namenode结点启动后对文件系统...

原创 Git的学习（一）Git的介绍和在Linux下配置git和向远程仓库提交代码

一.关于版本控制什么是“版本控制”？为什么要关心它呢？ 版本控制是一种记录一个或若干文件内容变化，以便将来查阅特定版本修订情况的系统。在本书所展示的例子中，我们对保存着软件源代码的文件作版本控制，但实际上，可以对任何类型的文件进行版本控制。如果你是位图形或网页设计师，可能会需要保存某一幅图片或页面布局文件的所有修订版本(这或许是你非常渴望拥有的功能)，采用版本控制系统(VCS)是个明智的选...

原创 ssh-keygen 的 详解

1.关闭防火墙 在外部访问CentOS中部署应用时，需要关闭防火墙。关闭防火墙命令：systemctl stop firewalld.service开启防火墙：systemctl start firewalld.service关闭开机自启动：systemctl disable firewalld.service开启开机启动：systemctl enable firewall...

原创 Hadoop学习（七）---namenode结点的详细讲解

转：https://blog.csdn.net/qq_37334135/article/details/78162285一. NameNode 元数据目录结构在/root/hd/dfs/name/current目录下。 /root/hd/dfs/name/current -rw-r--r--. 1 root root 1048576 1月 3 23:40 edits_0000...

原创 Hadoop学习（六）---使用IOUtils对文件的上传和下载

一，加载环境二，创建输入输出流三，关闭流package hdfs;import java.io.File;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.IOException;import java.net.URI;import java.net.URISynt...

原创 Hadoop的学习（五）---namenode 节点进入安全模式如何解决

safemode模式           NameNode在启动的时候首先进入安全模式，如果datanode丢失的block达到一定的比例（1-dfs.safemode.threshold.pct），则系统会一直处于安全模式状态即只读状态。 dfs.safemode.threshold.pct（缺省值0.999f）表示HDFS启动的时候，如果DataNode上报的block个数达到...

原创 Hadoop学习（四）---常用API的简单梳理

一，构建hdfs文件系统 1.加载配置 Configuration conf= new Configuration();2.更改hdfs的属性//指定配置(设置两个副本） conf.set("dfs.replication", "2"); //指定块大小 conf.set("dfs.blocksize", "256m");3.构建客户端FileS...

原创 Java的IO 各种类的详细讲解续（三）

一，字符输入流 Reader 类是所有字符流输入类的父类，该类定义了许多方法，这些方法对所有子类都是有效的。Reader 类的常用子类如下。CharArrayReader 类：将字符数组转换为字符输入流，从中读取字符。 StringReader 类：将字符串转换为字符输入流，从中读取字符。 BufferedReader 类：为其他字符输入流提供读缓冲区。 PipedReade...

原创 Java IO 学习（二）---各种类的详细讲解

一，文件类 1.概念：文件为文件和目录路径名的抽象表示。抽象路径名由两部分组成：可选系统有关的前缀字符串，如磁盘驱动符：/ UNIX为根目录，\为的Windows的根目录。 零个或多个字符串的序列2.构造函数 File(File parent, String child) File从父抽象路径名和子路径名字符串创建新实例。 译： ...