安歌Object

不要因为走得太久,就忘记了出发的目的

排序:
默认
按更新时间
按访问量

MapReduce框架原理—InputFormat数据输入(源码详解+实现类+切片机制+案例操作)

一、Job提交流程和切片源码详解 1.job提交流程源码详解,如代码下图 waitForCompletion() submit(); // 1建立连接 connect(); // 1)创建提交job的代理 new Cluster(getCon...

2018-08-21 03:06:56

阅读数:2

评论数:0

MapReduce框架原理—MapReduce工作流程

1.流程示意图,如图 2.流程详解   上面的流程是整个mapreduce最全工作流程,但是shuffle过程只是从第7步开始到第16步结束,具体shuffle过程详解,如下: 1)maptask收集我们的map()方法输出的kv对,放到内存缓冲区中 2)从内存缓冲区不断溢出本地...

2018-08-18 14:40:10

阅读数:59

评论数:0

(HDFS)MapReduce核心思想+进程+编程规范+WordCount案例

聊聊MapReduce   Mapreduce是一个分布式运算程序的编程框架,是用户开发“基于hadoop的数据分析应用”的核心框架。   Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个hadoop集群上。 MapReduce...

2018-08-15 21:27:31

阅读数:34

评论数:0

(Hdoop)HDFS—HA高可用详解

一、HA概述 1)所谓HA(high available),即高可用(7*24小时不中断服务)。 2)实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA 机制:HDFS的HA和YARN的HA。 3)Hadoop2.0之前,在HDFS集群中NameNode存在单点故障(...

2018-08-15 19:56:36

阅读数:40

评论数:0

DataNode详解

一、DataNode工作机制 DataNode工作机制,如图3 1)一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。 2)DataNode启动后向NameNode注册,通过后,周期性(1小时)的...

2018-08-15 08:52:33

阅读数:11

评论数:0

NameNode和SecondaryNameNode详解

一、NN和2NN工作机制 NN和2NN工作机制,如图 1.第一阶段:NameNode启动 (1)第一次启动NameNode格式化后,创建fsimage和edits文件。 如果不是第一次启动,直接加载编辑日志和镜像文件到内存。 (2)客户端对元数据进行增删改的请求。 (3)Na...

2018-08-14 21:19:00

阅读数:12

评论数:0

HDFS的数据流—HDFS写数据流程和HDFS读数据流程

HDFS写数据流程 一、剖析文件写入 HDFS写数据流程,如图 1)客户端通过Distributed FileSystem模块向NameNode请求上传文件, NameNode检查目标文件是否已存在,父目录是否存在。 2)NameNode返回是否可以上传。 3)客户端请求第一个 bl...

2018-08-14 20:44:22

阅读数:58

评论数:0

HDFS客户端操作

HDFS客户端环境准备 1.根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径(例如:D:\Develop\hadoop-2.7.2) 2.配置HADOOP_HOME环境变量,如图 3. 配置Path环境变量,如图 4.创建一个Maven工程,如:HdfsC...

2018-08-14 20:20:10

阅读数:60

评论数:0

Hadoop集群搭建(详细步骤)—完全分布式运行模式

分析: 1)准备3台客户机(关闭防火墙、静态ip、主机名称) 2)安装jdk 3)配置环境变量 4)安装hadoop 5)配置环境变量 6)配置集群 7)单点启动 8)配置ssh 9)群起并测试集群 一、虚拟机准备 详见: Hadoop运行环境搭建(含Linux网络配置和系统管...

2018-08-11 15:40:16

阅读数:160

评论数:0

Hadoop运行模式—伪分布式运行模式

一、启动HDFS并运行MapReduce程序 1.分析 (1)配置集群 (2)启动、测试集群增、删、查 (3)执行wordcount案例 2.执行步骤 (1)配置集群  (a)配置:hadoop-env.sh   Linux系统中获取...

2018-08-10 21:29:40

阅读数:146

评论数:0

Hadoop运行模式—本地运行模式

一、官方grep案例  1.创建在hadoop-2.7.2文件下面创建一个input文件夹 [admin@hadoop101 hadoop-2.7.2]$ mkdir input  2.将hadoop的xml配置文件复制到input [admin@hadoop101 hadoop-2.7....

2018-08-10 21:04:09

阅读数:122

评论数:0

Hadoop运行环境搭建(含Linux网络配置和系统管理操作)

虚拟机环境准备 1. 克隆虚拟机 2. 修改克隆虚拟机的静态ip 修改IP地址,如图 [root@hadoop100 桌面]#vim /etc/sysconfig/network-scripts/ifcfg-eth0 下图红框选中的项必须修改,有值的按照下面的...

2018-08-10 20:05:38

阅读数:238

评论数:0

HBase优化

高可用   在HBase中Hmaster负责监控RegionServer的生命周期,均衡RegionServer的负载,如果Hmaster挂掉了,那么整个HBase集群将陷入不健康的状态,并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可用配置。 1.关闭HBas...

2018-08-10 12:04:35

阅读数:17

评论数:0

Hadoop(HDFS)的Shell操作

一、基本语法 bin/hadoop fs 具体命令 二、命令大全 [admin@hadoop2 hadoop-2.7.2]$ bin/hadoop fs [-appendToFile <localsrc> ... <ds...

2018-08-09 17:33:30

阅读数:12

评论数:0

Linux常见问题

1、明明bios已经调成 虚拟化支持了 但是安装64位版本的时候依然提示不支持64位 或者 提示没有打开虚拟化支持 解决: 换vm10的版本, 换32位的linux安装。 2、vmware tools 安装不成功或者安装完毕后没有效果。 再次安装,则提示系统已安装。 ...

2018-08-09 16:36:54

阅读数:20

评论数:0

Linux_Shell编程

概述   Shell是一个命令行解释器,它为用户提供了一个向Linux内核发送请求以便运行程序的界面系统级程序,用户可以用Shell来启动、挂起、停止甚至是编写一些程序。   Shell还是一个功能相当强大的编程语言,易编写、易调试、灵活性强。Shell是解释执行的脚本语言,在Shell中可以...

2018-08-09 15:12:11

阅读数:18

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭