hadoop
文章平均质量分 65
zfpigpig
喜欢吃饭、睡觉、打dota~
展开
-
Container exited with a non-zero exit code 1
很明显是container出错了,但是错误没有提示的很清楚。去对应的nodemanager的userlogs下发现没有任何日志,查看nodemanager日志发现如果任务失败了,默认会删除container日志。调整完了,重新打包一下当前项目,替换一下share/hadoop/yarn/hadoop-yarn-server-nodemanager-3.1.1.jar,重新执行就可以看到container执行日志了。后续经过分析解决了问题。当然container也可能报了其他问题,根据日志可以自行分析解决。原创 2024-05-12 07:15:00 · 544 阅读 · 0 评论 -
HDFS参数索引
HDFS参数索引,包括详解文章链接。原创 2024-04-20 07:30:00 · 242 阅读 · 0 评论 -
HDFS源码分析3:Namenode通信原理
Hadoop RPC框架原理RPC是远程过程调用(Remote Procedure Call)的缩写形式。RPC主要目的是能让应用层可以像调用本地方法一样调用远程方法。既然是远程调用,肯定是采用了c/s架构。我们可以先分析一下client和server分别要完成什么事情。Client:当应用层调用方法时,肯定要先建立连接,然后把方法和参数都通过socket传输给server,server返回数据以后,把数据format成方法的返回值,返回给应用层。以调用方法为中心,本质上是对该方法加强(方法前后都做原创 2022-05-12 16:23:32 · 583 阅读 · 0 评论 -
HDFS源码分析1:客户端读写
目录客户端读getLocatedBlocks(String src, long start, long length)DFSInputStream.read(byte[] buffer, int offset, int length)客户端写写流程Packet(DFSPacket)的构成DataStream与Datanode交互客户端读hdfs客户端读会先调用open方法,open会调用先getBlockLocations来获取块信息,然后通过openinterna原创 2022-05-12 16:02:56 · 526 阅读 · 0 评论 -
HBASE测试YCSB关于READ-FAILED问题
最近对HBASE做了YCSB的测试,数据load后,然后run以后会得到如下结果:发现会有很多READ_FAILED,看图可以发现READ_FAILED本质上就是Return=NOT_FOUND。研究了一下READ的源码(https://github.com/brianfrankcooper/YCSB/blob/0.17.0/hbase10/src/main/java/site/ycsb/db/HBaseClient10.java)可以发现当r.isEmpty()时返回为NOT_FOUN原创 2021-04-01 11:26:55 · 785 阅读 · 0 评论 -
Ambari 2.7.3新增组件1--Flink 1.10.0
对接原理 ambari有一套完整添加组件的流程,原生的组件一般通过界面配置设置后,后台会使用hdp的rpm安装,安装完成后会使用自定义的python脚本准备配置文件和启动等一系列操作。而对于自增组件,一般通过tar安装,然后通过自定义脚本启动。自定义脚本大致流程如下: 1)创建用户组和用户名 2)获取(下载)tar包,解压到安装目录 3)根据配置参数生成配置文件 4)启动(停止)组件 5)通过ambari UI连接到组件UI操作 ...原创 2021-11-23 15:12:21 · 1854 阅读 · 5 评论 -
【hadoop】进阶篇一:MapReduce之Job的提交
Wordcount的例子基本接触过hadoop都会跑过,本篇的主要分析都以Wordcount为例。我们先把etc/hadoop/下配置文件作为Wordcount的输入hadoop fs -put etc/hadoop/* /input然后打开调试运行以下命令hadoophadoop-mapreduce-examples-xxx.jar wordcount /input /output我们...原创 2019-12-19 16:34:29 · 507 阅读 · 0 评论 -
【hadoop】hadoop栏目序
实践是检验真理的唯一标准。--胡福明 目的 本栏目的主要目的是让读者更深入了解hadoop,其中包含原理探究和源码解析。 文章质量 本人是在2016年1月开始正式接触hadoop项目,所以本栏目的文章可能在初期会有一些bug。 但是本人会有以下两个原则: 一 文章肯定是过脑以后写的。 二 部分文章会循序渐进,已达到文章精原创 2016-03-09 11:23:30 · 435 阅读 · 0 评论 -
【hadoop】基础篇一:hadoop第一例搭建--单节点Wordcount
本文的目的主要是让初学者快速的跑通第一个hadoop实例。 在开始之前读者需要做以下准备: 1、linux环境 2、下载jdk linux版本和hadoop安装包()原创 2016-03-17 17:54:03 · 607 阅读 · 0 评论 -
Google File System中文版
转载地址 http://www.open-open.com/lib/view/open1328763454608.htmlThe Google File System中文版译者:alex摘要我们设计并实现了Google GFS文件系统,一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上,但是它依然了提供灾难冗余的能力,为大量客户转载 2013-02-25 14:26:22 · 514 阅读 · 0 评论 -
Hadoop分布式框架简介
原文http://baobeituping.iteye.com/blog/285005分布式系统基本原理 分布式系统被设计成可以存储和管理大数据量的信息的系统,并为这些数据提供对外的访问功能(通过网络)。现在已经有许多的分布式系统用各种不同的方法解决了这个问题。 NFS, the Network File System, 是目转载 2013-02-21 15:39:56 · 414 阅读 · 0 评论 -
MapReduce:一个重大的倒退
这篇文章是由databasecolumn的几个数据库大牛写的,简要的介绍了MapReduce以及将其与现代数据库管理系统进行了对比,并指出了一些不足之处。本文纯属学习性翻译,从多方面来了解MapReduce,不代表完全赞同原文的观点。请读者也辩证的看。一月八号,一个数据库专栏的读者询问我们关于对新的分布式数据库研究成果的意见。我们在这结合MapReduce谈谈我们的看法。现在是讨论这个问题的不转载 2013-02-19 19:11:21 · 682 阅读 · 0 评论