Hadoop
gszhihan
这个作者很懒,什么都没留下…
展开
-
CentOS 6.5下大数据组件安装部署
文章目录前言Hadoop 伪分布式环境搭建前言本文演示环境在 CentOS 6.5 下,具体大数据组件的版本在下面会具体标注。Hadoop 伪分布式环境搭建安装 Hadoop 前需要提前安装好 JDK,JDK 的安装可见 CentOS 6.5常用软件安装 中的 JDK 安装步骤Hadoop 版本 hadoop-2.6.0-cdh5.7.0,点我下载大致按照创建 hadoop 用户,...原创 2019-07-01 21:50:47 · 319 阅读 · 0 评论 -
Hadoop基础知识(HDFS篇)
文章目录块(block)HDFS 架构fsimage和edits的合并过程副本放置策略HDFS读流程HDFS写流程块(block)在 hdfs-site.xml 中通过 dfs.blocksize 参数调整 block 大小,默认为 134217728 B,即 128 M,如果文件比较大,可以调整为 256 MHDFS 适用于大文件存储,小文件对于 HDFS 来说是致命的每个公司对于小...原创 2019-07-13 11:41:54 · 144 阅读 · 0 评论 -
Hadoop基础知识(MR on YARN篇)
文章目录基本概念YARN 的参数调优YARN 的架构MR on YARN 执行流程基本概念作业、job、application、应用 是同一个意思container:容器,yarn 的组件,是一个虚拟的概念,将一定的内存和 CPU,比如 1G 内存,一个 vcore 抽象为一块地方,来运行任务YARN 的参数调优一台 64G,16Cores 的服务器,系统安装完一般会使用一定的内...原创 2019-07-13 17:14:38 · 436 阅读 · 0 评论 -
YARN 与 MR 的参数调优
YARN and MapReduce的【内存】优化配置详解http://blog.itpub.net/30089851/viewspace-2127850/YARN的Memory和CPU调优配置详解http://blog.itpub.net/30089851/viewspace-2127851/转载 2019-07-13 17:17:49 · 163 阅读 · 0 评论 -
CentOS 7.2 环境编译 hadoop-2.6.0-cdh5.15.1
文章目录为什么要编译 Hadoop编译前的准备开始编译解决编译中出现的错误使用编译成功后提取的maven仓库编译为什么要编译 Hadoop官方提供的Hadoop bin包是不支持一些类似snappy,zlib等本地库功能,所以我们需要重新编译使Hadoop支持这些功能编译前的准备在 hadoop-2.6.0-cdh5.15.1-src.tar.gz 中有一个 BUILDING.txt 文...原创 2019-08-05 10:51:28 · 563 阅读 · 4 评论 -
Hadoop HA部署文档
文章目录一、 软件版本二、 集群规划三、 目录规划四、 环境准备五、 安装Zookeeper六、 安装Hadoop(NameNode HA 和 ResourceManager HA)七、 初次启动集群八、 关闭集群九、 再次启动集群一、 软件版本组件名版本下载地址备注CentOSCentOS Linux release 7.2.1511 (Core)查看版本号 c...原创 2019-08-24 12:13:04 · 294 阅读 · 0 评论 -
Hadoop HA(HDFS HA 和 ResourceManager HA)架构
HDFS HA 架构架构图架构说明HA 使用主备两个 NN 节点解决单点问题,一个状态为 active,另一个为 standby两个 NN 节点通过 JN 集群共享状态,通过 ZKFC 选举 active 节点DN 会同时向两个 NN 节点发送心跳active 状态的 NN接收 client 的 RPC 请求并处理,自己写一份 editlog,同时也向 JN 的共享...原创 2019-08-24 18:38:03 · 275 阅读 · 0 评论 -
Windows 下开发 Hadoop 程序常见错误解决
文章目录java.lang.UnsatisfiedLinkErrorFailed to locate the winutils binary in the hadoop binary pathjava.lang.UnsatisfiedLinkError详细错误java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.Na...原创 2019-08-31 08:21:55 · 180 阅读 · 0 评论 -
CentOS 7.2 环境编译 Azkaban-3.77.0
编译前准备一台能够联网的 CentOS 7.2 环境的机器JDK 1.8+Gitazkaban-3.77.0.tgz 源码包(release地址)开始编译解压源码包[hadoop@hadoop004 software]$ tar -xzvf azkaban-3.77.0.tar.gz编辑配置文件,修改distributionUrl,将提前下载好的gradle-4.6-a...原创 2019-09-22 19:48:40 · 220 阅读 · 0 评论