![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 86
勤言不勤语
走走看看,停停想想。
展开
-
【Hadoop】Hadoop 2.9.2 HA安装
文章目录一、准备二、修改配置三、分发四、启动环境:Ubuntu 16.04Hadoop 版本:2.9.2一、准备1.1、所有节点修改 /etc/hosts192.168.11.72 master192.168.11.73 node1192.168.11.74 node2192.168.11.75 node3192.168.11.76 node41.2、所有的节点安装 JDK1.下载对应的 jdk 版本2.解压到 /usr/local/lib 下, tar -zxvf jdk-xxx原创 2020-05-19 10:38:44 · 313 阅读 · 0 评论 -
【Hadoop】Hadoop Snappy 安装 (Ubuntu 16.04)
文章目录一、hadoop checknative二、所需组件三、安装依赖包四、安装 Snappy五、安装 protobuf六、hadoop-src-2.9.2 编译源码七、hadoop 添加 snappy八、hbase 添加 snappy一、hadoop checknative首先检查下 hadoop 是否已经集成 snappy:hadoop checknative -aNative l...原创 2020-04-16 14:38:36 · 1486 阅读 · 3 评论 -
【Hadoop】MapReduce shuffle 过程详解
非原创,转载自: https://blog.csdn.net/u014374284/article/details/49205885文章目录一、MapReduce计算模型二、Map shuffle2.1、Partition2.2、Collector2.3、Sort2.4、Spill2.5、Merge三、Reduce shuffle3.1、Copy3.2、Merge Sort四、参考一、MapR...转载 2019-10-17 14:37:29 · 334 阅读 · 0 评论 -
【Hadoop】Ambari 安装
一、准备条件本篇结构:准备条件使用本地仓库离线安装配置 Ambari启动 AmbariLog In to Apache Ambari创建集群1.1、软件需求On each of your hosts:yum and rpm (RHEL/CentOS/Oracle/Amazon Linux)zypper and php_curl (SLES)apt (Debi...原创 2019-01-24 09:45:29 · 347 阅读 · 0 评论 -
【Hadoop】Hadoop 集群安装
本篇结构:前言准备条件安装 Hadoop 集群启动 Hadoop 集群一、前言开始使用 Hadoop,之前并没有接触,所以先从整个集群搭建开始,也正是因为初识 Hadoop,所以下面的搭建配置不会特别多,先将整个环境搞起来,后续再慢慢了解其他配置,完整整个集群。二、准备条件环境:Ubuntu 16.04Hadoop 版本:2.9.12.1、首先所有节点安装两个必要的软件$...原创 2019-01-16 19:06:49 · 236 阅读 · 0 评论 -
Ubuntu 16.04 VMware hadoop 2.7.4 集群安装
一、前言hadoop 在分布式计算,大数据领域一直享有盛名,也零零碎碎看过一些 hadoop 相关的东西,但却没有真正实战过,一是工作还暂时未涉及到 hadoop ,二是安装 hadoop 集群没有那个硬件基础。现在换了一个内存大点的电脑,不能浪费这个资源,于是便来搭个 hadoop 集群吧。二、hadoop 集群环境这里准备3个虚拟机节点。我是用 VMware10 虚拟了...原创 2018-08-18 16:41:35 · 1019 阅读 · 0 评论 -
【Hadoop】Hadoop 小文件处理
【Hadoop】Hadoop 小文件处理文章目录【Hadoop】Hadoop 小文件处理一、什么是小文件二、小文件是如何产生的三、为什么有小文件问题3.1、NameNode 内存管理3.2、MapReduce 性能四、如何解决小文件问题4.1、解决 NameNode 内存问题4.1.1、Hadoop HAR File4.1.2、Federated NameNodes4.2、解决 MapReduc...转载 2019-08-31 15:18:19 · 528 阅读 · 0 评论