![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
「已注销」
大数据开发
展开
-
Hadoop集群环境搭建
Hadoop集群环境搭建本机基本配置网卡配置配置主机名关闭防火墙安装ssh客户端克隆虚拟机删除一块网卡更改ip修改主机名hosts映射免密登陆安装jdk安装Hadoop集群策划,解压配置hadoop-env.sh配置core-site.xml配置hdfs-site.xml配置mapred-site.xml配置yarn-site.xml配置slavesHadoop环境变量把配置好的文件发送给集群的其...原创 2019-01-26 17:52:23 · 183 阅读 · 0 评论 -
Hadoop高可用集群搭建(HA)
Hadoop高可用集群搭建(HA)1. 环境介绍1.1 版本说明1.2 集群规划1.3 HA说明2. HA集群安装配置2.1 搭建Hadoop前期工作2.2 搭建zookeeper2.2.1 解压zookeeper2.2.2修改配置2.2.3 拷贝zookeeper到其他节点2.3 安装配置Hadoop集群(在mini01上操作)2.3.1 解压Hadoop2.3.2 配置环境变量2.3.3 修改...原创 2019-01-26 17:53:18 · 212 阅读 · 2 评论 -
Hadoop-HDFS学习课件
Hadoop-HDFS学习课件HDFS基本概念前沿HDFS的概念和特性HDFS-shellshell客户端使用客户端支持的命令参数HDFS-JAVA-API操作依赖引入windows下开发说明文件的增删操作使用流的形式访问文件HDFS原理篇HDFS上传数据流程概述详细流程图详细步骤HDFS读数据流程概述详细流程图详细步骤解析namenode工作机制namenode的职责元数据存放的几种形式元数据的...原创 2019-01-26 17:53:48 · 1731 阅读 · 4 评论 -
Hadoop-MapReduce
Hadoop-MapReduce为什么要使用MapReduce实战篇程序运行模式本地模式集群运行模式eclipse提交到集群wordCount线段的重合点次数数据去重流量求和共同好友倒排索引求平均值分组求topnjoin篇优化篇combiner数据倾斜之数据打散原理篇数据切块![yarn集群提交任务流程](https://img-blog.csdnimg.cn/20190121211707840....原创 2019-01-26 17:56:23 · 237 阅读 · 1 评论