![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
大数据实战
Apple_Coco
一以贯之的努力,不得懈怠的人生,每天的微小积累会决定最终结果,这就是答案。
展开
-
Hadoop-完全分布式运行模式(二)
集群基本测试 集群启动 / 停止方式总结 集群基本测试 上传小文件到集群[root@hadoop02 hadoop-2.7.2]# hdfs dfs -put wcinput/wc.input / 上传大文件到集群[root@hadoop02 hadoop-2.7.2]# hdfs dfs -put /opt/software/hadoop-2.7.2.tar.gz / 查看文件存放的位置[root@hadoop02 subdir0]# pwd /opt/module/hadoop-2.7.2.原创 2020-06-09 22:41:55 · 187 阅读 · 0 评论 -
Hadoop-完全分布式运行模式(一)
环境准备 编写集群分发脚本 SSH 无密登录配置 集群配置 集群规划部署 配置集群 核心配置文件 HDFS 配置文件 YARN 配置文件 MapReduce 配置文件 在集群上分发配置好的 Hadoop 配置文件 测试:集群单点启动 踩坑!!! 群起集群 配置 slaves 同步所有节点 启动集群 环境准备 目前能以学生优惠购买的云服务器有: 腾讯云一台 阿里云一台 华为云一台 百度云一台 学生身份能免费领取的云服务器有: 阿里云抗疫特惠云服务器一台 因为腾讯云和华为云的服务器.原创 2020-06-09 17:03:21 · 320 阅读 · 0 评论 -
Hadoop-伪分布式运行模式(三)
配置历史服务器 配置日志聚集 配置文件说明 昨天总结了如何启动 YAIN 并运行 MapReduce 程序。这一篇主要总结如何配置历史服务器和日志的聚集。 配置历史服务器 为了查看程序的历史运行情况,需要配置一下历史服务器。具体配置步骤如下 配置:etc/hadoop/mapred-site.xml。在文件里增加如下配置<!-- 历史服务器端地址 --> <property> <name>mapreduce.jobhistory.address</na.原创 2020-06-09 16:56:54 · 182 阅读 · 0 评论 -
Hadoop-伪分布式运行模式(二)
配置集群 启动集群 集群操作 上一篇总结了启动 HDFS 并运行 MapReduce 程序。这一篇主要记录启动 YARN 并运行 MapReduce 程序 配置集群 配置:etc/hadoop/yarn-env.sh。配置 JAVA_HOME 路径export JAVA_HOME=/opt/module/jdk1.8.0_144 配置:etc/hadoop/yarn-site.xml<!-- Reducer获取数据的方式 --> <property> <.原创 2020-06-09 16:52:15 · 171 阅读 · 0 评论 -
Hadoop-伪分布式运行模式(一)
配置集群 启动集群 查看集群 操作集群 注意事项 配置集群 配置:etc/hadoop/hadoop-env.sh。修改 JAVA_HOME 路径 export JAVA_HOME=/opt/module/jdk1.8.0_144 配置:etc/hadoop/core-site.xml <!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> <valu.原创 2020-06-09 16:48:38 · 199 阅读 · 0 评论 -
Hadoop-安装和配置
环境 安装 Hadoop Hadoop 的目录结构 环境 CentOS / 7.3 x86_64 (64bit) Java 1.8.0_144 安装 Hadoop 下载地址https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/ 使用 scp 命令或其他传输工具将 hadoop-2.7.2.tar.gz 上传至服务器的 /opt/software 目录下 进入到 Hadoop 安装包目录下cd /opt/software/ 解压安装.原创 2020-06-09 16:45:57 · 202 阅读 · 0 评论