Hadoop
大数据实战
Apple_Coco
一以贯之的努力,不得懈怠的人生,每天的微小积累会决定最终结果,这就是答案。
展开
-
Hadoop-完全分布式运行模式(二)
集群基本测试集群启动 / 停止方式总结集群基本测试上传小文件到集群[root@hadoop02 hadoop-2.7.2]# hdfs dfs -put wcinput/wc.input /上传大文件到集群[root@hadoop02 hadoop-2.7.2]# hdfs dfs -put /opt/software/hadoop-2.7.2.tar.gz /查看文件存放的位置[root@hadoop02 subdir0]# pwd/opt/module/hadoop-2.7.2.原创 2020-06-09 22:41:55 · 234 阅读 · 0 评论 -
Hadoop-完全分布式运行模式(一)
环境准备编写集群分发脚本SSH 无密登录配置集群配置集群规划部署配置集群核心配置文件HDFS 配置文件YARN 配置文件MapReduce 配置文件在集群上分发配置好的 Hadoop 配置文件测试:集群单点启动踩坑!!!群起集群配置 slaves同步所有节点启动集群环境准备目前能以学生优惠购买的云服务器有:腾讯云一台阿里云一台华为云一台百度云一台学生身份能免费领取的云服务器有:阿里云抗疫特惠云服务器一台因为腾讯云和华为云的服务器.原创 2020-06-09 17:03:21 · 782 阅读 · 0 评论 -
Hadoop-伪分布式运行模式(三)
配置历史服务器配置日志聚集配置文件说明昨天总结了如何启动 YAIN 并运行 MapReduce 程序。这一篇主要总结如何配置历史服务器和日志的聚集。配置历史服务器为了查看程序的历史运行情况,需要配置一下历史服务器。具体配置步骤如下配置:etc/hadoop/mapred-site.xml。在文件里增加如下配置<!-- 历史服务器端地址 --><property> <name>mapreduce.jobhistory.address</na.原创 2020-06-09 16:56:54 · 309 阅读 · 0 评论 -
Hadoop-伪分布式运行模式(二)
配置集群启动集群集群操作上一篇总结了启动 HDFS 并运行 MapReduce 程序。这一篇主要记录启动 YARN 并运行 MapReduce 程序配置集群配置:etc/hadoop/yarn-env.sh。配置 JAVA_HOME 路径export JAVA_HOME=/opt/module/jdk1.8.0_144配置:etc/hadoop/yarn-site.xml<!-- Reducer获取数据的方式 --><property> <.原创 2020-06-09 16:52:15 · 183 阅读 · 0 评论 -
Hadoop-伪分布式运行模式(一)
配置集群启动集群查看集群操作集群注意事项配置集群配置:etc/hadoop/hadoop-env.sh。修改 JAVA_HOME 路径export JAVA_HOME=/opt/module/jdk1.8.0_144配置:etc/hadoop/core-site.xml<!-- 指定HDFS中NameNode的地址 --><property> <name>fs.defaultFS</name> <valu.原创 2020-06-09 16:48:38 · 284 阅读 · 0 评论 -
Hadoop-安装和配置
环境安装 HadoopHadoop 的目录结构环境CentOS / 7.3 x86_64 (64bit)Java 1.8.0_144安装 Hadoop下载地址https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/使用 scp 命令或其他传输工具将 hadoop-2.7.2.tar.gz 上传至服务器的 /opt/software 目录下进入到 Hadoop 安装包目录下cd /opt/software/解压安装.原创 2020-06-09 16:45:57 · 287 阅读 · 0 评论