Hadoop
Hadoop
Geek_ymv
公众号 geekymv
展开
-
Hadoop 集群环境搭建续
集群环境规划centos102centos103centos104NameNodeResourceManagerSecondaryNameNodeDataNodeDataNodeDataNodeNodeManagerNodeManagerNodeManager配置免密登录生成密钥对ssh-keygen -t rsa一路回车即可将本机公钥拷...原创 2019-12-17 20:08:07 · 196 阅读 · 0 评论 -
Hadoop 集群环境搭建
编写分发脚本#!/bin/bash# 获取输入参数,如果没有参数直接退出pcount=$#if ((pcount==0)); thenecho no args;exit;fi# 获取文件名称p1=$1fname=`basename $p1`echo fname=$fname# 获取上级目录的绝对路径pdir=`cd -P $(dirname $p1); pwd`ec...原创 2019-12-07 09:38:00 · 135 阅读 · 0 评论 -
Hadoop 环境搭建
创建用户 hadoop 并设置密码useradd hadooppasswd hadoop把hadoop用户添加到sudoers 里vi /etc/sudoers在root ALL=(ALL) ALL 下面一行添加hadoop ALL=(ALL) NOPASSWD: ALL强制保存退出 :wq!在/opt 目录下创建software和moudle 目录...原创 2019-12-04 22:21:47 · 256 阅读 · 0 评论 -
Ubuntu12.04 Hadoop2.7.3伪分布式配置
下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/HDFS的配置1. etc/hadoop/core-site.xmlfs.defaultFS:指定HDFS中NameNode地址hadoop.tmp.dir:指定Hadoop运行时产生文件的存储目录<configuration> <property&...原创 2017-03-01 21:50:58 · 576 阅读 · 0 评论 -
MapReduce WordCount程序
pom.xml org.apache.hadoop hadoop-common org.apache.hadoop hadoop-hdfs org.apache.hadoop原创 2017-11-29 00:24:39 · 281 阅读 · 0 评论 -
Hadoop2.7.3 HDFS完全分布式配置
服务器规划如上图所示搭建步骤:1.同步时间、配置hosts、关闭防火墙时间同步:ntpdate -u edu.ntp.org.cn2.配置免密码登录NameNode节点到其他节点3.修改配置文件修改${HADOOP_HOME}/etc/hadoop/hadoop-env.sh # set to the root of your Java installation export JAVA_HO...原创 2018-03-01 00:12:48 · 316 阅读 · 0 评论