hadoop
迷途老码
这个作者很懒,什么都没留下…
展开
-
HDFS客户端操作
1、HDFS客户端操作1.1 环境准备配置HADOOP_HOME环境变量,注意路径不要带中文,然后配置Path1.2 测试代码pom.xml<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocat...原创 2020-04-13 23:23:19 · 84 阅读 · 0 评论 -
Hadoop完全分布式环境搭建
1、Hadoop完全分布式运行模式配置步骤准备3台客户机(关闭防火墙、静态ip、主机名称、host)安装JDK安装Hadoop配置环境变量配置集群配置ssh集群启动2、 第一台主机准备2.1 安装centos参考centos安装2.2 基础配置关闭防火墙systemctl stop firewalldsystemctl disable firewalld.serv...原创 2020-04-12 19:16:11 · 91 阅读 · 0 评论 -
Hadoop历史服务器配置
1、历史服务器配置1.1 配置mapred-site.xml(修改实际ip地址)<!-- 历史服务器端地址 --><property><name>mapreduce.jobhistory.address</name><value>192.168.xxx.xxx:10020</value></property...原创 2020-04-10 22:59:55 · 122 阅读 · 0 评论 -
启动yarn
1、启动yarn1.1 配置yarn-env.shexport JAVA_HOME=/opt/module/jdk1.8.0_241yarn-site.xml(ip根据实际情况修改,不能写localhost)<!-- Reducer获取数据的方式 --><property> <name>yarn.nodemanager.aux-services...原创 2020-04-10 22:08:54 · 204 阅读 · 0 评论 -
Hadoop伪分布式模式
1、伪分布式模式1.1 配置etc/hadoop/core-site.xml<!-- 指定HDFS中NameNode的地址 --><property><name>fs.defaultFS</name> <value>hdfs://localhost:9000</value></property>...原创 2020-04-09 23:29:46 · 104 阅读 · 0 评论 -
Hadoop目录介绍与本地运行模式
1、目录介绍|--bin|--etc|--lib|--libexec|--include|--sbin|--share|--LICENSE.txt|--NOTICE.txt|--README.txtbin:存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本etc:Hadoop的配置文件目录,存放Hadoop的配置文件lib:存放Hadoop的本地库(对数据...原创 2020-04-09 22:31:14 · 148 阅读 · 0 评论 -
Cenos下Hadoop环境搭建
1、安装jdk1.1 下载地址https://www.oracle.com/java/technologies/javase-jdk8-downloads.html#license-lightbox1.2 安装步骤解压cd /usr/localtar -zxvf jdk-8u241-linux-x64.tar.gz配置环境变量vim /etc/profile## JAVA_HO...原创 2020-04-09 20:18:07 · 87 阅读 · 0 评论