hadoop
习惯de味道
这个作者很懒,什么都没留下…
展开
-
分布式资源调度框架YARN
分布式资源调度框架YARNYARN概述YARN的基本架构核心组件YARN架构核心组件-ResouceManagerYARN的工作机制YARN上提交MapReduce程序启动JobHistoryServerYARN的资源调度器YARN常用命令 YARN概述 YARN是hadoop2.X版本引入的集群资源管理系统 YARN(Yet Another Resource Negotiator)核心思想是将资源管理和任务的监控和调度分离 通用的资源管理系统,可为不同的应用(MapReduce、Spark、Flink等原创 2020-09-15 17:15:54 · 104 阅读 · 0 评论 -
hive安装
hive下载链接: httpsHive安装一、解压安装包二、配置环境变量三、修改hive-site.xml四、启动hive五、创建,插入以及查询 一、解压安装包 将hive拖入虚拟机opt目录下,解压并重命名 tar -zxvf hive-1.1.0-cdh5.14.2.tar.gz mv hive-1.1.0-cdh5.14.2 hive 二、配置环境变量 输入:vi /etc/profile 增加如下: export HIVE_HOME=/opt/hive export PATH=$PATH:$H原创 2020-09-15 16:18:17 · 265 阅读 · 1 评论 -
MapReduce原理及编程
MapReduce原理及编程什么是mapreduceMapReduce的设计思想MapReduce特点MapReduce编程模型MapReduce执行过程Hadoop V1 MR引擎Hadoop V2 YARNInputSplit(输入分片)Shuffle阶段Key&Value类型InputFormat接口Combiner类Partitioner类OutputFormat接口编写M/R Job(格式固定)使用MapReduce实现WordCount使用MapReduce实现join操作 什么是map原创 2020-09-10 19:57:30 · 213 阅读 · 0 评论 -
Hadoop高可用集群搭建
前提 hadoop集群搭建完成,zookeeper,时区同步设置完成 三台机器的hostname:hadoop01,hadoop02,hadoop03 hadoop安装目录:/opt/hadoop 高可用(HA)集群搭建步骤 修改core-site.xml配置 输入:cd /opt/hadoop/etc/hadoop 配置namenode集群的名称ns 指定zookeeper 2181地址 <configuration> <!--配置namenode集群名称为namespace简称ns原创 2020-09-08 20:11:42 · 183 阅读 · 0 评论 -
hadoop伪分布式安装
添加免密登录 输入:ssh-keygen 之后一顿回车 拷贝密钥,输入:cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys 配置主机名,输入:hostnamectl set-hostname 主机名 配置完成后需要exit重启一下 上传hadoop安装包并解压到opt目录 配置环境变量 export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP.原创 2020-09-04 11:35:39 · 235 阅读 · 1 评论