hadoop
习惯de味道
这个作者很懒,什么都没留下…
展开
-
分布式资源调度框架YARN
分布式资源调度框架YARNYARN概述YARN的基本架构核心组件YARN架构核心组件-ResouceManagerYARN的工作机制YARN上提交MapReduce程序启动JobHistoryServerYARN的资源调度器YARN常用命令YARN概述YARN是hadoop2.X版本引入的集群资源管理系统YARN(Yet Another Resource Negotiator)核心思想是将资源管理和任务的监控和调度分离通用的资源管理系统,可为不同的应用(MapReduce、Spark、Flink等原创 2020-09-15 17:15:54 · 119 阅读 · 0 评论 -
hive安装
hive下载链接:httpsHive安装一、解压安装包二、配置环境变量三、修改hive-site.xml四、启动hive五、创建,插入以及查询一、解压安装包将hive拖入虚拟机opt目录下,解压并重命名tar -zxvf hive-1.1.0-cdh5.14.2.tar.gzmv hive-1.1.0-cdh5.14.2 hive二、配置环境变量输入:vi /etc/profile增加如下:export HIVE_HOME=/opt/hiveexport PATH=$PATH:$H原创 2020-09-15 16:18:17 · 290 阅读 · 1 评论 -
MapReduce原理及编程
MapReduce原理及编程什么是mapreduceMapReduce的设计思想MapReduce特点MapReduce编程模型MapReduce执行过程Hadoop V1 MR引擎Hadoop V2 YARNInputSplit(输入分片)Shuffle阶段Key&Value类型InputFormat接口Combiner类Partitioner类OutputFormat接口编写M/R Job(格式固定)使用MapReduce实现WordCount使用MapReduce实现join操作什么是map原创 2020-09-10 19:57:30 · 236 阅读 · 0 评论 -
Hadoop高可用集群搭建
前提hadoop集群搭建完成,zookeeper,时区同步设置完成三台机器的hostname:hadoop01,hadoop02,hadoop03hadoop安装目录:/opt/hadoop高可用(HA)集群搭建步骤修改core-site.xml配置输入:cd /opt/hadoop/etc/hadoop配置namenode集群的名称ns指定zookeeper 2181地址<configuration><!--配置namenode集群名称为namespace简称ns原创 2020-09-08 20:11:42 · 224 阅读 · 0 评论 -
hadoop伪分布式安装
添加免密登录 输入:ssh-keygen 之后一顿回车拷贝密钥,输入:cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys配置主机名,输入:hostnamectl set-hostname 主机名配置完成后需要exit重启一下上传hadoop安装包并解压到opt目录配置环境变量export HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP.原创 2020-09-04 11:35:39 · 245 阅读 · 1 评论