Hadoop
VanasWang
这个作者很懒,什么都没留下…
展开
-
hadoop面试题
文章目录hadoop面试题入门1.简要描述如何配置apache的一个开源Hadoop?2.Hadoop中需哪些需要配置文件,作用是?3.请列出正常工作的Hadoop集群中Hadoop都分别需要启动哪些进程,他们的作用?4.简述Hadoop的几个默认端口及其含义HDFS1.HDFS的存储机制(读写流程)?2.SecondaryNameNode工作机制?3.NN与2NN区别?4.服役新节点和退役旧节点...原创 2020-04-23 22:45:17 · 519 阅读 · 0 评论 -
Hadoop 3.1.3 本地、伪分布、完全分布环境搭建 学习笔记
文章目录Hadoop大数据特点(4V)hadoop的优势一、Hadoop组成(重点)ModulesHDFS架构YARN架构MapReduce架构大数据生态体系二、Hadoop运行环境搭建(开发重点)虚拟机环境准备安装JDK安装Hadoop伪分布式启动HDFS启动YARN并运行MapReduce程序常用端口号完全分布式编写集群分发脚本xsync完全分布式集群规划: (按照3个副本来说)单节点启动集群...原创 2020-04-22 22:14:22 · 1708 阅读 · 0 评论 -
Hadoop HA 学习笔记
文章目录HAHadoop HA高可用HA概述HDFS-HA工作机制HDFS-HA手动故障转移工作要点配置HDFS-HA集群配置HDFS-HA自动故障转移工作要点HDFS-HA故障转移机制规划集群配置Zookeeper集群配置HDFS-HA自动故障转移YARN-HA配置YARN-HA工作机制配置YARN-HA集群规划集群具体配置HDFS Federation架构设计NameNode架构的局限性HDF...原创 2020-04-22 21:56:14 · 254 阅读 · 0 评论 -
Hadoop 3.1.3 (MapReduce)
文章目录Hadoop(MapReduce)MapReduce概述MapReduce优缺点MapReduce核心思想MapReduce进程官方WordCount源码常用数据序列化类型MapReduce编程规范WordCount案例实操本地测试集群上测试在Mac上向集群提交任务Hadoop序列化序列化概述自定义bean对象实现序列化接口(Writable)序列化案例实操需求编写MapReduce程序M...原创 2020-04-20 10:34:16 · 1599 阅读 · 1 评论 -
Hadoop 3.1.3(HDFS)
文章目录HDFS概述HDFS优缺点HDFS组成架构截屏2020-04-11下午3.20.13HDFS文件块大小(面试重点)HDFS的Shell操作(开发重点)HDFS客户端操作(开发重点)HDFS的数据流(面试重点)文件写入网络拓扑-节点距离计算机架感知(副本存储节点选择)HDFS读数据流程NameNode和SecondaryNameNode(面试开发重点)NN和2NN工作机制Fsimage和Ed...原创 2020-04-16 23:00:40 · 906 阅读 · 0 评论 -
Hadoop3.1.3 完全分布式集群搭建
完全分布式克隆三台虚拟机 完成环境准备查看https://blog.csdn.net/VanasWang/article/details/105395279sudo mkdir /opt/module /opt/softwaresudo chown -R vanas:vanas /opt/module /opt/softwarescp(secure copy)安全拷贝rs...原创 2020-04-11 13:30:55 · 1868 阅读 · 0 评论 -
Hadoop 伪分布式运行模式
伪分布式启动HDFS(1)配置集群[vanas@hadoop132 ~]$ cd /opt/[vanas@hadoop132 opt]$ cd module/hadoop-3.1.3/etc/hadoop/[vanas@hadoop132 hadoop]$ vim hadoop-env.shexport JAVA_HOME=/opt/module/jdk1.8.0_212[vana...原创 2020-04-10 20:51:13 · 226 阅读 · 0 评论 -
Hadoop运行环境搭建
虚拟机环境准备根据前两篇 设置 然后继续虚拟机环境前面已经提到过https://blog.csdn.net/VanasWang/article/details/1052776911)虚拟机配置要求如下:单台虚拟机:内存4G,硬盘50G,安装必要环境(最小化安装)补充安装各种指令、sudo yum install -y epel-releasesudo yum install -y...原创 2020-04-08 19:45:06 · 335 阅读 · 1 评论