![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 76
Hadoop
果子哥丶
发奋要往上
展开
-
Hadoop面试题
Hadoop要点1、Hadoop运行模式2、Hadoop的组成4、block份数和大小默认配置5、HDFS读写数据流程(★)6、节点距离和机架感知(副本存储节点选择)(☆)7、Secondary NameNode8、集群安全模式9、DataNode工作机制10、HDFS HA(☆)11、HDFS 防止脑裂问题(☆)12、Yarn HA(☆)13. Yarn 防止脑裂问题(☆)1、了解hadoop搭建的三种方式(单机模式、伪分布模式和分布式模式);2、掌握搭建伪分布式以及完全分布式集群;3、认识hado原创 2021-04-10 20:40:05 · 670 阅读 · 0 评论 -
Hadoop教程 day05 HDFS入门
随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。**HDFS只是分布式文件管理系统中的一种。原创 2021-02-20 20:10:40 · 212 阅读 · 0 评论 -
Hadoop教程 day04 源码编译
前期准备工作CentOS联网配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的注意:采用root角色编译,减少文件夹权限出现问题jar包准备(hadoop源码、JDK8、maven、ant 、protobuf)(1)hadoop-2.7.2-src.tar.gz(2)jdk-8u144-linux-x64.tar.gz(3)apache-ant-1.9.9-bin.tar.gz(build工具,打包用的)(4)apache-maven-3.0.5-b原创 2021-02-20 20:10:25 · 122 阅读 · 0 评论 -
Hadoop常用端口号
一、常用端口组件 节点 默认端口 配置 用途说明HDFS DataNode 50010 dfs.datanode.address datanode服务端口,用于数据传输HDFS DataNode 50075 dfs.datanode.http.address http服务的端口HDFS DataNode 50475 dfs.datanode.https.address https服务的端口HDFS DataNode 50020 dfs.datanode.ipc.address ipc服务的端口H原创 2021-02-19 22:43:34 · 3372 阅读 · 1 评论 -
Hadoop教程 day03 运行模式(❤)
Hadoop运行模式:本地运行模式、伪分布式运行模式(启动HDFS并运行MapReduce程序、启动YARN并运行MapReduce程序、配置历史服务器、配置日志的聚集、配置文件说明)、完全分布式运行模式。Local(Standalone)Mode、Pseudo-Distributed ModeFully-Distributed ModeHadoop官方网站原创 2021-02-19 22:39:15 · 227 阅读 · 0 评论 -
Hadoop教程 day02 环境搭建
Hadoop运行环境搭建第1章 虚拟机环境准备第2章 安装Hadoop第3章 Hadoop目录结构第1章 虚拟机环境准备1、克隆虚拟机(Centos7) 2、修改克隆虚拟机的静态IP# vim /etc/sysconfig/network-scripts/ifcfg-ens33粘贴刚才复制的物理地址到HWADDR修改IPADDRONBOOT为yesBOOTPROTO为static 检查虚拟网络映射器网关是否对应真实主机的网络适配器VM8的地址网段要相同即可,具体IP不能冲突。ha原创 2021-02-18 00:20:45 · 181 阅读 · 0 评论 -
Hadoop教程 day01 初识Hadoop
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。原创 2021-02-17 16:03:49 · 299 阅读 · 0 评论