- 博客(5)
- 收藏
- 关注
RSS订阅原创 Hadoop
（一）启动4个进程 1.namenode— -hdfs启动 2.datanode---- 3.resourcemanager----------yarn启动 4.nodemanager-------- ——HDFS架构概述1)NameNode(nn):存储文件的元数据，如文件名，文件目录结构，文件属性(生成时间、副本数、文件权限)，以及每个文件的块列表和块所在的DataNode等。2)DataNode(dn):在本地文件系统存储文件块数据，以及块数据的校验和。3)Secon
2021-12-20 10:47:25
164
原创 flume1.9.0配置
一、解压cd /usr/local/softtar -zxvf apache-flume-1.9.0-bin.tar.gz 二、添加系统环境变量(需配置Java JDK系统参数)vi /etc/profileexport FLUME_HOME=/usr/local/soft/apache-flume-1.9.0-binexport PATH=PATH:PATH:PATH:FLUME_HOME/binsource /etc/profile 三、修改Flume环境变量cd /usr/local/soft/apa
2021-12-14 10:43:35
1198
原创 hadoop-初始hadoop
一、什么是Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据
2021-12-14 10:39:22
108
原创 hadoop课堂笔记
2021年9月18日学习笔记安装虚拟机（CentOS）修改主机名（当前虚拟机的主机名）查看当前的主机名命令：hostname修改主机名命令：vi /etc/hostname（1）一定要在vi的命令模式下（在编辑模式下按esc键）:wq保存退出:wq!强制保存退出:q退出:q!强制退出（2）编辑模式下：i当前光标所在的位置。启动–命令：reboot -h now补充：第二种修改主机名的方式hostnamectl set -hostname <自己编写的主机名>之后执行Bash修改ip地址（当前虚拟
2021-12-13 20:56:12
80
原创 伪分布式搭建
HDFS是进行存储的，YARN是进行调度的。切换到hadoop下面的etc（配置文件都在etc下面）在hadoop中配置core-site.xmlVi core-site.xml指定HDFS中namenode的地址。将命令放到configuration标签中fs.defaultFS hdfs://hadoop100:9820 hadoop.tmp.dir /opt/module/hadoop-3.1.3/data/tmp在hadoop中配置hdfs-site.xml命令：v
2021-12-13 20:54:37
1437
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人