笔记
胡子老哥
这个作者很懒,什么都没留下…
展开
-
Hadoop
(一)启动4个进程 1.namenode— -hdfs启动 2.datanode---- 3.resourcemanager----------yarn启动 4.nodemanager-------- ——HDFS架构概述1)NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所在的DataNode等。2)DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和。3)Secon原创 2021-12-20 10:47:25 · 161 阅读 · 0 评论 -
flume1.9.0配置
一、解压cd /usr/local/softtar -zxvf apache-flume-1.9.0-bin.tar.gz 二、添加系统环境变量(需配置Java JDK系统参数)vi /etc/profileexport FLUME_HOME=/usr/local/soft/apache-flume-1.9.0-binexport PATH=PATH:PATH:PATH:FLUME_HOME/binsource /etc/profile 三、修改Flume环境变量cd /usr/local/soft/apa原创 2021-12-14 10:43:35 · 1197 阅读 · 0 评论 -
hadoop-初始hadoop
一、什么是Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统( Distributed File System),其中一个组件是HDFS(Hadoop Distributed File System)。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据原创 2021-12-14 10:39:22 · 107 阅读 · 0 评论 -
hadoop课堂笔记
2021年9月18日学习笔记安装虚拟机(CentOS)修改主机名(当前虚拟机的主机名)查看当前的主机名命令:hostname修改主机名命令:vi /etc/hostname(1)一定要在vi的命令模式下(在编辑模式下按esc键):wq保存退出:wq!强制保存退出:q退出:q!强制退出(2)编辑模式下:i当前光标所在的位置。启动–命令:reboot -h now补充:第二种修改主机名的方式hostnamectl set -hostname <自己编写的主机名>之后执行Bash修改ip地址(当前虚拟原创 2021-12-13 20:56:12 · 78 阅读 · 0 评论 -
伪分布式搭建
HDFS是进行存储的,YARN是进行调度的。切换到hadoop下面的etc(配置文件都在etc下面)在hadoop中配置core-site.xmlVi core-site.xml指定HDFS中namenode的地址。将命令放到configuration标签中fs.defaultFS hdfs://hadoop100:9820 hadoop.tmp.dir /opt/module/hadoop-3.1.3/data/tmp在hadoop中配置hdfs-site.xml命令:v原创 2021-12-13 20:54:37 · 1436 阅读 · 0 评论