大数据
文章平均质量分 72
大数据
阿提艾斯
知识总结。
展开
-
【hadoop】认识Hadoop
Hadoop是由Apache基金会开发的一个分布式系统基础架构,主要解决海量数据的存储和海量数据的分析计算问题。HDFS架构理解,YARN架构理解,MapReduce理解。原创 2024-06-23 10:25:21 · 1054 阅读 · 0 评论 -
【hadoop】集群安装
查看集群状态,观察NameNode,DataNode, 2NN是否符合更开始的集群搭建需求。克隆三个虚拟机,分别是:hadoop102, hadoop103, hadoop104.配置文件目录:/opt/module/hadoop-3.1.3/etc/hadoop。重启虚拟机后,检查是否配置正确,确保每一步都是正确的,再执行后面的配置。只需要在hadoop102节点上执行,只有集群第一次启动的时候执行。虚拟机,之后集群中的虚拟机可以直接使用克隆虚拟机的方式创建。如果B要访问A,在B机器上执行以上相同操作。原创 2024-08-07 06:00:00 · 690 阅读 · 0 评论 -
【hadoop】常用命令
获取yarn restful节点和port信息。获取SecondaryNameNode节点。获取NameNode restful接口。获取ResourceManager节点。查询hdfs系统中的namenode。查看datanode的存储目录。上传本地文件到指定目录下。查看hadoop版本。原创 2024-08-06 20:00:00 · 375 阅读 · 0 评论 -
【kerberos】基础使用
CDH 6.3.2开启kerberos认证。查看keytab文件中的账户信息。Kerberos 命令使用。导出用户keytab文件。使用keytab文件登录。登录到后台之后,输入。原创 2024-08-06 20:45:00 · 345 阅读 · 0 评论