Hadoop
文章平均质量分 79
向之 所欣
无为而无不为。
展开
-
大数据开发项目--音乐排行榜
环境:windows10,centos7.9,hadoop3.2、hbase2.5.3和zookeeper3.8完全分布式;原创 2024-02-25 18:06:57 · 625 阅读 · 1 评论 -
IDEA使用HDFS的JavaApi
注释@Before的作用是在后续每次测试方法之前先执行此方法,进行资源初始化。@Before// 用于初始化HDFS配置,执行打开资源的操作System.out.println("打开资源初始化完成!");// 如果是无参构造函数,那么将加载默认的配置文件//获取FileSystem实例//对于文件的操作都会在 hdfs://user/root/ 文件夹下进行1)关于Configuration。原创 2023-12-29 17:40:33 · 786 阅读 · 0 评论 -
Hadoop3.x完全分布式环境搭建Zookeeper和Hbase
基于hadoop3.x完全分布式环境下部署zookeeper和Hbase注意事项:在启动Hbase之前要在所有集群节点上启动zookeeper 否则Hbase会报错(日志),无法使用。原创 2023-12-07 21:41:40 · 1173 阅读 · 0 评论 -
完全分布式环境Hadoop中HDFS重新格式化
2)hdfs-site.xml中dfs.name.dir、dfs.data.dir所指定的目录删除,即删除hdfs-site.xml中配置的存储信息路径。1)core-site.xml中将hadoop.tmp.dir所指定的目录删除,即删除Hadoop的临时文件路径。若是完全分布式环境的Hadoop需要在所有的虚拟机中删除以上指定目录下的文件夹。3)然后执行格式化命令:hadoop namenode -format。原创 2023-11-09 21:00:42 · 393 阅读 · 1 评论 -
CentOS7 Hadoop3.X完全分布式环境搭建
环境:windows10、centos7.9、hadoop3.1.0、jdk1.8-8u162。原创 2023-11-15 09:12:09 · 295 阅读 · 1 评论 -
CentOS7 Hadoop3.X伪分布式环境搭建
搭建环境:windows10、VMware16.2.3、centOS7.9、jdk-8u162-linux-x64.tar.gz、hadoop3.1.0Hadoop各个版本链接jdk8下载链接。原创 2023-11-12 11:37:12 · 166 阅读 · 1 评论