![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 80
小-枝-丫
不够完美又何妨,万物皆有痕迹,那是光照进来的地方。
展开
-
Hadoop集群启动从节点没有DataNode
之前启动hadoop集群的时候都没有问题,今天启动hadoop集群的时候,从节点的DataNode没有启动起来。原创 2023-03-03 18:00:01 · 7311 阅读 · 2 评论 -
sqoop安装(linux)
将mysql-connector-java.jar上传到sqoop的lib目录下(mysql-connector-java.jar在文章前边有下载链接)#将sqoop-env-template.sh复制一份并命名为sqoop-env.sh。这里的/home/mysql5.7是安装mysql的路径,把它对应改成自己的安装路径即可。#解压sqoop-1.4.7.bin_hadoop-2.6.0.tar.gz。#测试sqoop与MySQL之间的连接是否成功。#编辑sqoop-env.sh。原创 2023-01-17 13:40:36 · 1247 阅读 · 0 评论 -
hadoop伪分布模式搭建(详细步骤)
一、前期准备1. 关闭防火墙2. 安装好JDK3. 准备hadoop安装包二、安装hadoop伪分布模式1. 在home/hadoop/software/路径下创建hadooptmp目录2. 解压hadoop-3.3.0.tar.gz3. 进入hadoop-3.3.0/etc/hadoop4. 编辑hadoop运行是的环境5. 配置NameNode所在的主机或者通讯地址及NameNode格式化后的目录的路径6. 配置DataNode的数据块冗余度原创 2022-12-22 20:10:34 · 11664 阅读 · 7 评论 -
HDFS的读写机制
HDFS的读写机制原创 2022-10-05 17:36:46 · 542 阅读 · 0 评论 -
hadoop分布式集群配置(linux)
linux下如何安装hadoop分布式集群。安装hadoop分布式集群要先安装jdk,之后再进行配置文件。本篇文章详细的解释了安装的全部过程。原创 2022-09-24 23:24:12 · 1300 阅读 · 1 评论 -
HDFS的组成及其功能
client(客户端):文件切分、与NameNode交互、获取文件的位置信息;与DataNode交互,读取或写入文件;(Master):管理整个文件的元数据(命名空间信息,块信息);(辅助工作者):辅助NameNode;执行fsimage和edits的定期合作,并推送给NameNode。(Slave):存储文件;执行数据块的读写操作。原创 2022-09-14 16:12:00 · 4948 阅读 · 0 评论