![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 55
1
WannaRunning
这个作者很懒,什么都没留下…
展开
-
HDFS运行机制
目录 NameNode DataNode SecondaryNameNode Client HDFS文件上传 HDFS文件下载 NameNode 存储文件的元数据,位置信息 配置副本策略 管理数据块映射信息 处理读写请求 DataNode DataNode 存储文件的真实数据,并做数据校验 一个数据块在DN中会存储数据本身,数据长度,检验和以及时间戳。同时DN启动后会向NN进行注册,后续每隔一小时向NN汇报数据块信息,同时每三秒进行一次NN心跳并带回NN指令,如果10分钟.原创 2021-04-28 14:09:49 · 180 阅读 · 0 评论 -
Hadoop——初识HDFS文件操作命令
dockerHub镜像地址 https://registry.hub.docker.com/r/mdouchement/hdfs 创建容器 客户端RPC端口是8020 web端访问端口50070 docker run -p 22022:22 -p 8020:8020 -p 50010:50010 -p 50020:50020 -p 50070:50070 -p 50075:50075 -it mdouchement/hdfs hadoop fs文件操作命令 进入容器即可使用fs命令操作文件原创 2021-03-22 17:35:26 · 211 阅读 · 0 评论 -
客户端连接HDFS高可用集群
之前写过JAVA使用客户端连接Hadoop的使用,是单节点的情况;生产中使用的都是集群,网上找了好久都没找到详细的有关集群的配置方式,Hadoop nameNode HA集群中客户端需要连接客户端集群各个节点。 方式一:使用XML配置文件加载 这种方式基于Hadoop集群服务中配置的的core-site.xml文件,当然,也可以手写配置文件。(吐槽一下我在做的时候运维只提供一堆IP让我自己猜) configuration = new Configuration(); //通过加载配置文件配置 con原创 2021-03-20 00:11:28 · 707 阅读 · 0 评论 -
HDFS用户的simple认证配置
目录 配置authorization开启权限认证 配置允许操作的用户 HDFS有两种认证方式,SIMPLE方式较简单,只认证用户名称没有密码。 配置authorization开启权限认证 authorization配置在core-site.xml文件中的 vi hadoop/etc/hadoop/core-site.xml <property> <name>hadoop.security.authorization</name> <valu..原创 2021-03-17 17:43:22 · 1359 阅读 · 0 评论 -
Hadoop——HDFS文件存储
目录 添加Hadoop依赖 HDFS操作工具类 FileSystem的缓存机制 缓存模式 非缓存模式 Hadoop中把对于HDFS文件系统的调用封装成了一个FileSystem类,通过FileSystem的实例进行文件操作。 添加Hadoop依赖 <!-- hadoop依赖 --> <dependency> <groupId>org.apache.hadoop</groupId> ..原创 2021-02-25 14:37:06 · 107 阅读 · 0 评论