hdfs
amingo_ss
10软件开发工作经验,曾就职于神州数码,中国通信服务,高校兼职讲师。参与交付中国移动,中国联通和中国电信运营支撑系统项目,以及10几个海外国家电信系统开发和交付,对spring生态和hadoop大数据生态技术有深刻理解。
展开
-
HDFS-IO流方式实现文件上传下载
目录1.IO流实现完整文件上传下载2.IO流实现文件分片下载1.IO流实现完整文件上传下载//使用IO流上传文件@Testpublic void putFileToHDFS() throws IOException, InterruptedException, URISyntaxException { Configuration configuration = new Configuration(); //获取文件系统 FileSystem fs = FileSystem.get(new UR原创 2020-06-29 14:32:33 · 497 阅读 · 0 评论 -
HDFS-服役和退役数据节点
目录1.服役新数据节点1.1.环境准备1.2.创建dfs.hosts文件并配置hdfs-site.xml1.3.刷新namenode和resourcemanager1.4.修改namenode的slaves文件1.5.启动新服役的数据节点2.退役旧数据节点2.1.创建dfs.hosts.exclude文件并配置hdfs-site.xml2.2.刷新namenode和resourcemanager2.3.停退役的数据节点2.4.将df.hosts中退役的数据节点删除,并刷新namenode和resourcem原创 2020-05-27 15:00:11 · 468 阅读 · 0 评论 -
HDFS-Namenode和Datanode多目录配置
目录1.Namenode多目录配置2.Datanode多目录配置2.1 Datanode配置多目录的必要性2.2 Datanode配置多目录2.2 Datanode多目录数据平衡3.启动namenode和datanode多目录配置集群1.Namenode多目录配置Namenode数据(操作日志文件,镜像文件等)存储路径可以配置多个不同路径,这些路径里面存储的数据相同。主要用作数据备份。在hdfs-site.xml中配置如下信息:<property> <name>原创 2020-05-21 10:53:00 · 1940 阅读 · 0 评论 -
HDFS-secondary namenode运行机制
Secondary namenode运行机制目录Secondary namenode运行机制1.简介2.以数据写入过程为列理解secondary namenode工作流程3.Secondary namenode checkpoint触发条件1.简介namenode在启动的时候,需要将操作日志文件edits和镜像fsimage文件合并。由于集群一般不会停止,操作日志文件edits会越来越大,当启动启动集群时nameNode合并操作日志文件和镜像文件的时间非常长。为了解决这个问题,hdfs引入了secon原创 2020-05-19 09:52:41 · 474 阅读 · 1 评论 -
HDFS HA 高可用集群搭建
HDFS HA NameNode高可用集群搭建主要内容HDFS HA NameNode高可用集群搭建1.安装并配置Zookeeper集群2.配置HDFS(hdfs-site.xml)3.配置Hadoop公共属性(core-site.xml)4.启动HDFS HA高可用集群5.测试NameNode HA自动切换6.常见问题1.安装并配置Zookeeper集群参考:https://blog.csdn.net/amingo_ss/article/details/1043265932.配置HDFS(hdfs原创 2020-05-16 12:09:29 · 732 阅读 · 0 评论 -
HDFS-Namenode运行机制
Namenode运行机制namenode运行机制是HDFS非常重要,核心的知识点。搞清楚namenode运行机制这篇文章就够了,希望对大家有所帮助。目录Namenode运行机制1.Namenode的结构1.1内存1.2 磁盘2.从数据读写的过程理解namenode的工作机制3.Namenode启动过程4.面临的问题1.Namenode的结构Namenode的目录结构粗线条的来分,包括内存和磁盘。那么内存和磁盘里面分别存储的什么信息,它们之间是如何配合?1.1内存1.内存的大小在hadoop-原创 2020-05-14 12:07:51 · 693 阅读 · 0 评论 -
HDFS-镜像文件和编辑日志文件
镜像文件和编辑日志文件目录镜像文件和编辑日志文件1.存储位置2.文件简介3.查看文件内容3.1 oiv3.2 oev4.文件内容说明1.存储位置Namenode在格式化之后,会在/usr/local/hadoop/data/dfs/name/current路径下产生镜像文件和日志文件。该路径在core-site.xml中配置。产生的文件:edits开头是编辑日志,fsimage开头的是镜像文件以及seen_txid。2.文件简介edits文件:存放HDFS文件系统的所有更新操作的路径,文件系原创 2020-05-11 12:10:37 · 651 阅读 · 0 评论 -
HDFS-机架感知(rack-awareness)
HDFS-机架感知目录HDFS-机架感知1.机架感知的核心思想2.HDFS如何知道各个DataNode的网络拓扑情况3.机架感知核心配置(1)net.topology.impl(2)net.topology.node.switch.mapping.impl(3)net.topology.script.file.name(4)net.topology.table.file.name(5)net.topology.script.number.args4.机架感知实现方式4.1 默认配置解析4.2 自定义Jav原创 2020-05-09 10:49:32 · 2205 阅读 · 1 评论 -
HDFS-java开发文件上传/下载/查看/删除等操作
本文以hadoop2.6.4为例,讲解使用java进行hadoop开发实例。准备条件:hadoop2.6.4版本集群安装完成,并且启动。本文包含的主要内容:(1)开发环境准备(2)hadoop java开发实例1. 开发环境准备(1)jar包准备hadoop-2.6.4 \share\hadoop目录下所有文件夹下面的jar包。过滤掉所有以test,或者source结尾的jar包,剩...原创 2020-05-04 12:03:12 · 325 阅读 · 0 评论 -
Hadoop命令操作-hdfs shell命令
Hadoop命令操作Hadoop 命令主要包括用户命令和管理员命令。下面红框标出的是需要重点了解的hadoop命令。本文基于apache hadoop2.6.4 版本,主要讲解用户命令中的hdfs命令的使用。apache hadoop2.6.4 hadoop commands官方网站:http://hadoop.apache.org/docs/r2.6.4/hadoop-project-di...原创 2020-05-02 00:05:40 · 485 阅读 · 0 评论 -
HDFS读取数据流程详解
hdfs读取数据流程详解hdfs数据读取流程的流程和写入流程是相对应的。读取的目标存储在datanode block中,那么要搞清楚hdfs读取的流程,理解hdfs写入流程是前提。另外理解HDFS的数据读取流程除了理解hdfs交互过程外,还需要知道下面两个知识点:(1)机架感知-副本存储机制(2)网络拓扑-节点距离计算本文包含的主要内容:1.hdfs读取数据流程2.hdfs读取数据过...原创 2020-04-30 13:22:47 · 4945 阅读 · 0 评论 -
HDFS数据写入流程详解
hadoop数据写入流程详解hadoop数据写入流程是hdfs理论框架的基础,完全理解hadoop的数据写入流程是每一个大数据从业人员的必备技能。下面以300m文件写入hadoop2.x为例,详细讲解hadoop数据写入的详细过程。主要包括:1.数据写入流程图2.数据写入相关组件3.数据写入组件通信协议4.hdfs通信协议1.数据写入流程图:数据写入过程详解:(1)客户端发送...原创 2020-04-29 20:07:50 · 7064 阅读 · 1 评论