![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hdfs-储备室
文章平均质量分 57
_东极
少年锦时
展开
-
两个namenode都是standby状态
日志信息 hdfs haadmin -transitionToActive nn1 报错 2019-10-18 03:49:21,586 INFO org.apache.hadoop.hdfs.server.namenode.ha.EditLogTailer: Triggering log roll on remote NameNode note02/192.168.18.101:9000 201...原创 2019-10-20 19:00:06 · 1226 阅读 · 0 评论 -
hadoop的HA搭建
文章目录集群规划zookeeperhdfs启动HDFS-HA集群 集群规划 note01 note02 note03 NameNode NameNode JournalNode JournalNode JournalNode DataNode DataNode DataNode ZK ZK ZK ResourceManager ResourceManager ...原创 2019-10-20 18:23:20 · 314 阅读 · 0 评论 -
完全分布式部署Hadoop集群(三)完成基本搭建
集群规划 注意:真实集群搭建 NameNode独占一个资源 不和datanode一起 SecondaryNameNode 也一样 每一个datanode配置一个nodemanager,ResourceManager 避开namenode和secondarynamendoe 基本搭建 cd /opt/module/hadoop-2.7.2/etc/hadoop vim core-site.xml ...原创 2019-10-17 22:40:34 · 821 阅读 · 0 评论 -
完全分布式部署Hadoop集群(四)集群的基本测试以及集群时间同步
创建文件夹 hadoop fs -mkdir -p /user/input 命令的形式查看文件 上传文件 hadoop fs -put wcinput/wc.input /user/input 查看上传的文件 hadoop fs -cat /user/input/wc.input 上传大文件 hadoop fs -put /opt/software/hadoop-2.7.2.tar.g...原创 2018-11-03 01:56:55 · 796 阅读 · 0 评论 -
Hadoop的namenode的镜像文件和编辑日志
存储地址: namenode 被格式化之后,将在/opt/module/hadoop-2.7.2/data/tmp/dfs/name/current 目录中 产生文件名为edits,fsimage,seen_txid,VERSIOn (1) fsimage文件:HDFS文件系统元数据的一个永久性检查点,包含HDFS文件系统的所有目录和文件idnode的序列化信息 (2)edits文件:存放HDF...原创 2018-11-05 00:47:24 · 1454 阅读 · 0 评论 -
详细解NameNode和Secondary NameNod信息
查看 namenode 版本号 在/opt/module/hadoop-2.7.2/data/tmp/dfs/name/current 这个目录下查看 VERSION namespaceID=1933630176 clusterID=CID-1f2bf8d1-5ad2-4202-af1c-6713ab381175 cTime=0 storageType=NAME_NODE blockpoolID=...原创 2018-11-05 01:12:29 · 1184 阅读 · 0 评论 -
手动模拟NameNode故障处理以及集群的安全操作
方法一:将SecondaryNameNode中的数据拷贝到namenode存储数据的目录 模拟 namenode 故障,并采用方法一,恢复 namenode 数据 模拟实现 jps查看namenode进程 并 kill -9 进程号 杀死进程 删除 namenode 存储的数(/opt/module/hadoop-2.7.2/data/tmp/dfs/name) [root@testno...原创 2018-11-05 21:39:58 · 590 阅读 · 0 评论 -
NameNode的多目录配置
namenode的本地目录可以配置多个,每个目录相同,增加可靠性 在hdfs-site.xml文件中增加 <property> <name>dfs.namenode.name.dir</name> <value>file:///${hadoop.tmp.dir}/dfs/name1,file:///${hadoop.tmp.dir}/d...原创 2018-11-05 22:28:29 · 2557 阅读 · 2 评论 -
DataNode的工作机制
一个数据块在datanode上以文件的形式存储在磁盘上,包括两个文件,一个是数据本身,一个数元数据,包括数据块的长度,块数据的校验和,以及时间戳 (这个时候是安全机制) DataNode启动后向namenode注册,通过后,周期性(1小时)的向namenode上报所有块的信息 心跳每3秒一次.心跳返回的结果带有namenode给datanode的命令,如复制块数据到另外一台机器,或删除某个数据...原创 2018-11-05 22:49:49 · 632 阅读 · 0 评论 -
datanote掉线时限参数设置
datanode 进程死亡或者网络故障造成 datanode 无法与 namenode 通信,namenode 不会立 即把该节点判定为死亡,要经过一段时间,这段时间暂称作超时时长。HDFS 默认的超时时 长为 10 分钟+30 秒。如果定义超时时间为 timeout,则超时时长的计算公式为: timeout = 2 * dfs.namenode.heartbeat.recheck-interva...原创 2018-11-05 23:40:48 · 518 阅读 · 0 评论 -
DataNode的目录结构
和namenode不同的是,datanode的存储目录是初始阶段自动创建的,不需要额外格式化 在/opt/module/hadoop-2.7.2/data/tmp/dfs/data/current cat VERSION #Tue Nov 06 05:43:25 CST 2018 storageID=DS-6d013652-f213-4118-9e89-e53d7ab028c9 c...原创 2018-11-06 01:11:45 · 1333 阅读 · 0 评论 -
hadoop的shelll操作
文章目录1.基本语法2.命令大全 1.基本语法 bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 dfs是fs的实现类 2.命令大全 [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <...原创 2019-06-01 19:31:09 · 428 阅读 · 0 评论 -
NameNode与Secondary NameNode 工作机制
第一阶段:namenode启动 1. 第一次启动NN格式化后创建fsimage和edits文件.如果不是第一次启动,直接加载 编辑日志和镜像文件到内存 2. 客户端对元数据进行增删改的请求 3. NN记录操作日志,更新滚动日志 4. NN在内存中对数据进行增删改查 第二阶段:Secondary NameNode 工作 1. SecondaryNameNode访问NN是否需要chec...原创 2018-11-04 21:59:32 · 482 阅读 · 0 评论 -
完全分布式部署Hadoop集群准备(二)编写集群分发脚本
编写集群分发脚本xsync 作用:配置所有节点的同步信息 在/usr/local/bin这个目录下存放的脚本,可以在系统任何地方直接执行 /usr/local/bin目录下 touch xsync chmod 777 xsync #!/bin/bash #获取输入参数的个数.没有参数直接退出 pcount=$# if((pcount==0));then echo no args; exit...原创 2018-11-02 22:29:11 · 1093 阅读 · 0 评论 -
HDFS网络拓扑概念和机架感知(副本节点的选择)以及一致性模型
网络拓扑概念 在本地网络中,两个节点被称为“彼此近邻”: 在海量数据处理中,其主要限制因素是节点之间数据的传输速率——带宽很稀缺。 这里的想法是将两个节点间的带宽作为距离的衡量标准。 节点距离:两个节点到达最近的共同祖先的距离总和。 例如,假设有数据中心 d1 机架 r1 中的节点 n1。该节点可以表示为/d1/r1/n1。利用这种 标记,这里给出四种距离描述 机架感知(副本节点的选择) 官...原创 2018-11-04 18:00:54 · 1308 阅读 · 0 评论 -
Hadoop使用伪分布式的搭建
安裝jdk vi /etc/profile export JAVA_HOME= PATH=$PATH:$JAVA_HOME/bin 设置免密钥登录(本机) ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub &amp;amp;amp;amp;gt;&amp;amp;amp;amp;gt; ~/.ssh/authorized_keys hadoop.tar.gz 到服务器,解压到指定原创 2018-11-01 20:36:04 · 309 阅读 · 0 评论 -
Hadoop在yarn上运行mr程序以及历史服务器的配置
yarn上运行mr程序 配置yarn-env.sh 配置yarn-site.xml &amp;lt;!-- reducer获取数据的方式 --&amp;gt; &amp;lt;property&amp;gt; &amp;lt;name&amp;gt;yarn.nodemanager.aux-services&amp;lt;/name&amp;gt; &原创 2018-11-02 01:06:55 · 1651 阅读 · 0 评论 -
hadoop配置日志聚焦功能
停止所有进程,依次为 mr-jobhistory-daemon.sh stop jobhistoryserver yarn-daemon.sh stop nodemanager yarn-daemon.sh stop resourcemanager hadoop-daemon.sh stop datanode hadoop-daemon.sh stop namenode 关闭所有的服务后 配置y...原创 2018-11-02 02:05:51 · 296 阅读 · 0 评论 -
使用IDEA实现HDFS客户端的简单操作
添加依赖 &lt;dependency&gt; &lt;groupId&gt;junit&lt;/groupId&gt; &lt;artifactId&gt;junit&lt;/artifactId&gt; &lt;version&gt;4.12&原创 2018-11-03 21:59:56 · 6234 阅读 · 1 评论 -
服务新数据节点和退役旧数据节点
当原有的数据节点容量达不到存储数据需求,需要在原有集群基础上动态添加新的数据节点 准备一台虚拟机 修改ip,主机名称.以及hosts 配置jdk以及hadoop的环境 修改xcall和xsync文件,增加新节点,同步ssh 修改xcall 修改xsync 设置免密码登录 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 将生成的公钥拷贝到主机...原创 2018-11-06 20:46:03 · 574 阅读 · 0 评论 -
集群间数据拷贝和Hadoop存档对于小文件处理
scp实现两个远程主机之间的文件复制 scp -r hello.txt root@hadoop103:/user/atguigu/hello.txt // 推 push scp -r root@hadoop103:/user/atguigu/hello.txt hello.txt // 拉 pull scp -r root@hadoop103:/user/atguigu/hello....原创 2018-11-06 22:23:00 · 388 阅读 · 0 评论 -
HDFS的快照管理
快照相当于对目录做一个备份,并不会立刻复制所有文件,而是指向同一个文件,当写入发生时,才会产生新文件 基本语法 (1)hdfs dfsadmin -allSnapshot 路径 (功能描述:开启指定目录的快照功能) [root@testnote01 test]# hdfs dfsadmin -allowSnapshot /user/test/zyd Allowing snaphot on /u...原创 2018-11-06 22:46:02 · 2002 阅读 · 0 评论 -
hdfs回收站的设置
1)默认回收站 默认值 fs.trash.interval=0,0 表示禁用回收站,可以设置删除文件的存活时间。 默认值 fs.trash.checkpoint.interval=0,检查回收站的间隔时间。 要求 fs.trash.checkpoint.interval<=fs.trash.interval 启用回收站 修改core-site.xml 配置垃圾回收时间为1分钟 <...转载 2018-11-07 00:34:16 · 1183 阅读 · 0 评论 -
完全分布式部署Hadoop集群准备(一)
配置三台虚拟机 分别设置名称为testnote01,testnote02,testnote03 分别配置三台虚拟机的ip 192.168.18.50 192.168.18.51 192.168.18.52 主机名等信息,详情虚拟机克隆冲突解决 cat /etc/hosts //修改为 192.168.18.50 testnote01 192.168.18.51 testnote02 192....原创 2018-11-02 20:13:26 · 290 阅读 · 0 评论 -
通过IO流操作 HDFS代码实现
HDFS文件上传 @Test /** * HDFS文件上传 */ public void putFileToHDFS() throws URISyntaxException, IOException, InterruptedException { //1.获取文件系统 Configuration configura...原创 2018-11-04 17:14:00 · 645 阅读 · 0 评论 -
HDFS的数据流读写数据流的过程
HDFS写数据的流程 客户端通过分布式文件系统(Distributed FileSystem) 模块向namenode请求上传文件,namenode检查目标文件是否已存在,父目录是否存在 namenode返回是否可以上传 客户端请求第一个block上传到哪几个datanode服务器上 namenode返回3个datanode节点,分别是dn1,dn2,dn3 客户端通过FSDataOutput...原创 2018-11-04 17:43:25 · 1110 阅读 · 0 评论 -
Hadoo初识
Hadoop组成: HDFS(存储)+MapReduce(计算)+yarn(资源管理) HDFS:高可靠,高扩展性和高吞吐率的数据存储服务 MapReduce:编程,高容错性,高扩展性 YARN:负责集群资源的管理和调度 ...原创 2018-11-01 19:14:00 · 294 阅读 · 0 评论