0909 keepalived +hadoop 安装 基础概念

keepalived 可以使实现HA  当一个节点挂掉的时候 他可以切换到另一台 次优先级的节点 yum install keepalived  主要是通过配置文件起作用 可配置虚拟的网络地址  软件功能和 之前做的 kapcitor的脚本一个道理

hadoop 集群的搭建  基于java的环境下  配置ssh 修改 hadoop-env.sh core_site.xml hdfs-site.xml slaves  

然后格式化  hdfs namenode -format      sbin/start-dfs.sh  

格式化vi文本 ctrl+v  !xmllint -format - 

基础概念 namenode  存贮元数据   元数据文件分多少块 分块路径 每个块的偏移量 块大小 大小 名称 等属性信息

文件

元数据信息 有保存在内存中应付高并发 速度快 磁盘中会存在namenode 的镜像文件  正在操作的 会以log文件的形式不断追加

合并log 和镜像文件 就是最新的namenode的状态    更新的顺序edits.log-----内存-----fsimage  namenode 是读写分离的形式

dataname 存贮 数据文件  

https://blog.csdn.net/lb812913059/article/details/79717627

hdfs操作

hdfs dfs -put ~/hello.txt /

hdfs dfs -D dfs.blocksize=1048576 -D dfs.replication=1  -put ~/hello.txt /