- 博客(10)
- 收藏
- 关注
RSS订阅原创 shell基础命令
声明变量 aa="bb" # =号两边不能有空格 echo $aa数组 #!/bin/bash arr=(aa bb cc) echo ${arr[@]} #打印数组所有元素 echo ${arr[2]} # 根据下标获取元素 echo ${#arr[@]} #打印元素个数拆分 str="aa,bb,cc,dd" #OLD_...
2019-08-25 17:25:36
91
原创 linux发送qq邮箱
现在qq邮箱中开启smtp服务通过下面图中配置和生成授权码停止服务service sendmail stopchkconfig sendmail off启动postfix服务: service postfix startchkconfig postfix onpostfix checksystemctl status postfix调整参数vi /etc/postfix/ma...
2019-08-25 16:50:39
467
原创 自我检测
1，hdfs yarn 常用命令整理2，hdfs fsck / 查看损坏的块hdfs fsck / -delete 删除损坏文件，而不是损坏的块3，整理故障案例ssh host “$ZOOKEEPER_HOME/bin/zkServer.sh start” 启动zookeeper失败通过find命令查找zookeeper.log日志文件查看得知无法查找java命令，证明在启动前没有通过...
2019-08-25 15:54:15
234
原创 Hadoop HA集群部署
-环境准备3台centos机器 分别为master1和master2，slave master1和master2分别作为active nn和standby nn slave为从节点 假设ip分别为 master1 192.168.0.1 master2 192.168.0.2 slave 192.168.0.3ip和hostname绑定 三台机子分...
2019-08-24 15:58:22
97
原创 hbase的读写是否经过集群中的主节点master
因为HMaster的作用是将region分配给RegionServer,协调RegionServer的负载并维护集群的状态维护表和Region的元数据，不参与数据的输入/输出过程所以hbase的读写并不经过master主节点。但是当HMaster宕机后；数据能正常读写，但是不能创建删除表，也不能更改表结构因为会涉及到meta表的更新，但是HMaster处于失效的状态。...
2019-08-24 14:38:27
710
原创 hadoop中的小文件
在hdfs中小文件的危害是致命的，因为小文件的存储会造成大量的文件元数据，这会将NameNode撑爆。解决方案设定小文件的阈值，合并小文件。合并小文件可以选择在数据为落到hdfs之前合并如果数据已经落地到hdfs，可以通过spark service 服务，根据业务场景进行调度合并。...
2019-08-24 14:28:34
89
原创 结果双写和数据双线
结果双写根据业务需求将数据结果写到两个地方，在高峰期可以根据用户习惯将数据访问量大的数据写到ElasticSearch数据数据双线在业务高峰期时正常使用的数据线可能会有延迟，这个时候可以启动另外一个线路进行写入数据，这样可以降低数据的延迟，但是要考虑到数据的一致性问题。...
2019-08-24 14:23:54
196
原创 HDFS HA和Yarn HA的区别
HDFS HA中的ZKFC是作为一个独立守护进程存在的Yarn HA中的ZKFC只是作为RM的一个线程存在HDFS HA中active nn 和standby nn需要同jn共享数据，而Yarn HA是active RM向zk的/RMstore存储作业信息并不是随时共享的。HDFS HA中的 DataNode节点会同时和active nn和standby nn两个节点通信发送状态Yarn ...
2019-08-24 10:06:29
176
原创 HDFS HA架构
hdfs简介：hdfs包含 NameNode、DataNode、SecondaryNamenodeNameNode: 存储文件的元数据信息 fsiamge editlog 读写请求记录DataNode: 存储实际的文件数据SecondaryNamenode: 合并内存中edit los到fsimage文件中-为什么要使用HA Hadoop生态圈大部分组件都是master/sla...
2019-08-24 09:54:56
235
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人