大数据运维
AMlyq
这个作者很懒,什么都没留下…
展开
-
JVM HDFS&YARN WEB URL
RMGet_RM_URL : http://RM:8088/ws/v1/cluster/info && http://RM:8088/ws/v1/clusterNMGet_ONE_NM_URL : http://RM:8088/ws/v1/cluster/nodes/NM:8041Get_ALL_NM_URL : http://RM:8088/ws/v1/cluster/nodesNNhttp://NN:50070/jmxhttp://NN:50070/jmx?ge..原创 2022-02-10 16:47:10 · 738 阅读 · 0 评论 -
Kerberos使用
/usr/bin/ftp 文件传输协议程序 /usr/bin/kdestroy 销毁 Kerberos 票证 /usr/bin/kinit 获取并缓存 Kerberos 票证授予票证 /usr/bin/klist 显示当前的 Kerberos 票证 /usr/bin/kpasswd 更改 Kerberos 口令...原创 2021-07-21 18:12:36 · 288 阅读 · 2 评论 -
离线ntp时间同步安装部署
注:本部署安装不适用于非红帽系统部署内网ntp服务是将一个节点时间为参考时间,将其定为master,其余节点为client;手动修改master节点时间为现实时间,client编写crontab定时任务自动同步master节点时间,进而保持集群时间的一致性。下载包snv://172.16.1.2/Repo1/MobileBox/Docs/内网ntp安装.zip解压文件建议在window下解压文件,再上传ntp文件包,下图为SVN文件解压后的内容:上传解压3.1上传上传文..原创 2021-06-17 09:45:22 · 900 阅读 · 0 评论 -
zookeeper自动化部署(结合ansible、pycharm)
zookeeper自动化部署原创 2020-09-21 18:57:23 · 256 阅读 · 0 评论 -
spark on yarn多版本共存问题解决方案
spark on yarn原创 2020-03-10 14:18:25 · 1181 阅读 · 5 评论 -
大数据运维 fstab磁盘自动挂载脚本
#!/bin/bash#HAdoop函数function hadoop(){ echo "${needmountdisk[0]}磁盘挂载检查" #获取挂载文件夹前一个文件夹 file=${needmountfile[i]} filenum=`echo ${file#*e}` BeforeMountfilenum=`printf "%02d" $((10#...原创 2020-03-10 13:23:38 · 556 阅读 · 0 评论 -
进程守护工具supervisor的使用部署
supervisor使用:-c/--configuration -- configuration file path (default /etc/supervisord.conf)指定使用的配置文件:supervisord -c /etc/supervisord.conf-h/--help -- print usage message and exit-i/--interactiv...原创 2019-11-07 14:08:58 · 166 阅读 · 0 评论 -
kafka2.1集群部署
jdk部署 下载安装包:wgetwget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u121-b13/e9e7ea248e2c4826b92b3f0...原创 2019-10-28 12:49:35 · 360 阅读 · 0 评论 -
大数据集群磁盘离线挂载
一、离线磁盘 1.删除hdfs配置文件磁盘的信息 vim /etc/hadoop/hdfs-site.xml 进入编辑模式,删除磁盘信息并保存退出 2.重启服务检查文件 su hdfs hdfs dfsadmin -r...原创 2019-07-05 10:55:01 · 492 阅读 · 0 评论