jzy3711的博客

文章目录amabri shell install 使用shell的方式一键式部署ambri HDP背景&目的准备服务器准备shell 脚本参数设计主脚本安装jdk修改主机参数配置hosts文件ssh免密执行注意版本源码版权后续期望&缺陷amabri shell install 使用shell的方式一键式部署ambri HDP背景&目的从2016年第一个ambari相关项目开始，需要频繁的部署，不同的ambari版本,使用shell实现一键式部署ambari，后期不断完善，实际上

背景公司在黑龙江的集群用了7年，最近总是遇到namenode双活，数据无法写入问题。问题2022-03-28 11:02:38,318 INFO ipc.Server (Server.java:run(2172)) - IPC Server handler 49 on 8020, call org.apache.hadoop.hdfs.protocol.ClientProtocol.getBlockLocations from 136.192.59.173:43484 Call#4 Retry#3

mysqldump用于主主（主从）复制（不加锁，不影响业务）操作1.备份主库数据mysqldump -uroot -pR1234qwroot -F --master-data=2 -A --add-drop-database --add-drop-table > all.sql2.从库加载数据source /home/odcp/all.sql3.从库修改log位置#查看MASTER_LOG_FILEhead -30 all.sqlCHANGE MASTER TO MASTE

背景在hive中orc格式会自动将string类型的数据，hdfs文件加载成数据类型，就导致使用多表关联 jion on id = "11"时报错，或查询不出来结果，或者这外部表时造成表结构与实际数据类型不符。操作使用shell脚本获取建表语句，并创建一个相同结构的textfile格式的临时表，将数据导到临时表，删除原表，创建一个相同结构的textfile格式的原表，将临时表数据导回来，再删除临时表使用shell处理因为表太多，我将表名整理到a.out,使用shell及脚本去生成一个sql文件去执

准备安装 mdadmyum -y instll mdadmmdadm参数-a 检测设备名称-n 指定设备数量-l 指定RAID等级-C 创建-v 显示过程-f 模拟设备损坏-r 移除设备-a 增加设备-Q 查看摘要信息-D 查看详细信息-S 停止配置raid5#创建raid 如果是连续的可以简写/dev/sd[b-f]1 mdadm -Cv /dev/md0 -a yes -n 10 -l 5 /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1

azkaban 提交任务不执行直接失败azkaban web 报错ERROR [FlowTriggerScheduler] [Azkaban] Unable to get scheduled flow triggers查看web下logcat webServerLog_2020-11-27+18\:11\:24.out 报错信息2020/11/30 15:38:13.483 +0800 ERROR [FlowTriggerScheduler] [Azkaban] Unable to get s

手动清理centos7 buff/cache 占用过高命令##手动执行sync命令（描述：sync 命令运行 sync 子例程。如果必须停止系统，则运行sync 命令以确保文件系统的完整性。sync 命令将所有未写的系统缓冲区写到磁盘中，包含已修改的 i-node、已延迟的块 I/O 和读写映射文件）[root@localhost internal]# sync[root@localhost internal]# echo 1 > /proc/sys/vm/drop_caches[root@

根据进程号查看openfiles数量lsof -p 46528 | grep "WEB-INF/lib" | wc -llsof -p 46528 wc -lvim /etc/security/limits.conf 和 /etc/security/limits.d/20-nproc.conf添加* soft nproc 40960roo...

国家授时中心：ntp.ntsc.ac.cn更新本服务器的时间ntpdate -u ntp.ntsc.ac.cnvi /etc/ntp.confserver ntp.ntsc.ac.cn/bin/systemctl restart  ntpd.service注意最好用国家授时中心的地址，阿里云的是分国家，同事用了ntp1.aliyun.com结果差了16个小时时区查看...

1、问题通过ssh-keygen -t rsa和ssh-copy-id -i node1操作后，免密登录依然需要输入密码。[root@node1 ~]# ssh node1The authenticity of host 'node1 (192.168.1.160)' can't be established.ECDSA key fingerprint is SHA256:CzXPs...

原因：hdfs上没有root用户，也没有对应的文件夹/user/root会默认以root身份去将作业写入hdfs文件系统中，对应的也就是 HDFS 上的/user/xxx , 我的为/user/root,   由于 root用户对hdfs目录并没有写入权限，所以导致异常的发生。而hdfs才有权限创建/user/root解决方法：1、第一种在hdfs的配置文件中，将dfs.permi...