Linux
文章平均质量分 51
bboy枫亭
技术栈:
Java、Python、Scala、Shell
大数据开发
Linux
展开
-
服务器资源监控脚本(钉钉告警——CPU、内存、磁盘等)
#!/bin/bash###############################################Author: bboy枫亭#Last modified: 2021-08-06###############################################获取cpu使用率cpuUsage=`top | head -5 | awk -F '[, ]+' 'NR==3 {print $11}'`#获取磁盘使用率data_name="/" diskU原创 2021-09-09 18:20:18 · 1075 阅读 · 1 评论 -
CentOS7 上配置 MySQL8+Keepalived
centos7上配置mysql8+keepalived1. 环境准备1.1 清掉系统原有MySQL1.2 虚拟机环境2. rpm 安装3. 配置MySQL的主主结构4. 配置Keepalived高可用总结参考:https://www.cnblogs.com/boboooo/p/13891447.html1. 环境准备1.1 清掉系统原有MySQLrpm -qa | grep mariadbrpm -e --nodeps xxxrm -f /etc/my.cnf1.2 虚拟机环境MySQL采原创 2021-08-11 14:01:06 · 521 阅读 · 0 评论 -
服务器监控告警配置(钉钉)
服务监控告警——钉钉群机器人1、新建钉钉群机器人2、编写 Shell 脚本3、定时任务4、部分效果截图本文演示一个利用钉钉群监控、告警服务器运行服务所处的状态。1、新建钉钉群机器人2、编写 Shell 脚本#!/bin/bash#端口 Port_Nginx="80" Port_MySQL="3306"#...此处省略多个端口,按照自己需求配置即可 Port_flink="xxx" #网卡配置(可选)# ifconfig="eth0"#@管理员手机号 user="xxx"原创 2021-08-02 14:32:09 · 1039 阅读 · 0 评论 -
CDH 配置告警服务(邮箱+企业微信)
如何在 CDH 集群出现问题的第一时间通知自己去处理呢?本文提供了两种方法:一、邮箱告警二、企业微信群机器人告警本文提供了两种方法:)一、邮箱告警这个比较简单,此处以QQ邮箱为例(其他同理)。进入QQ邮箱 -> 邮箱设置-> 账户->IMAP/SMTP服务点击开启 IMAP/SMTP服务 则会提示验证。验证后会提供一个授权码,将授权码复制一下。进入 Cloudera Manager Service 的配置页面,搜索框输入 alert 搜索找到邮箱配置。参考下面截图配置原创 2021-06-15 18:59:39 · 2186 阅读 · 3 评论 -
No portmap or rpcbind service is running on this host.
CDH 安装 HDFS ,NFS Gateway 这个角色启动失败,报错:Traceback (most recent call last): File "<string>", line 1, in <module> File "/usr/lib64/python2.7/socket.py", line 224, in meth return getattr(self._sock,name)(*args)socket.error: [Errno 111] Connect原创 2021-06-08 14:11:40 · 580 阅读 · 0 评论 -
CDH6——HDFS 开关纠删码策略
目录前言如何更换策略开启策略的命令关闭策略的命令前言今天在自己虚拟机上搭建 CDH ,安装 HDFS 后,报这个警告大概意思是说:HDFS 使用的 RS-6-3-1024k 编码纠删码策略至少需要9个DataNodes,当前只安装了1个,所以再增加8个DataNodes节点即可解决该问题。但是自己电脑哪里能装这么多节点,索性直接把它禁了算了。那么如何禁止策略呢,再往下看不难发现给了提示:执行这个命令即可。下面对这类命令进行小结,达到举一反三的学习效果。如何更换策略要执行这类命令首先要切原创 2021-06-08 11:34:00 · 584 阅读 · 0 评论 -
Cannot create directory xxx. Name node is in safe mode
安装CDH,初始化HDFS的过程中报错Cannot create directory /tmp. Name node is in safe modehdfs在启动开始时会进入安全模式,这时文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示,只需要等待一会儿即可。解决办法原创 2021-06-04 18:05:59 · 2043 阅读 · 2 评论 -
Linux解决——This account is currently not available
切换用户的时候报这个错:This account is currently not available发现 /etc/passwd 下找到这个用户cat /etc/passwd | grep 用户名发现它的shell是 /sbin /nologin ,这个nologin一看就知道肯定不行,将 /sbin /nologin 改成 /bin/bash 即可。vipw /etc/passwd 修改完毕保存退出,over!!...原创 2021-06-04 18:04:42 · 11189 阅读 · 1 评论 -
Linux启动某个服务报错:Failed to start xxx.service: Unit not found
首先看一下服务列表里有没有这个服务systemctl list-unit-files --type=service有的话执行 systemctl daemon-reload 即可,没有的话说明东西没装好。原创 2021-06-04 17:36:28 · 41321 阅读 · 1 评论 -
Linux清理磁盘(定位高占用-->清理)
定位df -ah可以通过 User% 那一列哪看到个占用多。进入根目录,查询大文件与目录cd /du -sh * | sort -n# 查看大小1GB以上的目录并且排序du -h --max-depth=1 |grep 'G' |sort迭代执行以上操作,定位到可以删除的大文件,将其删除即可。...原创 2021-06-04 17:32:59 · 164 阅读 · 0 评论 -
CDH问题总结——主机运行状况不良
看下官方文档给的解决办法:https://docs.cloudera.com/documentation/enterprise/release-notes/topics/cm_rn_known_issues.html#rn_OPSAPS-34847 (CDH5和6都可以用这个办法)问题所在:Block agents from heartbeating to a Cloudera Manager with different UUID until agent restartcm_guid 文件的内容就.原创 2021-06-03 13:33:44 · 3039 阅读 · 2 评论 -
CDH问题总结——Tables have unsupported engine type [xxx]. InnoDB is required.
目录1. 问题描述1.1 我遇到的报错信息1.2 总结此类报错信息2. 解决办法2.1 查看日志2.2 解决(1)修改配置文件(2)数据库备份(一定把相关库备份一下)(3)重新初始化CM库1. 问题描述1.1 我遇到的报错信息Server启动失败,一直报错:ERROR main:com.cloudera.server.cmf.bootstrap.EntityManagerFactoryBean: Tables have unsupported engine type [null]. InnoDB i原创 2021-06-03 12:38:59 · 399 阅读 · 2 评论 -
CentOS7集群安装配置NTP服务器
目录1. 准备节点2. 安装配置 server 节点2.1 下载安装2.2 编辑配置文件2.3 启动服务3. 安装配置 Client 节点3.1 下载安装3.2 同步时间3.3 编辑配置文件3.4 启动服务4. 测试1. 准备节点不管你有多少个节点,肯定要有一个 server 角色,至于谁是 server 你来决定。例如下面这样,我们姑且假设有这样四个节点192.168.11.101(server端)192.168.11.102(client端)192.168.11.103(client端)1原创 2021-06-02 19:02:30 · 471 阅读 · 0 评论 -
Linux用管道实现将多个文件分别压缩
ls |xargs -i tar zcvf {}.tar.gz {}比如,现在我要将某个目录下的所有文件全部分别压缩,注意是分别压缩。例: a/ 目录下有三个文件 1.txt ,2.txt ,3.txt要达到的效果是批量压缩为:1.txt.tar.gz2.txt.tar.gz3.txt.tar.gz示例:root@ubuntu:/opt/mimic3/data# lsADMISSIONS.csv D_CPT.csv DRGCODES.csv原创 2020-12-14 10:53:03 · 1366 阅读 · 0 评论 -
centos报错-bash: vim: command not found详细解决步骤
解决centos报错-bash: vim: command not found(1)执行 rpm -qa | grep vim , 正常情况下会返回下面几行代码(版本号会有所不一):(2)如果少了其中的某一条,就用 yum 来安装。比如 vim-enhanced 的话就执行: yum -y install vim-enhanced如果上面的三条都沒有返回, 可以直接执行命令: yum -y install vim*...原创 2020-10-30 17:26:13 · 1190 阅读 · 0 评论 -
centos安装mysql-server报错:No package mysql-server available. Error: Nothing to do
CentOS7 安装 mysql 报错:No package mysql-server available. Error: Nothing to do解决办法:两行命令搞定wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm rpm -ivh mysql-community-release-el7-5.noarch.rpm下面再执行安装命令 yum install mysql-server -y,是不是就可以了原创 2020-09-18 14:32:02 · 1448 阅读 · 0 评论 -
Hadoop伪分布式搭建(hadoop2.x通用)
Hadoop伪分布式搭建1. 先关闭防火墙(建议)2. 配置免密钥3. 解压安装jdk和hadoop并配置环境变量4. 配置core-site.xml5. 配置hdfs-site.xml6. 配置mapred-site.xml7. 配置yarn-site.xml8. 配置slaves文件9. 格式化hdfs10. 启动集群并验证环境是否成功搭建先说下我的环境 centos7.6(64位)安装包准备:jdk-8u231-linux-x64.tar.gzhadoop-2.6.5.tar.gz如原创 2020-09-18 14:08:22 · 346 阅读 · 0 评论 -
5秒解决:VMware Workstation 与 Hyper-V 不兼容。请先从系统中移除 Hyper-V 角色,然后再运行 VMware Workstation。
文章目录五秒搞定搞不定往下看五秒搞定按照图示步骤操作完成后,重启电脑即可。搞不定往下看明明已经移除了,怎么还是提示有冲突??what!?解决办法:以管理员身份运行命令提示符执行 bcdedit /set hypervisorlaunchtype off重启即可。...原创 2020-09-17 09:01:58 · 14223 阅读 · 14 评论 -
阿里云Centos7安装图形化界面(ECS服务器)
先说一下我的配置:服务器配置: 2 vCPU 4 GiB系统镜像:CentOS7.6(64位)步骤的话很 easy ,两行命令即可搞定。1.打开自带的 Workbench 或 VNC ,命令行操作的话建议用 Workbench 比较舒服。2.执行 yum groupinstall "GNOME Desktop" "Graphical Administration Tools" 等待安装完成。期间输入 y 回车确认。出现下图说明安装完成。3.执行 ln -sf /lib/systemd.原创 2020-09-11 09:34:12 · 2258 阅读 · 0 评论 -
~/.bashrc与/etc/profile的区别
~/.bashrc与/etc/profile的区别原文链接:https://www.cnblogs.com/2sheep2simple/p/10665361.html~/.bashrc:该文件包含专用于某个用户的bash shell的bash信息,当该用户登录时以及每次打开新的shell时,该文件被读取./etc/profile中设定的变量(全局)的可以作用于任何用户,而~/.bashrc等中设定的变量(局部)只能继承/etc/profile中的变量,他们是"父子"关系~/.bashrc: 作用类似转载 2020-08-12 10:39:39 · 224 阅读 · 0 评论 -
Linux进程管理命令及状态详解
1. 查看进程1.1 ps查看某个时间点的进程信息。# 列出所有运行中/激活进程ps -a# 查看自己的进程ps -l# 查看系统所有进程ps aux# 查看特定的进程ps aux | grep threadx1.2 pstree查看进程树。linux中,每一个进程都是由其父进程创建的。此命令以可视化方式显示进程,通过显示进程的树状图来展示进程间关系。如果指定了pid了,那么树的根是该pid,不然将会是init(pid: 1)。#查看所有进程树pstree -A1.3 t原创 2020-08-09 12:17:14 · 353 阅读 · 0 评论 -
Linux关机命令及步骤
在工作中作为 root 用户,Linux关机操作一般不会直接执行 poweroff、halt、shutdown -h 等。这是很危险的。一般关机流程如下who在关机前需要先使用 who 命令查看有没有其它用户在线。sync为了加快对磁盘文件的读写速度,位于内存中的文件数据不会立即同步到磁盘,因此关机之前需要先进行 sync 同步操作。netstat -a看网络的联机状态。ps -aux查看后台执行的程序。shutdown关机shutdown [-krhc] 时间 [信息]-k :原创 2020-08-07 19:39:00 · 928 阅读 · 0 评论 -
Linux求助命令
今天分享一下我学习 Linux 命令的神技:向命令求命令在学习或者忘记 Linux 的某一个命令时,我一般不会直接去翻书或百度。先走以下流程:(本文以ifconfig为例进行演示)文章目录1. 查看命令类型2. 使用帮助命令(择一即可)2.1 使用 `help` 命令2.2 使用 `man` 查看帮助手册2.3 使用 `info` 命令2.4 doc1. 查看命令类型查看该命令是内建命令还是外部命令type ifconfig因为有一些查看帮助的工具在内建命令与外建命令上是有区别对待的。关于二原创 2020-08-07 18:02:41 · 817 阅读 · 1 评论 -
centos7安装Docker详细步骤(无坑版教程)
centos7安装Docker全过程记录(无坑版教程)一、安装前必读二、安装Docker的详细步骤一、安装前必读在安装 Docker 之前,先说一下配置,我这里是Centos7Linux 内核:官方建议 3.10 以上,3.8以上貌似也可。注意:本文的命令使用的是 root 用户登录执行,不是 root 的话所有命令前面要加 sudo1.查看当前的内核版本uname -r我这里是3.10 ,满足条件。2.使用 root 权限更新 yum 包(生产环境中此步操作需慎重,看自己情况,学习的话原创 2020-07-28 10:07:21 · 4120 阅读 · 1 评论 -
Linux如何查看端口被占用情况?Windows如何查看端口被占用情况?
诸如项目部署等过程当中往往会遇到端口号冲突问题,Windows和Linux分别如何快速锁定占用端口号的进程?WindowsLinuxWindows1.查看各端口占用进程的 PID打开 cmd 命令窗口,输入 netstat -aon(可以指定要查询的端口:netstat -aon|findstr 要查的端口号)2.锁定进程用 PID 查看占用端口号的进程是哪个程序继续输入命令 tasklist|findstr "要查的PID"也可以打开任务管理器安排它Linux1.使用 netsta原创 2020-07-27 08:33:34 · 236 阅读 · 0 评论 -
linux防火墙相关配置命令及操作(centos和ubuntu)
ubuntu和centos防火墙配置命令及操作centosiptables防火墙firewall防火墙ubuntu大家在网上输入【linux 防火墙】等关键字搜索相关文章,有时候会出现命令用不了的情况,不是说他们的命令错误,而是因为操作系统版本的问题。目前的话,比较常见的 Linux 系统就是 centos 和 ubuntu了吧废话不多说了,直接开怼centos目前最常用的 centos 版本是 7.x,这里就以 7.x 展开阐述,同时说一下和 6.x 的区别7.x 版本默认用的 firewal原创 2020-07-24 12:23:10 · 564 阅读 · 0 评论 -
阿里云ECS服务器ubuntu18.04图形界面安装配置
先说一下我用的ECS配置服务器配置: 2 vCPU 4 GiB系统镜像:ubuntu18.04(64位)本文的配置方法在 ubuntu 16.04 上一样适用1. 安装图形化界面网上一大堆教程又是下载这又是下载那,其实啥都不用下载,自带的 Workbench 和 VNC 它不香吗?找到要配置的实例,打开详情页面如下选 Workbench 或 VNC 连接登录就可以正式开始操作了,终端页面的话我比较喜欢 Workbench 的(看着舒服)1.1 更新软件源apt-get update原创 2020-07-21 12:13:39 · 1473 阅读 · 3 评论 -
centos7卸载自带jdk并安装新的jdk
三分钟搞定1. 卸载自带openjdk2. 安装自己的jdk装完 centos7 发现自带 openjdk ,因为自带的 openjdk 可能会出现一些不必要的问题,所以开始本文的操作1. 卸载自带openjdk[root@centos ~]# java -versionopenjdk version "1.8.0_242"OpenJDK Runtime Environment (build 1.8.0_242-b08)OpenJDK 64-Bit Server VM (build 25.242原创 2020-07-17 07:41:55 · 394 阅读 · 0 评论