- 博客(19)
- 收藏
- 关注
RSS订阅转载 linux防火墙iptables概念与规则编写
这里我自己不写了，给大家推荐一个博主的文章，写得非常好，大家想学习，可以参考他的。参考网址：https://www.cnblogs.com/L2366/p/9285917.html写得真的很棒！...
2019-05-29 11:40:11
274
原创 如何计算单个region server能支持的最大region数
虽理论上说单个region server能支持最多1000个region，但实际上是不太可能的。RegionServer维护Master分配给它的region，处理对这些region的IO请求,负责切分在运行过程中变得过大的region。region server上的region数通常取决于mestore的内存大小。正常一个region存在多个列簇，每个列簇对应一个memstore。...
2019-02-26 11:57:46
2312
原创 查看僵尸进程并杀掉僵尸进程
在运维过程中，我们经常会碰到机器由于某几个特殊的僵尸进程造成整台服务器上的进程异常卡死，负载变高。例如以下：其中，存在8个僵尸进程，并且进程19712的CPU使用异常。查看具体的僵尸进程有哪些：发现这些子僵尸进程的父进程即为19712进程。其对应的其实就是namenode进程 解决办法：（1）如果业务不繁忙，允许停机，可以使用重启机器来解决（这种方法不行，业务不能停...
2019-01-29 10:05:13
12568
1
原创 使用ps命令查看进程的准确启动时间与启动后所消耗的时间
使用ps命令查看nginx进程的准确启动时间与启动后到现在所消耗的时间：[hadoop@DSJ-4G-26 ~]$ ps -eo pid,lstart,etime,cmd |grep nginx 2204 Tue Nov 21 16:52:47 2017 433-16:44:00 nginx: master process /usr/sbin/nginx 2205 Tue Nov 21 1...
2019-01-29 09:42:43
4920
原创 mysql 全量备份与增量备份脚本
全量备份[root@lf-319-161 scripts]# cat wqbk.sh#!/bin/bash#use mysqldump to fully backup mysql dataBakDir=/mnt/sata02/backup/wqbkLogFile=/mnt/sata02/backup/wqbk/bak.logBegin=`date +"%Y年%m月%d...
2018-12-20 14:50:26
2012
转载 MySQL 误操作后数据恢复（update,delete忘加where条件）
这是我转载别人的博客，感觉写得非常好，很喜欢。转载地址为：https://www.cnblogs.com/gomysql/p/3582058.html 在数据库日常维护中，开发人员是最让人头痛的，很多时候都会由于SQL语句写的有问题导致服务器出问题，导致资源耗尽。最危险的操作就是在做DML操作的时候忘加where条件，导致全表更新，这是作为运维或者DBA的我们改如何处...
2018-12-20 14:35:44
717
原创 mysql误删库恢复操作
前提：对mysql库进行全备和增量备份（全备就是对hive库进行完全备份，增量备份就是将mysql的binlog日志进行备份）情景说明：由于误操作，将包含有多张表的数据库给误删了要求：恢复误删的数据库 具体模拟故障过程与恢复操作步骤如下：（1）首先创建hive库，创建一个before1表，插入一条记录，创建一个after1表，插入3条记录mysql> use hive;...
2018-12-18 16:21:29
5031
原创 Linux动态修改主机名，永久生效
以前记得改主机名， 需要改很多配置，而且是必须要重启机器才能生效，但正常业务上是不允许重启机器的。现在有一个方法，可以在不重启机器的情况下，也能修改主机名。针对不同版本，修改的方式有点不一样，具体方法如下：针对7版本：[root@kvm_vm_nouse ~]# hostname kvm24[root@kvm_vm_nouse ~]# cat /etc/hostname ...
2018-11-29 15:24:09
3664
原创 cm集群增加新datanode 无法通信，报错：Datanode denied communication with namenode because the host is not in the
问题描述：在CM上添加一台Dataode主机后，启动datanode时，一直报下面的错误：“ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool BP-1251007601-10.162.3.171-1464682677169 (Datanode Uuid 88ab...
2018-11-28 15:01:14
2847
原创 查看视图报错ERROR 1356 (HY000): View 'bdi_gj1121.y' references invalid table(s) or column(s) or function
问题说明：业务说导入的新数据库有几个视图查不了，报错：mysql> select count(*) from bdi_gj1121.beaf_company;ERROR 1356 (HY000): View 'bdi_gj1121.beaf_company' references invalid table(s) or column(s) or function(s) or defi...
2018-11-21 15:11:25
33556
1
原创 keepalived关闭后VIP不释放
自己搭建的MHA+Keepalived+VIP，其中在测试主master宕掉后看备是否接管和VIP是否自动飘移时，发现keepalived随着主master上的mysql宕掉后,keepalived进程也随着宕掉，但是发现一个奇怪的问题，VIP并没有飘走，并且备master上的VIP也同时起来了，即有两个VIP同时存在！我的主和备的keepalive配置文件如下：主master上的keep...
2018-11-19 16:13:53
9644
原创 mysql复制数据库与重命名数据库
业务有要求，希望将现有的mysql数据库bdi_gj，复制一个新的数据库为bdi_gj_40。我的操作为：（1）首先创建一个新库bdi_gj_40create database bdi_gj_40;（2）然后使用mysqldump进行导出导入，实现复制效果mysqldump bdi_gj -ubde_cubigdata -pxxx -h192.168.20.26 -P3306 ...
2018-11-18 22:36:06
5202
原创 HDFS中Non DFS Used使用过大
问题描述：在namenode页面发现，好多主机的Non DFS Used使用非常大，大大减少了HDFS磁盘剩余可用容量，存在异常通常，Non DFS Used = 配置的容量 - 剩余容量 - DFS使用容量而配置容量 = 总容量 - 预留空间（总容量为磁盘的总大小，预留空间为默认的5%）所以，Non DFS used=（总容量-预留空间）- 剩余容量 - DFS使用容量...
2018-11-06 16:07:33
6287
3
原创 记一次Hive库里手动删除表，但是HDFS上还存在表文件奇怪问题
正常在hive库即hive命令行中删除一张表，hdfs上也是同步的被删除的，但是这次发现在hive里手动建了一张表，然后使用drop table 表名后，hive库里的确没发现这张表了，但是HDFS上还是有。我使用的建表建库语句：create database test1 location 'hdfs://beh/user/test1/test1.db'; //创建库指定路径use ...
2018-11-05 16:17:57
10986
原创 mysql启动失败错误mysqld.service holdoff time over, scheduling restart.
由于搭建主从分布式mysql环境，在搭建前，对之前的mysql残留环境彻底清除。清除命令如下：#yum remove mysql* mariadb* -y #rm /etc/my.cnf #rm -rf /var/lib/mysql #rm -rf /usr/share/mys...
2018-10-26 10:18:20
29519
2
原创 记一次MHA主从不同步恢复过程
背景：根据生产环境故障模拟，由于生产环境主机mysql数据目录满，造成业务侧连接mysql异常。维护人员在排查时，误将MHA中主master的二进制日志全部清除，造成两个从库向主库同步拉取日志失败，报找不到日志错误。为解决该问题，同时又考虑到生产库不能停库，所以准备在主master库上对相关重要库进行热备份，将备份后的数据在从库上进行恢复，恢复完成后重新在从库上开启主从同步进程。下面为大体的故...
2018-09-14 18:14:19
1076
转载 HDFS集群磁盘倾斜不均衡的解决方案
一、引起磁盘倾斜不均衡的可能原因有哪些 （1）扩容节点，向集群中添加新的数据节点 （2）数据节点之间的磁盘大小不一致二、磁盘倾斜引起的性能问题 （1）MR程序无法很好地利用本地计算的优势 （2）机器之间无法达到更好的网络带宽使用率 （3）机器磁盘无法利用三、解决磁盘倾斜的方案 （1）使用数据均衡工具手动balance 如果是cm，选择“重新平衡”； 如果是手动的hadoop...
2018-09-12 15:30:52
2298
转载 关于HDFS中dfs.datanode.du.reserved系统空间预留参数
dfs.datanode.du.reserved 官方解释为：适用于非分布式文件系统 (DFS) 使用的保留空间（字节/卷）。 通俗的意思：预留磁盘的一部分空间给操作系统用，这个参数主要是为了防止磁盘空间被写满导致的HDFS异常。通常系统默认保留5%的磁盘空间给操作系统用。 那么每个盘可用的HDFS存储空间是：（总存储空间 - dfs.datanode.du.reserved ），其在 hd...
2018-09-12 13:29:03
7224
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人