Linux
大浪淘沙2023
可以叫我码农,也可以叫我程序猿!
展开
-
greenplum迁移的时的几点小经验
最近迁移了一套gp环境,数据大概在32TB左右,所以做一下简单的记录。OS Version:CentOS release 6.10 (Final)GP Version:GreenplumDatabase 4.3.32.0build1PC节点 :8 迁移数据:32TB过程: 由于数据库属于线上数据仓库,而迁移后的节点 和迁移前的节点数据量一致,所以选择使用gp_dump备份,gp_dump恢复的方式进行迁移。 整个迁移过程分2天完成。第1天: 迁移数据没有变化的4TB,涉...原创 2020-05-25 14:38:30 · 343 阅读 · 0 评论 -
切换域名后,ssh配置问题
OS:CentOS release 6.10 (Final)问题:今天在在gp迁移测试时,把GP备份的域名从A机迁移到了B机。配置后,发现使用ssh 命令登录到需要同步文件到GP备机时,发现失败,提示信息如下:@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@The RSA host key for gp69.d...原创 2020-04-30 19:38:45 · 666 阅读 · 0 评论 -
Linux下获取依赖包而不安装的方法
1.安装epel-relaese-6.78.noarch包sudo rpm -Uvh http://ftp.linux.ncsu.edu/pub/epel/6/i386/epel-release-6-8.noarch.rpm2.安装yum-downloadonly[ccapp@localhost wxc]$ sudo yum install yum-downloadonly原创 2014-01-07 11:25:47 · 2210 阅读 · 0 评论 -
Linux如何获取循环日期
#!/bin/bashstartDate=2010-05-02endDate=2010-08-03startSec=`date -d "$startDate" "+%s"`endSec=`date -d "$endDate" "+%s"`for((i=$startSec;ido date -d "@$i" "+%Y-%m-%d"原创 2014-11-27 17:39:40 · 920 阅读 · 0 评论 -
Shell中的整数与字符串比较比较
1.整数比较-eq: 等于-ne: 不等于-gt: 大于-ge: 大于等于-lt: 小于-le: 小于等于> :大于>=: 大于等于字符串比较:===!= "$b"]] 或者 if [ "$a" \> "$b" ],注意,大于号需要转义>: 大于,-z: 字符串为null-n: 字符串不为null原创 2014-11-27 09:58:17 · 767 阅读 · 0 评论 -
Linux 释放内存方法
第一步:执行命令,完成内存缓存区(buffers cache)有效数据向外设的存储。 #sync #sync 第二步:修改内核对内存的管理(主要是内存数据的清理) # echo 3 > /proc/sys/vm/drop_cac转载 2015-03-05 11:45:31 · 612 阅读 · 0 评论 -
LINUX系统性能调优
一、前提我们可以在文章的开始就列出一个列表,列出可能影响Linux操作系统性能的一些调优参数,但这样做其实并没有什么价值。因为性能调优是一个非常困难的任务,它要求对硬件、操作系统、和应用都有着相当深入的了解。如果性能调优非常简单的话,那些我们要列出的调优参数早就写入硬件的微码或者操作系统中了,我们就没有必要再继续读这篇文章了。正如下图所示,服务器的性能受到很多因素的影响。当面对一个使用转载 2015-03-05 12:38:34 · 423 阅读 · 0 评论 -
nf_conntrack: table full, dropping packet问题的解决思路
http://www.jb51.net/LINUXjishu/73141.html介绍:nf_conntrack 工作在 3 层,支持 IPv4 和 IPv6,而 ip_conntrack 只支持 IPv4。目前,大多的 ip_conntrack_* 已被 nf_conntrack_* 取代,很多 ip_conntrack_* 仅仅是个 alias,原先的 ip_conntrack 的转载 2015-03-16 16:50:52 · 489 阅读 · 0 评论 -
keepalived table full, dropping packet错误解决
现象: 在3.13晚上20:50收到报短信,keepalived服务挂了。1. 检查keepalived日志,报错日志信息如下:Mar 13 20:36:49 fashion Keepalived_healthcheckers[25717]: TCP connection to [192.168.XX.XX]:3908 failed !!!Mar 13 20:36:49 fashio原创 2015-03-16 16:08:34 · 1678 阅读 · 0 评论 -
kettle中null值的处理方式
今天在用kettle对mysql插入空值‘’时,发现对空值的处理在插入mysql时,会自动转转换为null值,在网上找一下,需要在kettle.properties文件中添加如下参数,就不会自动转换了windows下文件的位置C:\Users\用户名\.kettle目录中找到kettle.properties文件,增加KETTLE_EMPTY_STRING_DIFFERS_FROM原创 2015-12-24 16:26:02 · 18302 阅读 · 5 评论 -
linux中日期的循环方式
方法一:#!/bin/bashstartDate=20160101endDate=20160131startSec=`date -d "$startDate" "+%s"`endSec=`date -d "$endDate" "+%s"`for((i=$startSec;ido yd=`date -d "@$i" "+%Y%m%d"` echo原创 2016-02-22 10:14:48 · 1965 阅读 · 0 评论 -
lsof命令的用法
http://blog.csdn.net/xifeijian/article/details/9088137lsof命令简介:lsof(list open files)是一个列出当前系统打开文件的工具。在linux环境下,任何事物都以文件的形式存在,通过文件不仅仅可以访问常规数据,还可以访问网络连接和硬件。所以,lsof的功能很强大。一般root用户才能执行lsof命令,普通用转载 2016-04-14 13:39:32 · 2483 阅读 · 0 评论 -
linux中密码过期如何解决
问题:Authentication token is no longer valid; new one requiredYou (mysql) are not allowed to access to (crontab) because of pam configuration.解决:一、检查crond权限。1、cat /etc/corn.deny,文件是空的。原创 2016-11-21 11:28:05 · 17874 阅读 · 0 评论 -
Invalid configuration `x86_64-unknown-linux-': machine `x86_64-unknown问题解决及产生原因
1.在CENTOS 6.3安装 sysbench时报如下错误:Invalid configuration `x86_64-unknown-linux-': machine `x86_64-unknown解决方法:yum install gcc yum install gcc-c++yum install automake原创 2014-02-08 17:27:58 · 2995 阅读 · 0 评论 -
core power limit normal问题解决方法
参考文章:http://my.oschina.net/guol/blog/125801http://www.sulabs.net/?p=4051.操作系统日志出现如下大量提示信息:CPU17: Core power limit normal CPU1: Core power limit normal CPU3: Core power limit normal转载 2014-01-14 15:20:12 · 5639 阅读 · 0 评论 -
有用网址
9.双主配置的网址: http://bbs.chinaunix.net/thread-2297959-1-1.html http://blog.csdn.net/gzh0222/article/details/7962954 http://blog.csdn.net/staricqxyz/article/details/8490696 主从配置: http://bbs原创 2013-06-13 20:30:23 · 487 阅读 · 0 评论 -
linux系统中的Cache和Buffer
Linux运用一个功能广泛的缓冲和缓存框架来提高系统的速度。缓冲和缓存利用一部分系统物理内存,确保最重要、最常使用的块设备数据在操作时可直接从主内存获取,而无需从低速设备读取。物理内存还用于存储从快设备读取的数据,使得随后对该数据的访问可直接在物理内存进行,而无需从外部设备再次取用。考虑系统中多种因素然后延迟写回在总体上改进了系统的性能。前面分析的部分,例如内存管理的slab缓存是一个内存到内存的转载 2013-08-28 15:47:30 · 704 阅读 · 0 评论 -
Linux的IO性能监控工具iostat详解
Linux系统出现了性能问题,一般我们可以通过top、iostat、free、vmstat等命令来查看初步定位问题。其中iostat可以提供更丰富的IO性能状态数据。1. 基本使用$iostat -d -k 1 10参数 -d 表示,显示设备(磁盘)使用状态;-k某些使用block为单位的列强制使用Kilobytes为单位;1 10表示,数据显示每隔1秒刷新一次,共显示10次。转载 2013-09-03 22:09:02 · 677 阅读 · 0 评论 -
磁盘性能指标--IOPS 理论
机械硬盘的连续读写性很好, 但随机读写性能很差。这是因为磁头移动至正确的磁道上需要时间,随机读写时,磁头不停的移动,时间都花在了磁头寻道上,所以性能不高。 如下图:在存储小文件(图片)、OLTP数据库应用时,随机读写性能(IOPS)是最重要指标。学习它,有助于我们分析存储系统的性能互瓶颈。下面我们来认识随机读写性能指标--IOPS(每秒的输入输出次数)。转载 2013-09-05 09:55:25 · 1431 阅读 · 0 评论 -
挂载光盘后如何在本机使用yum命令
1.进入/etc/yum.repos.d/目录,编辑CentOS-Media.repo文件,修改baseurl路径和enabled如下:baseurl=file:///media/CentOS/ file:///mnt/cdrom/ 为当前挂载目录 file:///media/cdrecorderenabled=原创 2013-11-14 16:13:21 · 1295 阅读 · 0 评论 -
使用scp拷贝时报报错
现象:重新安装的操作系统,使用scp拷贝文件时报如下错误:IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY! Someone could be eavesdropping on you right now (man-in-the-middle attack)! It is also possible that the RSA原创 2013-11-14 15:56:55 · 2328 阅读 · 0 评论 -
使用scp传输时速度特别慢的问题
场景:在生产环境中,新安装的服务器,第一次使用scp传输文件时,速度大约在10MB左右,传输文件在同一个网段,正常应该在100MB左右。mysql@localhost ~]$ sudo ethtool em1Settings for em1: Supported ports: [ TP ] Supported link modes:原创 2013-11-14 13:57:00 · 31966 阅读 · 1 评论 -
keepalived:记一次VRRP_Instance ignoring received advertisment错误
1.在检查/var/log/keepalive.log文件时,一直刷如下错误现象:Dec 11 11:00:39 localhost Keepalived_vrrp[16007]: VRRP_Instance(VI_8) ignoring received advertisment...Dec 11 11:00:40 localhost Keepalived_vrrp[16007]: re原创 2013-12-11 11:13:57 · 8195 阅读 · 0 评论 -
linux 常遇问题
1.无法umount描述:对用nfs方式挂载的目录进行umount时提示device is busy[mysql@mysql192-168-0-108 ~/xtrabackup]sudo umount /data/dbbackupumount.nfs: /data/dbbackup: device is busyumount.nfs: /data/dbbackup: device原创 2013-12-04 18:57:20 · 817 阅读 · 0 评论 -
Linux中删除空行及
Linux中删除文本文件中所有的空行 2012-04-06 10:34:28分类: LINUX1:删除空行:(1) 直接用vi进行操作:g/^$/d保存便可(2) sed -e '/^[ ]*$/d'如果上面的sed不行,可以使用sed -e '/^\s*$/d'2原创 2013-12-31 20:08:47 · 1113 阅读 · 0 评论 -
Linux vmstat命令详解
vmstat是一个十分有用的Linux系统监控工具,使用vmstat命令可以得到关于进程、内存、内存分页、堵塞IO、traps及CPU活动的信息。 一、前言很显然从名字中我们就可以知道vmstat是一个查看虚拟内存(Virtual Memory)使用状况的工具,但是怎样通过vmstat来发现系统中的瓶颈呢?在回答这个问题前,还是让我们回顾一下Linux中关于虚拟内存相关内容转载 2013-12-31 15:45:52 · 544 阅读 · 0 评论 -
Tcpdump的详细用法
1. TCPDump介绍 TcpDump可以将网络中传送的数据包的“头”完全截获下来提供分析。它支持针对网络层、协议、主机、网络或端口的过滤,并提供and、or、not等逻辑语句来帮助你去掉无用的信息。tcpdump就是一种免费的网络分析工具,尤其其提供了源代码,公开了接口,因此具备很强的可扩展性,对于网络维护和入侵者都是非常有用的工具。tcpdump存在于基本的Free转载 2013-12-31 15:56:23 · 557 阅读 · 0 评论 -
sed用法
sed用法: sed 'Command' filename(s) 只显示结果而不修改文件。1、sed '2,5d' file 显示文件file,除去2-5行,但行数超过文件实际行数时不会报错。 sed '/10[1-4]/d' file 显示文件file,除去包含101-104的行。 sed '2,$d' file转载 2014-01-03 01:55:49 · 631 阅读 · 0 评论 -
linux IO调度算法
IO调度器的总体目标是希望让磁头能够总是往一个方向移动,移动到底了再往反方向走,这恰恰就是现实生活中的电梯模型,所以IO调度器也被叫做电梯. (elevator)而相应的算法也就被叫做电梯算法.而Linux中IO调度的电梯算法有好几种,一个叫做as(Anticipatory),一个叫做 cfq(Complete Fairness Queueing),一个叫做deadline,还有一个叫做noo转载 2014-01-14 14:37:52 · 751 阅读 · 0 评论 -
Linux下忘记root密码怎么办
方法一:(1)出现GRUB引导界面后,按键盘上的“e”键,用上下键选中你平时启动的那一项(类似kernel /...........root=LABEL=/)(2)然后按“e”在这项的后面添加“ single”注意single前面必须加空格,(3)然后按回车完成修改,(4)最后点击键盘上面的“b”键启动后直接进入linux命令行,然后用passwd -d root清除密码,也可以直转载 2012-03-26 13:32:19 · 333 阅读 · 0 评论