2016年10月_kf_panda

原创 CentOS: Device eth0 does not seem to be present

最近在搞自动化部署，包括hadoop、hbase、spark、kafka、zk、mysql、分布式数据库中间件、等等。为了方便的搞很多虚拟机，我用了vmware的克隆功能，发现克隆过来的虚拟机无法启动网卡，具体汇报下面的错误。service network restartShutting down loopback insterface:

2016-10-28 09:59:01 366

原创启动hadoop时：Name or service not knownstname

今天在启动hadoop时遇到Name or service not knownstname这样的错误[root@poseidon01 hadoop]# start-dfs.sh16/10/26 19:02:54 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using

2016-10-26 19:50:59 3957 1

原创 hadoop格式化namenode时报异常： URI has an authority component

今天部署2.7.1时在格式化namenode时遇到下面的错误省略前面部分.......16/10/26 18:32:45 ERROR namenode.NameNode: Failed to start namenode.java.lang.IllegalArgumentException: URI has an authority component at java.io.File.(

2016-10-26 19:31:09 15322

原创 MySQL5.7新特性：Online ALTER TABLE

5.7之前是不支持对索引重命名的，这次添加了对所有的重命名语法，并且是in place方式。5.7 官方文档：ALTER TABLE now supports a RENAME INDEX clause that renames an index. The change is made in place without a table-copy operation. It work

2016-10-25 11:09:23 2452

原创 MySQL5.7新特性：SQL mode changes

sql_mode:这个系统变量在不同的mysql版本发生了下面的变化。Permitted Values (NO_ENGINE_SUBSTITUTIONPermitted Values (>= 5.7.5, ONLY_FULL_GROUP_BY STRICT_TRANS_TABLES NO_ENGINE_SUBSTITUTIONPermitted Values (5.7.7) ONL

2016-10-25 10:48:12 1536

原创 shell shift

位置参数可以用shift命令左移。比如shift 3表示原来的$4现在变成$1，原来的$5现在变成$2等等，原来的$1、$2、$3丢弃，$0不移动。不带参数的shift命令相当于shift 1。#!/bin/shi=0;until [ $# -eq 0 ]dolet i=i+1;echo "第$i个参数为: $1 参数个数为: $#"shiftdone

2016-10-21 15:21:18 359

转载 GDB总结

GDB是一个由GNU开源组织发布的、UNIX/LINUX操作系统下的、基于命令行的、功能强大的程序调试工具。GDB中的命令固然很多，但我们只需掌握其中十个左右的命令，就大致可以完成日常的基本的程序调试工作。命令解释示例file 加载被调试的可执行程序文件。因为一般都在被调试程序所在目录下执行GDB，因而文本名不需要带路径。(gdb) f

2016-10-21 10:29:51 399

原创无法连接MySQL数据库错误总结

1、可能密码不对[root@slave162 mysql3311]# mysql -uroot -P3311 -h192.168.60.162 -p123mysql: [Warning] Using a password on the command line interface can be insecure.ERROR 1045 (28000): Access denied for u

2016-10-20 11:29:43 19016

原创主从复制错误处理总结

错误一ERROR] Slave I/O: error connecting to master 'replication@VMS00782:3306' - retry-time: 60 retries: 2, Error_code: 1045错误原因：从库用来连接主库的用户权限或者密码不对解决方法：首先在主库上检查用来主从复制的用户权限，如果没有问题在检查从库使用的密码是否正确。

2016-10-20 10:31:07 13061 1

原创 pt-online-schema-change遇到的错误

pt-online-schema-change工作机制1) 如果存在外键，根据alter-foreign-keys-method参数值，检测外键相关的表，针对相应的设置进行处理；2) 创建一个新的表，表结构修改后的数据表，用于从源数据表向新表中导入数据；3) 创建触发器，在复制数据开始之后，将对源数据表继续进行数据修改的操作记录下来，以便在数据复制结束后执行这些操作，保

2016-10-20 09:57:07 2316

原创 innodb_fast_shutdown

Innodb_fast_shutdown告诉innodb在它关闭的时候该做什么工作。有三个值可以选择： 1. 0表示在innodb关闭的时候，需要purge all, merge insert buffer,flush dirty pages。这是最慢的一种关闭方式，但是restart的时候也是最快的。后面将介绍purge all,merge insert buffer,flush dirt

2016-10-19 14:44:09 1142

原创 InnoDB: which exceeds the log group capacity

有时你会遇到类似下面的错误：120414 2:20:34 InnoDB: ERROR: the age of the last checkpoint is 241588252,InnoDB: which exceeds the log group capacity 241588224.InnoDB: If you are using big BLOB or TEXT rows, you

2016-10-19 13:46:50 925

原创 innodb_online_alter_log_max_size导致的innodb添加字段时报错

innodb_online_alter_log_max_size这个参数是mysql 5.6.6引入的，因为在online ddl过程中需要保持delete、update、insert这些数据，所以需要一个日志去保持，这个参数就是限制这个日志的最大大小，当ddl过程中需要的这个日志的大小比这个限制还大的时候就会报错。具体的错误：ERROR 1799 (HY000) at line 1: C

2016-10-19 11:14:43 6843

转载 Linux NTP配置详解 (Network Time Protocol)

Network Time Protocol (NTP) 也是RHCE新增的考试要求. 学习的时候也顺便复习了一下如何设置Linux的时间,现在拿出来和大家分享设置NTP服务器不难但是NTP本身是一个很复杂的协议. 这里只是简要地介绍一下实践方法和上次一样,下面的实验都在RHEL5上运行 1. 时间和时区如果有人问你说现在几点? 你看了看表回答他说晚上8点了. 这

2016-10-17 14:57:03 569

原创 ntp错误：no server suitable for synchronization found

当用ntpdate -d 来查询时会发现导致 no server suitable for synchronization found 的错误的信息有以下2个：错误1.Server dropped: Strata too high在ntp客户端运行ntpdate serverIP，出现no server suitable for synchronization found的错误。在

2016-10-17 14:56:10 1213 1

原创 5.7安装注意事项

安装完5.7后，会发现给你一个root密码，但是无法登陆数据库。5.7在安全性上做了很多改进，对用户方面去掉了无密码的用户。并且安装完了后，会给你一个root的密码，但是是过期的。你必须使用mysqladmin去修改密码。[root@NP-60-3 bin]# mysql -uroot -pEnter password: ERROR 1862 (HY000): Your pas

2016-10-10 18:29:54 585

原创 mydumper & myloader 使用

mydumper 特性(1)多线程备份（和mysqlpump的多线程不同，mysqlpump多线程备份的粒度是表，mydumper多线程备份的粒度是行，这对于备份大表特别有用）(2)因为是多线程逻辑备份，备份后会生成多个备份文件(3)备份时对 MyISAM 表施加 FTWRL (FLUSH TABLES WITH READ LOCK), 会阻塞 DML 语句(4)保证备份数据的一致

2016-10-08 18:06:42 1596

转载 /etc/ld.so.conf 动态库

Linux 系统上有两类根本不同的 Linux 可执行程序。第一类是静态链接的可执行程序。静态可执行程序包含执行所需的所有函数 — 换句话说，它们是“完整的”。因为这一原因，静态可执行程序不依赖任何外部库就可以运行。　　第二类是动态链接的可执行程序。　　静态可执行程序与动态可执行程序比较　　我们可以用 ldd 命令来确定某一特定可执行程序是否为静态链接的：　　# l

2016-10-08 15:37:08 315

原创 mydumper原理

关于mysql的逻辑导出目前的工具有mysqldump、mysqlpump、mydumper 这三个工具。其中mysqldump是单线程的导出。mysqldump是mysql5.7新增加的一个工具，多线程的并行导出，但是其是表级别的并行（对于单个表还是不能并行）。mydumper是开源的一个多线程并行逻辑导出工具，且是行级别的并行导出。mydumper原理主线程负责建立数据一致性备

2016-10-08 14:49:38 1236

kf_panda