2015年08月_Eric-L90

12月 11月 10月 09月 08月 07月 06月 05月 04月 01月

原创错误：OPTION SQL_SELECT_LIMIT=DEFAULT

今天在使用etl取mysql中数据的时候遇到了这么一个错误。看了一下。里面报错了version大概就是jdbc版本的问题。因为我的mysql是5.6，而jdbc是5.1.17.下了一个5.1.36之后，问题解决。是因为新版本里面，下面的这个定义已经没有了。check the manual that corresponds to your MySQL server version for the

2015-08-28 16:30:47 3878

原创常用Linux命令

内存# grep MemTotal /proc/meminfo交换空间# grep SwapTotal /proc/meminfo磁盘空间# df -ah

2015-08-27 11:56:47 498

转载 linux mysql 更改MySQL数据库目录位置

今天在Linux环境下装了一个Mysql。但是发现mysql的初始化datadir是在/var目录下，这肯定是不可以的。找了一下如何修改默认data目录，如下：MySQL默认的数据文件存储目录为/var/lib/mysql。假如要把目录移到/home/data下需要进行下面几步：　　1、home目录下建立data目录　　cd /home　　mkdir data　　2、把

2015-08-27 09:00:14 636

转载 Hadoop 2.x中fsimage和edits合并实现

在《Hadoop 1.x中fsimage和edits合并实现》文章中，我们谈到了Hadoop 1.x上的fsimage和edits合并实现，里面也提到了Hadoop 2.x版本的fsimage和edits合并实现和Hadoop 1.x完全不一样，今天就来谈谈Hadoop 2.x中fsimage和edits合并的实现。　　我们知道，在Hadoop 2.x中解决了NameNode的单点故障问题

2015-08-21 15:09:01 624

转载 Hadoop 1.x中fsimage和edits合并实现

在《Hadoop NameNode元数据相关文件目录解析》文章中提到NameNode的$dfs.namenode.name.dir/current/文件夹的几个文件：current/|-- VERSION|-- edits_*|-- fsimage_0000000000008547077|-- fsimage_0000000000008547077.md5`-- seen_txid

2015-08-21 15:07:47 697

转载 Hadoop文件系统元数据fsimage和编辑日志edits

转自：http://www.iteblog.com/archives/968　　在《Hadoop NameNode元数据相关文件目录解析》文章中提到NameNode的$dfs.namenode.name.dir/current/文件夹的几个文件：current/|-- VERSION|-- edits_*|-- fsimage_0000000000008547077|--

2015-08-21 14:12:18 1071

转载 oracle 查看用户所在的表空间

查看当前用户的缺省表空间　　SQL>select username,default_tablespace from user_users;　　查看当前用户的角色　　SQL>select * from user_role_privs;　　查看当前用户的系统权限和表级权限　　SQL>select * from user_sys_privs;　　SQL>s

2015-08-17 17:52:03 530

转载 Oracle - 数据库的实例、表空间、用户、表之间关系

整的Oracle数据库通常由两部分组成：Oracle数据库和数据库实例。 1) 数据库是一系列物理文件的集合（数据文件，控制文件，联机日志，参数文件等）； 2) Oracle数据库实例则是一组Oracle后台进程/线程以及在服务器分配的共享内存区。在启动Oracle数据库服务器时，实际上是在服务器的内存中创建一个Oracle实例（即在服务器内存中分配共享内存并创建相关的后台内存），

2015-08-17 14:42:48 647

转载 jvm配置

一、设置JVM内存设置1. 设置JVM内存的参数有四个：-Xmx Java Heap最大值，默认值为物理内存的1/4，最佳设值应该视物理内存大小及计算机内其他内存开销而定；-Xms Java Heap初始值，Server端JVM最好将-Xms和-Xmx设为相同值，开发测试机JVM可以保留默认值；-Xmn Java Heap Young区大小，不熟悉最好保

2015-08-15 14:34:28 575

原创 Elasticsearch 报错：failed to create a selector

今天连接Elasticsearch的程序频繁报错failed to create a selector。后来百度了一下，大概就是打开socket出错。用netstat看了一下端口，果然，有很多，怀疑客户端句柄忘记释放。核实后果真是忘记释放了。修改后程序正常运行。

2015-08-13 19:09:59 3339 1

原创 Elasticsearch自动分片

每次重启es集群的时候都会遇到分片自动迁移的情况，其实，并不需要进行迁移。我们可以通过参数来进行配置。如果整的需要迁移就通过api手动迁移。cluster.routing.allocation.disable_allocation: trueelasticsearch可以通过reroute api来手动进行索引分片的分配。不过要想完全手动，必须先把cluster.routing.

2015-08-12 14:41:03 2681

转载 linux共享内存设置

最近频繁遇到共享内存的问题，这里总结一下一些设置：cat /proc/sys/kernel/shmmaxcat /proc/sys/kernel/shmmnicat /proc/sys/kernel/shmall临时修改这三个参数的值，通过echo或sysctl命令修改proc文件中的值，重启失效echo 1073741824 > /proc/sys/kernel/shmm

2015-08-09 12:45:30 6006