2018年01月_飞火流云

12月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 java.lang.OutOfMemoryError：GC overhead limit exceeded常见解决办法

该问题主要原因是gc次数超过限制后，回收内存很少(不到5%?)引起的。1. 增大任务堆内存-Xmx，或者增大并行任务数2.-Xss减小，这种不知道是否有效？这个对cant create native thread有效，但GC overhead limit ?3. 减小总的执行线程数以减少线程频繁丢弃内存碎片的频率，也是一种办法。贴一段其他人的分析，觉得不错：通常原因都是因为o

2018-01-31 16:14:35 7205

原创分布式环境下根据进程名杀死进程

#!/bin/shCOMMANDS=" ps aux|grep sar|grep -v grep | cut -c 9-15 |xargs kill -s 9 "for i in {1..9}do host=c02b0$i echo "=====@ $host =====" ssh $host $COMMANDS

2018-01-31 15:19:16 348

原创原GIraph的n平方分区带来的多线程占用内存过大问题：

RT, 导致可扩展性曲线呈U型。解决方法1：由n平方改为n，这样线程数自然减少，处理的分区大了，线程间的冲突和内存占用少了解决方法2：调小线程栈内存，-Xss一般256k即够用了。

2018-01-28 21:12:14 204

转载 JVM 默认Xss大小

http://blog.csdn.net/varyall/article/details/49624865java version "1.8.0_131"Java(TM) SE Runtime Environment (build 1.8.0_131-b11)Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

2018-01-26 23:04:52 9744 1

原创问题记录

vertex.setValue(new IntWritable(message.get()));与vertex.setValue(message);有何区别？为什么值不对呢?

2018-01-25 23:16:16 118

原创杀死所有CHild进程

jps | grep Child |xargs kill -s 9

2018-01-24 20:06:46 171

原创 Giraph奇怪问题记录

com-orkut+TriangleCount1.把分区任务调成1:1 ->内存不足：heap space-> 增大并行任务数->OutOfMemoryError：unable to create new native thread->减少netty server/client的线程数，60-80任务正常，增大至100报heap space2.把分区任务调成n:1, netty

2018-01-24 02:02:40 358

原创 OutOfMemoryError：unable to create new native thread

这种一般不是内存不够，可能是其他问题。解决方案:1. 使用可回收线程池如ThreadPool2. ulimit -u 10240这里修改的时候，如果直接在用户的.bashrc下改，可能会遇到权限问题，建议直接在/etc/profile最后加上ulimit -u 40960然后source ，用户再ssh进去的时候就好了,可用ulimit -a 查看。3.修改其他参数,如

2018-01-21 15:43:03 284

转载 java中三种常见内存溢出错误的处理方法

相信有一定java开发经验的人或多或少都会遇到OutOfMemoryError的问题，这个问题曾困扰了我很长时间，随着解决各类问题经验的积累以及对问题根源的探索，终于有了一个比较深入的认识。在解决java内存溢出问题之前，需要对jvm（java虚拟机）的内存管理有一定的认识。jvm管理的内存大致包括三种不同类型的内存区域：Permanent Generation space（永久保存区域）

2018-01-21 15:27:21 307

原创 linux系统用户不能登录报错

Linux系统用户创建了user用户，用户为liuqiang，系统登陆报错；user用户登陆系统后，显示的是root的/目录；Last login: Sat Jan 13 14:07:31 2018 from mu02[root@c02b03 ~]# su liuqiangbash: /home/liuqiang/.bashrc: Permission denied

2018-01-13 13:55:18 5882

原创三角闭环算法

public class TriangleCountComputation extends AbstractComputation { @Override public void compute(Vertex vertex, Iterable messages) throws IOException { long superstep = getSuperstep(); i

2018-01-13 13:23:08 1241

原创 ssh 无密码登陆

1.执行 ssh-keygen -t dsa 命令，一路回车，如果当前没有authorized_keys文件，执行：cat id_dsa.pub>>authorized_keys即可实现本机无密码登陆。如果authorized_keys权限不够，要chmod authorized_keys 7552.远程的话：scp ~/.ssh/* liuqiang@c02b02:/home/li

2018-01-12 23:33:45 136