2018年09月_飞火流云

12月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 BFS检测CC计算结果(串并行实现)

串行:package berkstan;import java.io.BufferedReader;import java.io.File;import java.io.FileNotFoundException;import java.io.FileReader;import java.io.IOException;import java.util.HashMap;impo...

2018-09-30 16:08:31 359

原创 Hadoop计算结果并行比对

package computeResultCheck;import java.io.BufferedReader;import java.io.File;import java.io.FileNotFoundException;import java.io.FileReader;import java.io.IOException;public class ComputeRes...

2018-09-30 14:07:54 244

转载 linux下查看某关键词前后几行内容

From: https://blog.csdn.net/mellon17/article/details/78153461、一个比较方便直接的办法是查看filename中含有abc所在行后4行内容 cat filename | grep abc -A4 查看filename中含有abc所在行前4行内容cat filename | grep abc -B4 2...

2018-09-29 13:12:37 8457

原创类中添加日志打印

利用log4jpackage org.apache.giraph.examples;import java.io.IOException;import org.apache.giraph.edge.Edge;import org.apache.giraph.graph.BasicComputation;import org.apache.giraph.graph.Vertex;...

2018-09-23 15:52:06 625

原创 Java类加载器总结

加载器自己的初始化顺序，按照BootstrapClassLoader->Extension ClassLoader ->AppClassLoader的顺序加载，其中BootstrapClassLoader由虚拟机启动后自动初始化，由C++编写，BootstrapClassLoader启动后先后加载Extension ClassLoader(java对象)->AppClassL...

2018-09-21 15:17:28 121

原创 Giraph中修改边的容器

使用ArrayListEdges比较好，因为使用容器存储，否则其他类使用byteArrayListEdges之流的只会重新写入二进制文件导致修改边无效！

2018-09-14 15:22:43 124

原创关于Giraph系统修改源码时常出现的漏点问题

简单的说，比如下列图数据:1 22 34 25 1 该图在计算时，对于点3而言，由于Giraph源码中，处理消息的时候是按照顶点分区进行处理，就是： for(vertexId : Vertex Partition) { Itr<M> msgs = getMsg(vertexId) vertex.dosth(msgs) }...

2018-09-13 14:18:25 133

转载 JVM调优之jstack找出最耗cpu的线程并定位代码

转自: https://www.cnblogs.com/chengJAVA/p/5821218.htmljstack可以定位到线程堆栈，根据堆栈信息我们可以定位到具体代码，所以它在JVM性能调优中使用得非常多。下面我们来一个实例找出某个Java进程中最耗费CPU的Java线程并定位堆栈信息，用到的命令有ps、top、printf、jstack、grep。第一步先找出Java进程ID，服务器...

2018-09-12 16:40:34 128

转载在CentOS安装CMake （CentOS7 64位适用）

一、环境描述1、系统：CentOS 6.4 i386 (min)2、登录用户：root3、版本：CMake 2.8.10.24、虚拟机：Oracle VM VirtualBox二、安装步骤步骤一、安装gcc等必备程序包（已安装则略过此步）yum install -y gcc gcc-c++ make automake 步骤二、安装wget （已安装则略过此步）...

2018-09-07 16:05:42 14464 1

ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because java.io.IOException: Call to c01/10.166.33.85:9001 failed on local exception: java.net.NoRouteToHostException: 没有到主机的路由...

2018-09-06 17:43:28 2774 1

原创 giraph部署脚本

将主机名改为: c01-c05, #!/bin/shfor i in `seq 2 5` ; do scp giraph-dist-1.1.0-bin.tar.gzhadoop-1.2.1.tar.gz root@c0$i:/opt/ ; doneCOMMANDS="cd /opt/;tar -zxvf giraph-dist-1.1.0-bin.tar.gz; chown...

2018-09-06 10:58:05 168