2017年06月_飞火流云

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Kmeans方法Giraph实现V1.1.0

package org.apache.giraph.benchmark.kmeans;import java.io.IOException;import java.util.regex.Pattern;import org.apache.giraph.graph.BasicComputation;import org.apache.giraph.graph.Vertex;import

2017-06-24 17:48:22 312

原创 Giraph配置要点

1. 如果不在giraph_env中增加hadoop的目录，会直接运行locaRunner模式，日志全打印在屏幕上。HADOOP_HOME="/opt/hadoop-1.2.1"HADOOP_CONF_DIR="$HADOOP_HOME/conf"if [ "$HADOOP_CONF_DIR" = "" ] ; then HADOOP_CONF_DIR=$HADOOP

2017-06-19 01:02:49 484

原创 ConcurrentSkipListMap性能测试

package vertices;import java.util.Map;import java.util.concurrent.ConcurrentLinkedDeque;import java.util.concurrent.ConcurrentMap;import java.util.concurrent.ConcurrentSkipListMap;import org.apa

2017-06-17 18:10:19 582

原创 Giraph消息发送结构刨析

每个ComputeCallellable线程对应一个NettyWorkerClientRequestProcessor, 每个NettyWorkerClientRequestProcessor对应一个SendMessageCache,每个SendMessageCache内部待发送的消息按照worker进行区分，到同一个worker的消息超过阈值就开始发送，即1个ComputeC

2017-06-13 01:25:17 270

原创 ConcurrentHashMap并发性测试

package concurrentMap;import java.util.concurrent.ConcurrentHashMap;import org.apache.hadoop.io.IntWritable;/** * * @author Administrator * */public class ConcurrencyHashMapTest9 { publ

2017-06-12 23:56:58 1204

转载 TreeMap按照value进行排序

转自http://blog.csdn.net/liuxiao723846/article/details/50454622TreeMap底层是根据红黑树的数据结构构建的，默认是根据key的自然排序来组织（比如integer的大小，String的字典排序）。所以，TreeMap只能根据key来排序，是不能根据value来排序的（否则key来排序根本就不能形成TreeMap）。

2017-06-12 23:16:04 931

原创一个查了6个小时的问题的解决过程

Giraph中改进代码，想在Edge上面加点属性，结果发现修改后的值无法生效，Pagereank用的EdgeNoValue类中增加一个属性，但是始终读不出来值，开始以为是使用int导致类型中间没有进行readFIles或者write的序列化问题，但是EdgeNoValue根本没有相关方法，且实际初始化使用的是 WritableUtils.reinitializeVertexFromDa

2017-06-12 00:28:25 301

转载 HashMap和HashSet的区别,原来Hashset比HashMap查询慢一些

转自: http://www.importnew.com/6931.htmlHashMap和HashSet的区别是Java面试中最常被问到的问题。如果没有涉及到Collection框架以及多线程的面试，可以说是不完整。而Collection框架的问题不涉及到HashSet和HashMap，也可以说是不完整。HashMap和HashSet都是collection框架的一部分，它们让我们

2017-06-11 01:12:51 3634