2017年09月_飞火流云

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创研究方向的一点思考

1. 现在流行的深度学习，机器学习，广告推荐，之间有何区别与联系？2.他们的实际应用有何特点？3.具体应用了哪些数学模型？如回归模型？神经网络模型？

2017-09-26 00:55:50 712

原创 Giraph文件分片关键函数

jdwp的相关语句需要在bin/hadoop而非bin/giraph中添加，简单的调用流程为:hadoop/JobClient -> GiraphJob-> submittedJob.submit(); -》hadoop的Jobclient的jobClient.submitJobInternal(conf);-》执行 maps = writeNewSplits(job, jo

2017-09-22 20:46:39 277

原创 GraphX增加BFS测试用例

基于Analytics.scala,在其中增加： case "bfs" => val outFname = options.remove("output").getOrElse("") options.foreach { case (opt, _) => throw new IllegalArgumentException("Inv

2017-09-20 17:32:50 726

原创 GraphX之PartitionStrategy修改

增加了两个分区算法，原本做法是在trait中定义loadMetisFile方法，然后在GraphImpl类的 override def partitionBy(partitionStrategy: PartitionStrategy): Graph[VD, ED] = { partitionBy(partitionStrategy, edges.partitions.size)

2017-09-20 15:21:28 1431 2

原创 Scala读取HDFS文件

import org.apache.hadoop.fs.{FileSystem, Path} import org.apache.hadoop.conf.Configurationimport java.net.URI import org.apache.hadoop.fs.FSDataInputStream;import java.io.InputStreamReader;impo

2017-09-19 17:38:53 11028

原创 Scala模拟表查询例子

package testtrait PartitionStrategy extends Serializable { /** Returns the partition number for a given edge. */ def getPartition(key: Int): Int def loadMetisFile()}object PartitionStrategy

2017-09-18 20:46:36 481

原创 GraphX编译记录

core bagel graphx mllib tools network/common network/shuffle streaming unsafe assembly examples repl launcher 安装maven后，执行，由于我测试hadoop 1.2.1下的Gr

2017-09-14 18:37:07 450

原创 Maven 编译Spark遇到 PerMen Space....

Windows环境中找到文件%M2_HOME%\bin\mvn.cmd，在 @REM set MAVEN_OPTS=-Xdebug -Xnoagent -Djava.compiler=NONE... ，这行是注释，在这个注释下面增加一行set MAVEN_OPTS= -Xms256m -Xmx2g -XX:MaxNewSize=256m -XX:MaxPermSize=25

2017-09-14 11:16:26 206

原创 GraphX测试要点

GraphX测试注意要点:1.输入数据每行一条边，目前默认格式不支持一行多边2.Spark同样是mater/slave结构，和Giraph不同，Giraph没有自己的groomserver

2017-09-13 19:02:47 349

原创 Spark读取hdfs一行并打印

val textFileRdd = sc.textFile("hdfs://192.168.0.100:9000/test/1.txt")textFileRdd.map(line => line.toInt)textFileRdd.foreach(println(_))

2017-09-13 15:58:11 2640

原创 SecureCRT下spark-shell中scala无法删除

del还是backspace都不行，在secutecrt上，单栏>选项>会话选项>终端>仿真>终端 vt100改成linux即可。

2017-09-12 21:03:19 564

原创 Giraph中的分区数目计算

在PartitionUtils类的computePartitionCount函数中： if (userPartitionCount == USER_PARTITION_COUNT.getDefaultValue()) { float multiplier = GiraphConstants.PARTITION_COUNT_MULTIPLIER.get(conf);

2017-09-07 23:05:13 295