- 博客(12)
- 资源 (27)
- 问答 (1)
- 收藏
- 关注
原创 研究方向的一点思考
1. 现在流行的深度学习,机器学习,广告推荐,之间有何区别与联系?2.他们的实际应用有何特点?3.具体应用了哪些数学模型? 如回归模型? 神经网络模型?
2017-09-26 00:55:50 712
原创 Giraph文件分片关键函数
jdwp的相关语句需要在bin/hadoop而非bin/giraph中添加,简单的调用流程为:hadoop/JobClient -> GiraphJob-> submittedJob.submit(); -》hadoop的Jobclient的jobClient.submitJobInternal(conf);-》执行 maps = writeNewSplits(job, jo
2017-09-22 20:46:39 277
原创 GraphX增加BFS测试用例
基于Analytics.scala,在其中增加: case "bfs" => val outFname = options.remove("output").getOrElse("") options.foreach { case (opt, _) => throw new IllegalArgumentException("Inv
2017-09-20 17:32:50 726
原创 GraphX之PartitionStrategy修改
增加了两个分区算法,原本做法是在trait中定义loadMetisFile方法,然后在GraphImpl类的 override def partitionBy(partitionStrategy: PartitionStrategy): Graph[VD, ED] = { partitionBy(partitionStrategy, edges.partitions.size)
2017-09-20 15:21:28 1431 2
原创 Scala读取HDFS文件
import org.apache.hadoop.fs.{FileSystem, Path} import org.apache.hadoop.conf.Configurationimport java.net.URI import org.apache.hadoop.fs.FSDataInputStream;import java.io.InputStreamReader;impo
2017-09-19 17:38:53 11029
原创 Scala模拟表查询例子
package testtrait PartitionStrategy extends Serializable { /** Returns the partition number for a given edge. */ def getPartition(key: Int): Int def loadMetisFile()}object PartitionStrategy
2017-09-18 20:46:36 481
原创 GraphX编译记录
core bagel graphx mllib tools network/common network/shuffle streaming unsafe assembly examples repl launcher 安装maven后,执行, 由于我测试hadoop 1.2.1下的Gr
2017-09-14 18:37:07 451
原创 Maven 编译Spark遇到 PerMen Space....
Windows环境中找到文件%M2_HOME%\bin\mvn.cmd, 在 @REM set MAVEN_OPTS=-Xdebug -Xnoagent -Djava.compiler=NONE... ,这行是注释,在这个注释下面增加一行set MAVEN_OPTS= -Xms256m -Xmx2g -XX:MaxNewSize=256m -XX:MaxPermSize=25
2017-09-14 11:16:26 206
原创 GraphX测试要点
GraphX测试注意要点:1.输入数据每行一条边,目前默认格式不支持一行多边2.Spark同样是mater/slave结构,和Giraph不同,Giraph没有自己的groomserver
2017-09-13 19:02:47 349
原创 Spark读取hdfs一行并打印
val textFileRdd = sc.textFile("hdfs://192.168.0.100:9000/test/1.txt")textFileRdd.map(line => line.toInt)textFileRdd.foreach(println(_))
2017-09-13 15:58:11 2640
原创 SecureCRT下spark-shell中scala无法删除
del还是backspace都不行,在secutecrt上,单栏>选项>会话选项>终端>仿真>终端 vt100改成linux即可。
2017-09-12 21:03:19 564
原创 Giraph中的分区数目计算
在PartitionUtils类的computePartitionCount函数中: if (userPartitionCount == USER_PARTITION_COUNT.getDefaultValue()) { float multiplier = GiraphConstants.PARTITION_COUNT_MULTIPLIER.get(conf);
2017-09-07 23:05:13 295
数据恢复工具(MiniTool_U盘数据丢失)
2015-08-13
关于Jstat的内存回收数量查看
2015-02-12
TA创建的收藏夹 TA关注的收藏夹
TA关注的人