自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(12)
  • 资源 (27)
  • 问答 (1)
  • 收藏
  • 关注

原创 研究方向的一点思考

1. 现在流行的深度学习,机器学习,广告推荐,之间有何区别与联系?2.他们的实际应用有何特点?3.具体应用了哪些数学模型? 如回归模型? 神经网络模型?

2017-09-26 00:55:50 712

原创 Giraph文件分片关键函数

jdwp的相关语句需要在bin/hadoop而非bin/giraph中添加,简单的调用流程为:hadoop/JobClient -> GiraphJob-> submittedJob.submit(); -》hadoop的Jobclient的jobClient.submitJobInternal(conf);-》执行  maps = writeNewSplits(job, jo

2017-09-22 20:46:39 277

原创 GraphX增加BFS测试用例

基于Analytics.scala,在其中增加: case "bfs" => val outFname = options.remove("output").getOrElse("") options.foreach { case (opt, _) => throw new IllegalArgumentException("Inv

2017-09-20 17:32:50 726

原创 GraphX之PartitionStrategy修改

增加了两个分区算法,原本做法是在trait中定义loadMetisFile方法,然后在GraphImpl类的  override def partitionBy(partitionStrategy: PartitionStrategy): Graph[VD, ED] = { partitionBy(partitionStrategy, edges.partitions.size)

2017-09-20 15:21:28 1431 2

原创 Scala读取HDFS文件

import org.apache.hadoop.fs.{FileSystem, Path} import org.apache.hadoop.conf.Configurationimport java.net.URI import org.apache.hadoop.fs.FSDataInputStream;import java.io.InputStreamReader;impo

2017-09-19 17:38:53 11028

原创 Scala模拟表查询例子

package testtrait PartitionStrategy extends Serializable { /** Returns the partition number for a given edge. */ def getPartition(key: Int): Int def loadMetisFile()}object PartitionStrategy

2017-09-18 20:46:36 481

原创 GraphX编译记录

core bagel graphx mllib tools network/common network/shuffle streaming unsafe assembly examples repl launcher 安装maven后,执行, 由于我测试hadoop 1.2.1下的Gr

2017-09-14 18:37:07 450

原创 Maven 编译Spark遇到 PerMen Space....

Windows环境中找到文件%M2_HOME%\bin\mvn.cmd, 在  @REM set MAVEN_OPTS=-Xdebug -Xnoagent -Djava.compiler=NONE... ,这行是注释,在这个注释下面增加一行set MAVEN_OPTS= -Xms256m -Xmx2g -XX:MaxNewSize=256m -XX:MaxPermSize=25

2017-09-14 11:16:26 206

原创 GraphX测试要点

GraphX测试注意要点:1.输入数据每行一条边,目前默认格式不支持一行多边2.Spark同样是mater/slave结构,和Giraph不同,Giraph没有自己的groomserver

2017-09-13 19:02:47 349

原创 Spark读取hdfs一行并打印

val textFileRdd = sc.textFile("hdfs://192.168.0.100:9000/test/1.txt")textFileRdd.map(line => line.toInt)textFileRdd.foreach(println(_))

2017-09-13 15:58:11 2640

原创 SecureCRT下spark-shell中scala无法删除

del还是backspace都不行,在secutecrt上,单栏>选项>会话选项>终端>仿真>终端 vt100改成linux即可。

2017-09-12 21:03:19 564

原创 Giraph中的分区数目计算

在PartitionUtils类的computePartitionCount函数中: if (userPartitionCount == USER_PARTITION_COUNT.getDefaultValue()) { float multiplier = GiraphConstants.PARTITION_COUNT_MULTIPLIER.get(conf);

2017-09-07 23:05:13 295

代码设计模式

基本的设计模式描述文档,适合软件体系结构,java设计模式初学者~

2019-05-06

技嘉主板Linux网卡驱动

技嘉主板Linux网卡驱动安装包, 版本号为GigaBytes-linux驱动-alx-linux-v2.0.0.6, 亲测可用。

2018-09-02

tentakel-集群工具

tentakel,集群并发操作工具

2017-07-02

数据恢复工具(MiniTool_U盘数据丢失)

货真价实的数据恢复工具,不需要付费,网上流传的什么数据恢复大师,数据恢复精灵都是骗子,大部分都是要收钱,这个是免费的,找了好久才找到

2015-08-13

计算机常用算法含源码,C语言编写

计算机常用算法含源码,C语言编写, 推荐下载!

2011-08-11

Java 语言的反射机制.pdf

Java 语言的反射机制的文档,强烈推荐。 说的很详细。

2011-08-11

正则表达式工具文档,chm

正则表达式工具文档, 非常方便的查询工具,程序员必备.

2011-08-11

构建企业自己的自动化测试平台

构建企业自己的自动化测试平台,里面介绍如何构建企业自动化测试平台的论文。

2011-08-11

网络工程综合设计与实验指导书

网络工程综合设计与实验指导书 , 里面介绍了路由器,snmp 等使用的方法。

2011-08-11

百度数据库架构演变 介绍了很多架构

百度数据库架构演变,介绍了很多架构的东东,值得一看

2011-08-11

mina 服务器简介,个人感觉不错

mina 服务器简介,个人感觉不错, 感兴趣的可以下来看看

2011-08-11

Apache Maven 3 使用指南

Apache Maven 3 使用指南 , 一本详尽介绍如何使用maven 的文档。

2011-08-11

java+struts2防盗链(filter不可过滤action).docx

java+struts2防盗链(filter不可过滤action), 非常详尽的文档!

2011-08-11

漂亮的JS页面框架,非常好用

漂亮的JS页面框架 非常好用,强烈推荐下载!

2011-08-11

46家公司笔试题.pdf

46家公司笔试题 非常好用,强烈推荐,很多著名公司

2011-08-11

Maven中文_-_Juven.pdf

Maven中文_-_Juven , 非常好的maven使用文档

2011-08-11

eclipse 使用指南

eclipse 使用指南,快捷键等说明, 非常好

2011-08-11

LoadRunner使用说明

LoadRunner 压力测试的使用说明

2011-08-11

云计算体系架构论文 非常好

云计算 体系架构 关键技术 的论文 觉得蛮好的

2011-04-05

MF0933023-莫志刚-云计算技术和体系结构调研.ppt

MF0933023-莫志刚-云计算技术和体系结构调研.ppt,介绍云计算

2011-03-15

《网格计算核心技术》教学PPT课件

《网格计算核心技术》教学PPT课件,核心技术

2011-03-15

JQuery 最新中文API Chm格式

最新的Jquery 中文API, 个人觉得不错

2010-04-16

设计模式精解-GoF23种设计模式解析附C++实现源码.pdf

常用的Gof23种设计模式的介绍,内附C++源码

2010-01-30

javax.servlet—api.chm

javaServletAPI, Web开发使用, 包含了Servlet的主要接口

2010-01-30

JQueryAPI中文版

JQueryAPI的中文版,比较详细,概括了其的基本用法和函数.

2010-01-30

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除