- 博客(20)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 docker日志引起系统容量问题
在centos系统上运行docker的spark容器后发现系统容量很快就满了，最后发现是由于docker容器的日志文件过大，日志存在/var/lib/docker/containers/中，将其删除即可参考：使用 Fluentd 管理 Docker 日志：http://segmentfault.com/a/1190000000730444
2016-01-26 21:39:56
3720
转载 Linux如何扩展XFS文件系统以完全使用额外空间
磁盘上有额外的空间，所以想要扩展其上创建的现存的XFS文件系统，下面以图文的形式为大家分享一下Linux如何扩展XFS文件系统，感兴趣的朋友可以尝试操作下Linux如何扩展XFS文件系统。磁盘上有额外的空间，所以想要扩展其上创建的现存的XFS文件系统，以完全使用额外空间，那要怎么扩展XFS文件系统呢？下文就小编跟大家分享一下Linux如何扩展XFS文件系统教程。
2016-01-26 17:25:02
13962
原创 cloudera manager搭建spark集群: No route to host
出现No route to host错误，可能是由于某个节点机器的防火墙没有关掉
2016-01-19 19:36:34
1996
转载 英文邮件礼仪：向教授请教学术问题
邮件主题邮件主题（subject）不需要写自己的名字。名字是在邮件系统设置里设定好的，在发件时会替换显示实际地址，所以无需在主题里再写一遍。[关键内容是要在主题里就写明白是否有推荐人，以及主要是什么事。很多教授只看主题。]一个好的标题，要能简洁地概括邮件的目的或内容。如果你对教授的某个研究项目感兴趣，就可以用这个研究方向作标题，例如"Deformation and fracture
2016-01-18 16:09:53
4141
转载 spark graphx文章整理
graphx看到的比较有参考价值的文章：1. 官方文档中文版：https://endymecy.gitbooks.io/spark-programming-guide-zh-cn/content/quick-start/README.html2. 快刀初试：Spark GraphX在淘宝的实践：http://www.csdn.net/article/2014-08-07/2821097
2016-01-13 16:04:29
2133
转载 graphx上的一些简单应用
原文网址：http://kubicode.me/2015/07/07/Spark/Graphs-Applications/#二跳邻居看实验用的图：该图可以使用如下代码来进行标示123456789101112val sc=new SparkContext();val edge=List(//边的信息 (1,2),(1,3),(2,
2016-01-12 09:55:53
4544
1
原创 graphx操作实例09-Pregel学习
import org.apache.spark._import org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apache.spark.graphx._import org.apache.spark.rdd.RDDimport scala.reflect.ClassTago
2016-01-11 14:44:28
2114
3
原创 graphx操作实例08-connectedComponents
import org.apache.spark._import org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apache.spark.graphx._import org.apache.spark.rdd.RDDimport scala.reflect.ClassTago
2016-01-11 09:40:52
3720
原创 graphx操作实例07-degrees和neighbors
求图中对应顶点的度以及邻居节点import org.apache.spark._import org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apache.spark.graphx._import org.apache.spark.rdd.RDDobject Day1
2016-01-11 09:20:55
2624
原创 graphx操作实例06-subgraph和groupEdges
使用subgraph生成子图groupEdges用来合并相同Id的边import org.apache.spark._import org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apache.spark.graphx._import org.apache.spark
2016-01-08 18:21:55
4710
原创 graphx操作实例05-VertexRDD和EdgeRDD属性测试
filter、mapValues、diff（测试之后感觉有问题）、leftJoin、innerJoin、aggregateUsingIndex、reverse、import org.apache.spark._import org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org
2016-01-08 17:54:31
2965
原创 graphx操作实例04-使用mapReduceTriplets、mapEdges、mapVertices修改属性
使用mapReduceTriplets、mapEdges、mapVertices操作修改属性import org.apache.spark._import org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apache.spark.graphx._import org.apache
2016-01-08 15:44:40
6371
原创 graphx操作实例03-导入顶点和边生成图
导入顶点和边的信息，使用Graph生成图import org.apache.spark._import org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apache.spark.graphx._import org.apache.spark.rdd.RDDobject
2016-01-08 15:00:02
3138
1
原创 graphx操作实例02-joinVertices
例子说明：利用joinVertices和outJoinVertices对graph的顶点属性进行修改import org.apache.spark._import org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apache.spark.graphx._import or
2016-01-08 14:49:45
3441
原创 graphx操作实例01-edgeListFile导入数据
import org.apache.spark._import org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apache.spark.graphx._import org.apache.spark.rdd.RDDobject Day02 { def main(arg
2016-01-08 14:29:49
5641
1
转载 linux inode已满解决方法
今天login server的一个网站，发现login后没有生成session。根据以往经验，一般是空间已满导致session文件生成失败。df -hFilesystem Size Used Avail Use% Mounted on/dev/mapper/dev01-root 75G 58G 14G 82% /
2016-01-08 09:36:59
3093
转载 scala中集合的交集、并集、差集
原文网址：http://hongjiang.info/scala-union-diff-intersect/scala中有一些api设计的很人性化，集合的这几个操作是个代表：交集：scala> Set(1,2,3) & Set(2,4) // &方法等同于interset方法scala> Set(1,2,3) intersect Set(2,4)并集：s
2016-01-07 09:20:02
6445
转载 Running Spark GraphX algorithms on Library of Congress subject heading SKOS
原文网址：http://www.snee.com/bobdc.blog/2015/04/running-spark-graphx-algorithm.htmlLast month, in Spark and SPARQL; RDF Graphs and GraphX, I described how Apache Spark has emerged as a more effi
2016-01-05 17:59:42
670
转载 Spark and SPARQL; RDF Graphs and GraphX
原文地址：http://www.snee.com/bobdc.blog/2015/03/spark-and-sparql-rdf-graphs-an.htmlSome interesting possibilities for working together.In Spark Is the New Black in IBM Data Magazine, I recentl
2016-01-05 17:54:02
1526
1
原创 spark graphx从txt文件中读数据构建图
最近再搞spark的graphx，目的是做一个知识图谱，由于没有scala编程经验，搞得心好累。。。话不多说，上demo文本 zygj_vertice_attr.txt 数据形式1 阿胶2 肺4 肝5 肾6 矮地茶文本 zygj_edge_attr.txt 数据形式1 2归经关系1 4 归经关系1 5 归经关系程序功能：导入顶点以及边的数
2016-01-05 17:11:23
4210
1
OpenGL编程指南第七版
2013-12-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人