白乔专栏

资深感性程序员,大数据爱好者,中国科学院博士

Java为什么会引入及如何使用Unsafe

http://www.importnew.com/14511.html综述sun.misc.Unsafe至少从2004年Java1.4开始就存在于Java中了。在Java9中,为了提高JVM的可维护性,Unsafe和许多其他的东西一起都被作为内部使用类隐藏起来了。但是究竟是什么取代Unsafe不得...

2017-06-23 08:58:26

阅读数 840

评论数 0

如何将大规模数据导入Neo4j

http://blog.csdn.net/xingxiupaioxue/article/details/71747284项目需要基于Neo4j开发,由于数据量较大(数千万节点),因此对当前数据插入的方法进行了分析和对比。常见数据插入方式概览Neo4j VersionLanguage DriverC...

2017-06-20 22:37:06

阅读数 1260

评论数 0

spark中的job和stage

编写了某个任务: val line = sc.textFile("hdfs://vm122:9000/dblp.rdf") line.flatMap { extractProperties }.groupBy(_._1).map(resource2JSON).saveAs...

2017-06-20 13:51:11

阅读数 424

评论数 0

spark任务已经执行结束,但还显示RUNNING状态

spark的任务已经执行完成:scala> val line = sc.textFile("hdfs://vm122:9000/dblp.rdf") line: org.apache.spark.rdd.RDD[String] = hdfs://vm122:9000/db...

2017-06-19 21:11:36

阅读数 2660

评论数 0

查看maven引入的某个jar的依赖项

使用mvn dependency:tree即可查看到依赖树

2017-06-19 16:48:13

阅读数 1619

评论数 0

采用文件流写HDFS大文件

最近有个需求,要把笔记本上的一个近30GB的文件写到HDFS上去。无奈虚拟机服务器的本地硬盘都只有20GB的容量,原始文件无法采用copyFromLocal。试了一下笔记本通过copyFromLocal写到HDFS,无奈龟速。最后想到一个办法: 压缩文件,gz文件大概到7G的样子; 拷贝gz文件至...

2017-06-17 23:01:55

阅读数 1973

评论数 0

Neo4j图数据库简介和底层原理

http://www.cnblogs.com/bonelee/p/6211290.html现实中很多数据都是用图来表达的,比如社交网络中人与人的关系、地图数据、或是基因信息等等。RDBMS并不适合表达这类数据,而且由于海量数据的存在,让其显得捉襟见肘。NoSQL数据库的兴起,很好地解决了海量数据的...

2017-06-10 10:36:04

阅读数 5433

评论数 0

Neo4j运行原理

http://www.linuxidc.com/Linux/2012-02/53689.htm一个Neo4J HA集群的协作运行,协调行为是通过zookeeper完成的。当一个Neo4j HA实体开启时将去连接协调器服务(zookeeper)注册其本身并询问“谁是主机(master)?”。如果某个...

2017-06-10 10:35:10

阅读数 1049

评论数 0

图形数据库 Neo4j 开发

http://www.iigrowing.cn/tu_xing_shu_ju_ku_neo4j_kai_fa.html1. Neo4j简介Neo4j 是一个高性能的 NoSQL 图形数据库。Neo4j 使用图(graph)相关的概念来描述数据模型,把数据保存为图中的节点以及节点之间的关系。很多应用...

2017-06-10 10:34:04

阅读数 1067

评论数 0

提示
确定要删除当前文章?
取消 删除