2017年06月_白乔

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 Java为什么会引入及如何使用Unsafe

http://www.importnew.com/14511.html综述sun.misc.Unsafe至少从2004年Java1.4开始就存在于Java中了。在Java9中，为了提高JVM的可维护性，Unsafe和许多其他的东西一起都被作为内部使用类隐藏起来了。但是究竟是什么取代Unsafe不得而知，个人推测会有不止一样来取代它，那么问题来了，到底为什么要使用Unsafe？做一些Java语言不允

2017-06-23 08:58:26 1311

转载如何将大规模数据导入Neo4j

http://blog.csdn.net/xingxiupaioxue/article/details/71747284项目需要基于Neo4j开发，由于数据量较大（数千万节点），因此对当前数据插入的方法进行了分析和对比。常见数据插入方式概览Neo4j VersionLanguage DriverCommunity 3.0.2Python neo4j-driver 1.0.0目前主要有以下几种数据插

2017-06-20 22:37:06 1883

原创 spark中的job和stage

编写了某个任务： val line = sc.textFile("hdfs://vm122:9000/dblp.rdf") line.flatMap { extractProperties }.groupBy(_._1).map(resource2JSON).saveAsTextFile("hdfs://vm122:9000/nodes");执行的时候可以看到spark分成2个stage：

2017-06-20 13:51:11 660

原创 spark任务已经执行结束，但还显示RUNNING状态

spark的任务已经执行完成：scala> val line = sc.textFile("hdfs://vm122:9000/dblp.rdf")line: org.apache.spark.rdd.RDD[String] = hdfs://vm122:9000/dblp.rdf MapPartitionsRDD[1] at textFile at <console>:24scala> val

2017-06-19 21:11:36 8097

原创查看maven引入的某个jar的依赖项

使用mvn dependency:tree即可查看到依赖树

2017-06-19 16:48:13 3124

原创采用文件流写HDFS大文件

最近有个需求，要把笔记本上的一个近30GB的文件写到HDFS上去。无奈虚拟机服务器的本地硬盘都只有20GB的容量，原始文件无法采用copyFromLocal。试了一下笔记本通过copyFromLocal写到HDFS，无奈龟速。最后想到一个办法：压缩文件，gz文件大概到7G的样子；拷贝gz文件至服务器vm1；在vm1上写程序，读取gz文件数据流，写到HDFS文件上去；结果看起来还不错，代码如下

2017-06-17 23:01:55 2931

转载 Neo4j图数据库简介和底层原理

http://www.cnblogs.com/bonelee/p/6211290.html现实中很多数据都是用图来表达的，比如社交网络中人与人的关系、地图数据、或是基因信息等等。RDBMS并不适合表达这类数据，而且由于海量数据的存在，让其显得捉襟见肘。NoSQL数据库的兴起，很好地解决了海量数据的存放问题，图数据库也是NoSQL的一个分支，相比于NoSQL中的其他分支，它很适合用来原生表达图结构的

2017-06-10 10:36:04 13770

转载 Neo4j运行原理

http://www.linuxidc.com/Linux/2012-02/53689.htm一个Neo4J HA集群的协作运行，协调行为是通过zookeeper完成的。当一个Neo4j HA实体开启时将去连接协调器服务（zookeeper）注册其本身并询问“谁是主机（master）？”。如果某个机器是主机，新的实体将以从机（slaver）开启并连接到主机（master）。如果机器开启时为第一个注

2017-06-10 10:35:10 2372

转载图形数据库 Neo4j 开发

http://www.iigrowing.cn/tu_xing_shu_ju_ku_neo4j_kai_fa.html1. Neo4j简介Neo4j 是一个高性能的 NoSQL 图形数据库。Neo4j 使用图（graph）相关的概念来描述数据模型，把数据保存为图中的节点以及节点之间的关系。很多应用中数据之间的关系，可以很直接地使用图中节点和关系的概念来建模。对于这样的应用，使用 Neo4j 来存

2017-06-10 10:34:04 2889

pdsh-2.26源文件

pdsh的全称是parallel distributed shell，与pssh类似，pdsh可并行执行对远程目标主机的操作，在有批量执行命令或分发任务的运维需求时，使用这个命令可达到事半功倍的效果。同时，pdsh还支持交互模式，当要执行的命令不确定时，可直接进入pdsh命令行，非常方便。

2017-02-06

oauth2的示例工程源代码spring-security-oauth-samples（含war包）

oauth2的示例工程源代码，含build好的war包来源于github，但build会很耗时间直接取出2个target目录下的war文件改名为tonr2.war和sparklr2.war 置于webapps下启动tomcat后，访问http://localhost:8080/tonr2 即可体验演示工程

2016-02-15

java反编译器的GUI版本：jd-gui

很好的java反编译器，忘掉eclipse插件吧：）本人的eclipse无论安装哪种java反编译器，总是失败~~~ 绝望中找到jd-gui jd-gui可以关联上eclipse中的.class文件并自动在左侧的目录视图中打开class文件所在的目录同时支持各个class之间的跳转 http://jd.benow.ca/

2015-02-25