- 博客(22)
- 资源 (3)
- 收藏
- 关注
原创 spark map flatMap flatMapToPair mapPartitions 的区别和用途
import akka.japi.Function2;import org.apache.spark.HashPartitioner;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import o
2015-05-19 16:22:07 9368
原创 mongodb-elasticsearch-rive源码解析
MongoDBRiverPluginMongoDBRiverPlugin类是插件注册类,它继承自AbstractPlugin,其功能是1. 在RiverModule中注册一个MongoDBRiver2. 在RestModule中注册一个RestMongoDBRiverActionpackage org.elasticsearch.plugin.river.mon
2014-08-21 14:01:22 554
原创 mongodb-river-elasticsearch源码解析
1. MongoDBRiverPluginMongoDBRiverPlugin类是插件注册类,它继承自AbstractPlugin,其功能是1. 在RiverModule中注册一个MongoDBRiver2. 在RestModule中注册一个RestMongoDBRiverActionpackage org.elasticsearch.plugin.river.
2014-08-21 13:41:01 1811
原创 neo4j 三元组数据存储问题的解决方案
图数据库的扩展性,灵活性非常好,适合用于复杂关系管理和关系查询推理,社交关系应用就是一个可选的应用场景。语义网和Ontology的数据结构(三元组)就是图结构数据,而基于RDF构建的语义网,过于复杂,效率很低,实际上不如基于图数据库的构建方便好用,而且Neo4J支持RDF,SPARQL等扩展。目前neo4j支持了linked data数据存储和有效数据查询。 早期 Neo4j-rdf-sa
2014-03-03 17:47:45 7399 3
原创 ubuntu neo4j单机安装和集群环境安装
1. Neo4j简介 Neo4j是一个用Java实现的、高性能的、NoSQL图形数据库。Neo4j 使用图(graph)相关的概念来描述数据模型,通过图中的节点和节点的关系来建模。Neo4j完全兼容ACID的事务性。Neo4j以“节点空间”来表达领域数据,相对于传统的关系型数据库的表、行和列来说,节点空间可以更好地存储由节点关系和属性构成的网络,如社交网络,朋友圈等。2 neo4
2014-02-26 17:57:46 3437 2
原创 org.apache.hadoop.hdfs.DFSClient: Error Recovery for null bad datanode[0] nodes == null问题可能出现的原因
2014年-1-22日遇到了这个问题:2014-01-22 14:36:18,346 WARN org.apache.hadoop.hdfs.DFSClient: Error Recovery for null bad datanode[0] nodes == null2014-01-22 14:36:18,346 WARN org.apache.hadoop.hdfs.DFSClient
2014-01-22 15:45:00 2504
原创 elasticsearch与mongodb分布式集群环境下数据同步以及遇到的相应问题解答
1. elasticsearch是什么 ElasticSearch 是一个基于Lucene构建的开源、分布式,RESTful搜索引擎。它的服务是为具有数据库和Web前端的应用程序提供附加的组件(即可搜索的存储库)。ElasticSearch为应用程序提供搜索算法和相关的基础架构,用户只需要将应用程序中的数据上载到ElasticSearch数据存储中,就可以通过RESTful U
2014-01-03 18:45:11 3669 3
原创 ubuntu hadoop 全分布式集群搭
集群部署介绍1.1 Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 对于Hadoop的集群来讲,可以分成两大类角色:M
2013-12-11 17:38:10 1356
原创 solrcloud安装手册
关于如何安装solrcloud看了网上很多资料也尝试了很多次,发现有许多不太对的地方,正好单位 需要用,所以仔细实践了一下,把相关实践的情况总结一下: 1. 在同一台机器上建立两个Shard集群 这个例子简单的创建了一个代表一个独立索引块的两个不同的 shards 的两个 solr 服务组成的集群。从我们将需要两个 solr 服务器,简单的复制例子目录副本作为第二个服务器。
2013-12-05 16:12:38 675
原创 solr 基础架构
本节通过建一个基础应用来说明solr的主要核心模块,当然这个过程中我们也能够看出solr的特别之处和solr存在的意义。首先在说明solr是什么之前,我们先撇清一些概念---------solr既不是搜索引擎也不是搜索引擎优化。 上面的图片能够展示一部分solr的核心功能,solr可以童工强大的关键字搜索和一些复杂的高级搜索,另外solr还提供相应的拼写检查,自动匹配或者是建议,同义词处理,短语
2013-12-05 16:12:33 693
原创 Apache solr windows环境下安装及遇到的问题解答
1 首先在http://apache.fayea.com/apache-mirror/lucene/solr/4.5.0 网站上下载最新版本的solr资源,对 资源进行解压:F:\lib\solr-4.5.0 2 下载tomcat资源,并且对tomcat 软件进行解压:F:\software\apache-tomcat-6.0.36 3 solr安装在tomcat中。
2013-12-05 16:12:28 618
原创 mongo服务器启动错误 1067
mongodb启动服务时报错,错误:1067,进程意外终止解决办法:我之前也遇到过类似的问题,个人分析是数据的问题,在网上查信息说要删掉mongod.lock文件就重启就可以了,但是在我的机子上依然出现上述问题。如果之前一直好好的,仅仅是因为插入了数据导致服务无法使用,处理问题的方法就很简单了,把你刚刚复制的数据和mongod.lock文件删掉(都在data文件夹下)。有可能是因为mong
2013-12-05 16:12:22 842
原创 java 驱动mysqldump 进行自动备份
import java.io.File;import java.io.InputStream;import java.io.PrintStream;public class MysqlDump1 { private String ip; private String port; private String database; private String user; priva
2013-12-05 16:12:17 510
原创 solrcloud安装手册
关于如何安装solrcloud看了网上很多资料也尝试了很多次,发现有许多不太对的地方,正好单位 需要用,所以仔细实践了一下,把相关实践的情况总结一下: [color=red][size=medium]1. 在同一台机器上建立两个Shard集群 [/size][/color] 这个例子简单的创建了一个代表一个独立索引块的两个不同的 shards 的两个 solr 服务组成的集...
2013-10-22 12:51:33 58
原创 solr 基础架构
[size=medium]本节通过建一个基础应用来说明solr的主要核心模块,当然这个过程中我们也能够看出solr的特别之处和solr存在的意义。首先在说明solr是什么之前,我们先撇清一些概念---------solr既不是搜索引擎也不是搜索引擎优化。[/size] [img]http://dl2.iteye.com/upload/attachment/0090/1938/7ea57bad-f9...
2013-10-15 10:44:57 110
原创 Apache solr windows环境下安装及遇到的问题解答
1 首先在http://apache.fayea.com/apache-mirror/lucene/solr/4.5.0 网站上下载最新版本的solr资源,对 资源进行解压:F:\lib\solr-4.5.0 2 下载tomcat资源,并且对tomcat 软件进行解压:F:\software\apache-tomcat-6.0.36 3 solr安装在tomcat中。 ...
2013-10-14 16:05:46 86
原创 mongo服务器启动错误 1067
mongodb启动服务时报错,错误:1067,进程意外终止解决办法:我之前也遇到过类似的问题,个人分析是数据的问题,在网上查信息说要删掉mongod.lock文件就重启就可以了,但是在我的机子上依然出现上述问题。如果之前一直好好的,仅仅是因为插入了数据导致服务无法使用,处理问题的方法就很简单了,把你刚刚复制的数据和mongod.lock文件删掉(都在data文件夹下)。有可能是因为...
2013-08-16 08:32:18 298
原创 java 驱动mysqldump 进行自动备份
import java.io.File;import java.io.InputStream;import java.io.PrintStream;public class MysqlDump1 { private String ip; private String port; private String database; private String user...
2013-08-13 08:46:27 63
hadoop-eclipse-plugin-1.2.1.jar
2014-01-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人