u010385646的专栏

转载请说明出处：http://blog.csdn.net/cywosp/article/details/23397179    一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简 单哈希算法带来的问题，使得分布式哈希（DHT）可以在P2P环境中真正

点击打开链接  MongoDB是时下流行的NoSql数据库，它的存储方式是文档式存储，并不是Key-Value形式。关于Mongodb的特点，这里就不多介绍了，大家可以去看看官方说明：http://docs.mongodb.org/manual/       今天主要来说说Mongodb的三种集群方式的搭建：Replica Set / Sharding / Ma

jdk1.8安装jdk解压到/opt/java目录，然后在~/.bashrc中加入下面几行：export JAVA_HOME=/opt/java/jdk1.8.0_101export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=/usr/local/sbin:/u

原文链接简要介绍了SparkSQL与Hive on Spark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。架构Spark的架构如下图所示，主要包含四大组件：Driver、Master、Worker和Executor。

原文链接大数据本身是个很宽泛的概念，Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合也能工作，但是未必是最佳选择。大数据，首先你要能存的下大数据

MongoDB自带JavaScript shellMongoDB shell命令db查看当前指向哪个数据库创建 db.col.insert(post)读取db.col.find() db.col.findOne()更新post.comments=[] db.col.update({title:”My Blog Post”},post) update函数有两个参数至少，第一个参数用于匹配

原文链接How big is your MongoDB?by chris on 2014/01/23 in MONGODBUpdate 11/10/14: The next blog post in this series is on managing disk space in MongoDB.As your MongoDB grows i

原文链接Spark介绍按照官方的定义，Spark 是一个通用，快速，适用于大规模数据的处理引擎。通用性：我们可以使用Spark SQL来执行常规分析， Spark Streaming 来流数据处理， 以及用Mlib来执行机器学习等。Java，python，scala及R语言的支持也是其通用性的表现之一。快速： 这个可能是Spark成功的最初原因之一，主要归功于其基于

原文链接1. 核心YCSB属性所有工作量文件可以指定以下属性：workload：要使用的工作量类（例如com.yahoo.ycsb.workloads.CoreWorkload）db：要使用的数据库类。可选地，这在命令行可以指定（默认：com.yahoo.ycsb.BasicDB）exporter：要是用的测量结果的输出类（默认：com.yahoo.ycsb.measu

原文链接原理首先，“映射”这个词，就和数学课上说的“一一映射”是一个意思，就是建立一种一一对应关系，在这里主要是只硬盘上文件 的位置与进程 逻辑地址空间 中一块大小相同的区域之间的一一对应，如图1中过程1所示。这种对应关系纯属是逻辑上的概念，物理上是不存在的，原因是进程的逻辑地址空间本身就是不存在的。在内存映射的过程中，并没有实际的数据拷贝，文件没有被载入内存，只是逻辑上被

原文链接mongodb有一个write concern的设置，作用是保障write operation的可靠性。一般是在client driver里设置的，和db.getLastError()方法关系很大一般来说，所有的mongo driver，在执行一个写操作（insert、update、delete）之后，都会立刻调用db.getLastError()方法。这样才有机会

NoSQL数据库介绍 与传统数据库比较

原文链接一、存储引擎（Storage）    mongodb 3.0默认存储引擎为MMAPV1，还有一个新引擎wiredTiger可选，或许可以提高一定的性能。    mongodb中有多个databases，每个database可以创建多个collections，collection是底层数据分区（partition）的单位，每个collection都有多

原文链接On this pageSpecify In-Memory Storage EngineConcurrencyMemory UseDurabilityDeployment ArchitecturesChanged in version 3.2.6.Starting in MongoDB Enterprise version 3.2

原文链接On this pageJournalRecord Storage CharacteristicsRecord Allocation StrategiesMemory UseMMAPv1 is MongoDB’s original storage engine based on memory mapped files. It excels

原文链接On this pageDocument Level ConcurrencySnapshots and CheckpointsJournalCompressionMemory UseStarting in MongoDB 3.0, the WiredTiger storage engine is available in the 64-bit

原文链接On this pageStorage Engine FundamentalsCan you mix storage engines in a replica set?WiredTiger Storage EngineMMAPv1 Storage EngineCan I manually pad documents to prevent moves

点击打开链接Mongodb的开启默认启动：$ ./mongodb默认数据保存路径：/data/db/默认端口：27017修改默认路径：--dbpath$ ./mongdb --dbpath /mongodb/把数据存储位置指向一个自己的目录/mongodb/修改默认端口：--port