2015年10月_dhtx_wzgl

转载 TIOBE 2015年10月编程语言排行榜 Ruby进入TIOBE排行榜前十

摘要：这是一个时间问题，苹果宣布从Objective-C转向Swift不久，Objective-C进入自由落体。本月Objective-C的Tiobe 指数最高下跌10。脚本语言Ruby利用这一下降，进入前10名。Ruby的小复兴有点令人惊讶。这种语言在2006年到2008年之间是一种真实的炒作。rubyists在互联网高喊Ruby和Rails是人类最好的礼物。它甚至成为2006年度TIOB

2015-10-29 09:49:56 864

转载 2015年240个数据库引擎排名参考

我们根据每一个数据库引擎的使用情况以及受欢迎的程度，对240个数据库引擎作了综合排名，但是以下排名也仅供参考，同时也希望本文可以拓展你的视野，这世界上的数据库并不是只有Oracle、MSSQ、MySQL。2015年1月，240个数据库引擎综合排名参考本月排名上月排名数据库名称数据库类型综合得分分数走势1

2015-10-29 09:43:12 1110

转载 MySQL/HandlerSocket和VoltDB：NoSQL的竞争者

原文链接：http://www.infoq.com/cn/news/2010/11/MySQL-HandlerSocket-VoltDB/一般认为NoSQL数据库在性能方面要优于传统的SQL数据库。但是有两个SQL的解决方案宣布：对于大型系统的高可扩展性需求，SQL仍然是可行的解决方案！这两个SQL解决方案分别是MySQL加NoSQL层插件和支持SQL的VoltDB数据库。MyS

2015-10-29 09:37:48 413

转载 NewSQL数据库VoltDB特性简介

原文链接： http://blog.csdn.net/dc_726/article/details/41909719VoltDB是一个革命性的新型数据库产品，被称作NewSQL数据库。它基于H-Store，号称比当前数据库产品的吞吐量高45倍，同时又具有很高的扩展性。它的特性主要有以下几点：Ø 高吞吐、低延迟：通过内存计算，存储过程和串行数据访问实现。Ø 可扩展性：自动

2015-10-29 09:36:29 848

转载 MySQL 性能：使用 MySQL 5.7 实现每秒 50 万查询

[导读] 本文提供MySql5 7实现每秒50W查询一文的细节以及基准测试结果，解释了我早期在Mysql Connect 发表的谈话。回顾MySQL InnoDB 的改善历史。你能很容易发现。在MySQL 5 6稳定版本中从来没有在read-only这么本文提供 MySql5.7实现每秒50W查询一文的细节以及基准测试结果，解释了我早期在Mysql Connect 发表的谈话。

2015-10-28 14:00:31 1594

转载 Apache Ignite vs Apache Spark

原文链接：http://www.lupaworld.com/portal.php?mod=view&aid=252407出于我前面的贴子大赞了 Apache Ignite 的基于内存的文件系统和缓存功能，我将总结一下我将总结一下 Ignite 和 Spark 的主要区别。我发现这样的问题被重复提出。这很容易回答，因此不必在网上“挖坟”。　　显而易见的一个

2015-10-28 12:47:07 1367

转载大数据性能调优之HBase的RowKey设计

1 概述HBase是一个分布式的、面向列的数据库，它和一般关系型数据库的最大区别是：HBase很适合于存储非结构化的数据，还有就是它基于列的而不是基于行的模式。既然HBase是采用KeyValue的列存储，那Rowkey就是KeyValue的Key了，表示唯一一行。Rowkey也是一段二进制码流，最大长度为64KB，内容可以由使用的用户自定义。数据加载时，一般也是根据Row

2015-10-28 08:28:28 731

原创 HBase学习之二级索引

1.引言随着大数据时代的来临，数据的规模越来越大，TB级已经成为常态。对于海量的数据，如何对其进行有效的处理，是一个挑战。开源分布式数据库HBase数据库很好的解决了海量数据的存储问题，但是HBase只支持Rowkey作为索引检索数据，所以HBase在检索非Rowkey列的数据时，性能会很差。基于HBase这一特性，业界展开了对HBase二级索引的研究。业界对于HBase二级索

2015-10-26 17:10:10 6020 2

转载从K近邻算法、距离度量谈到KD树、SIFT+BBF算法

从K近邻算法、距离度量谈到KD树、SIFT+BBF算法前言前两日，在微博上说：“到今天为止，我至少亏欠了3篇文章待写：1、KD树；2、神经网络；3、编程艺术第28章。你看到，blog内的文章与你于别处所见的任何都不同。于是，等啊等，等一台电脑，只好等待..”。得益于田，借了我一台电脑（借他电脑的时候，我连表示感谢，他说“能找到工作全靠你的博客，这点儿小忙

2015-10-26 14:44:12 950

转载超酷算法：用四叉树和希尔伯特曲线做空间索引

原文出处：http://blog.jobbole.com/81106/随着越来越多的数据和应用和地理空间相关，空间索引变得愈加重要。然而，有效地查询地理空间数据是相当大的挑战，因为数据是二维的（有时候更高），不能用标准的索引技术来查询位置。空间索引通过各种各样的技术来解决这个问题。在这篇博文中，我将介绍几种：四叉树，geohash（不要和geohashing混淆）以及空间填充曲

2015-10-26 14:38:24 6797

转载四叉树空间索引原理及其实现

原文出处：http://blog.csdn.net/zhouxuguang236/article/details/12312099今天依然在放假中，在此将以前在学校写的四叉树的东西拿出来和大家分享。四叉树索引的基本思想是将地理空间递归划分为不同层次的树结构。它将已知范围的空间等分成四个相等的子空间，如此递归下去，直至树的层次达到一定深度或者满足某种要求后停止分割。四叉树的结构比较简单，并且

2015-10-26 14:33:08 896

转载基于HBASE的并行计算架构之rowkey设计篇

转自：http://blog.csdn.net/icejadelove/article/details/4764399HBASE作为大数据容器目前在业界得到认可，并行计算是应对大数据的核心思路，而分布式设计是并行计算架构的基本方法，本文将基于HBASE讲解一种并行计算架构的设计方法。1. 大数据在HBASE存储、计算以及查询的应用场景海量数据都是事务数据，事务数据都是在时间

2015-10-23 09:21:01 445

转载数据映射--跳表(skiplist)

转自：http://blog.sina.com.cn/s/blog_693f08470101n2lv.html本周我要介绍的数据结构，是我非常非常喜欢的一个数据结构，因为咱也是吃过平衡二叉树的苦的人啊T_T ，神马左旋，右旋，上旋，下旋，看原理的时候就已经晕晕乎乎的了，再看源码，发现比原理还复杂，心理就想，这东西是不是就是为了让我挂科给学校交重修费来拯救学校财政的东西啊？！。。

2015-10-23 09:18:21 416

转载 SkipList跳表基本原理

为什么选择跳表目前经常使用的平衡数据结构有：B树，红黑树，AVL树，Splay Tree, Treep等。想象一下，给你一张草稿纸，一只笔，一个编辑器，你能立即实现一颗红黑树，或者AVL树出来吗？很难吧，这需要时间，要考虑很多细节，要参考一堆算法与数据结构之类的树，还要参考网上的代码，相当麻烦。用跳表吧，跳表是一种随机化的数据结构，目前开源软件 Redis

2015-10-22 08:45:20 341

转载我为什么要使用哈希（Hash）

本文作者：XadillaX，UPYUN 已经获得授权原文链接： http://t.cn/RUvEtXQ什么是哈希（Hash）本来这里不应该出现这一节的，因为实际上大家应该都知道什么是哈希。不过有时候为了文章的完整性，我这里就稍微教条性地说明一下吧。散列（英语：Hashing），通常音译作哈希，是电脑科学中一种对资料的处理方法，通过某种特定的函数、算法将要

2015-10-22 08:31:04 3050

转载 HBase深入分析之RegionServer

所有的用户数据以及元数据的请求，在经过Region的定位，最终会落在RegionServer上，并由RegionServer实现数据的读写操作。本小节将重点介绍RegionServer的代码结构和功能，从实现细节上深入理解RegionServer对于数据的操作流程。1 RegionServer概述RegionServer是HBase集群运行在每个工作节点上的服务。它是整个HBase

2015-10-22 08:28:35 536

转载 Eclipse通过HibernateTools实现逆向生成Hibernate实体类

原文链接：http://m.blog.csdn.net/blog/b671900/39156065 在项目开发时，要么先完成数据库表的设计，再逆向生成实体类或者根据需求分析建立实体类，有正向生成数据库表。没有人会浪费大量的时间在进行完任意一方时自己匹配建立另一方设计，这样做还可能导致两边映射不一致，对开发和维护都不利。废话不多说，现在开始实现由数据库逆向生成Hibernate实体类的方法。

2015-10-19 21:40:12 966

转载 ApacheIgnite——分布式高性能缓存系统

Apache Ignite内存数组组织框架是一个高性能、集成和分布式的内存计算和事务平台，用于大规模的数据集处理。Ignite 为应用和不同的数据源之间提供一个高性能、分布式内存中数据组织管理的框架。集群计算特性：动态集群Fork-Join & MapReduce 处理分布式闭包执行负载均衡和容错分布式消息和事件

2015-10-15 14:34:40 1183

转载 HBase中的备份和故障恢复方法

本文将对Apache HBase可用的数据备份机制和大量数据的故障恢复/容灾机制做简要介绍。随着HBase在重要的商业系统中应用的大量增加，许多企业需要通过对它们的HBase集群建立健壮的备份和故障恢复（backup and disaster recovery, BDR）机制来保证它们的企业（数据）资产。HBase和Apache Hadoop系统提供了许多内置的机制，可以快速而轻松的完成P

2015-10-15 12:11:27 767

原创 360HBase二级索引方案学习总结

在今年的北京QCon大会上，360公司的系统部技术经理赵健博在演讲中公布了360公司的HBase二级索引方案，这一方案的提出将比华为HBase二级索引更好的解决了Hbase的多维实时查询问题。它的核心思想是保证了索引和数据在同一region上，减少了IO通信，提升了HBase的读性能，并且无非修改HBase源码，实现更加简单。360HBase二级索引公布的演讲视频：http://www.inf

2015-10-12 10:15:18 5796 1

转载经纬度搜索(1)-Geohash算法原理

原文链接：http://hankesi2000.iteye.com/blog/1344914geohash作为Solr的位置信息搜索算法，有必要了解其基本的实现原理。geohash算法的wiki链接为http://en.wikipedia.org/wiki/Geohash，这里再结合自己的理解，重新复述一下。由经纬度变成base32标识 geohash的思想，是将所有的经纬度坐标

2015-10-11 21:28:17 1968

转载 Mongodb VS Hbase

原文链接：http://hi.baidu.com/i1see1you/blog/item/a8038399d9a777286e068c8a.html1.Mongodb bson文档型数据库，整个数据都存在磁盘中，hbase是列式数据库，集群部署时每个familycolumn保存在单独的hdfs文件中。2.Mongodb 主键是“_id”,主键上面可以不建索引,记录插入的顺序和存放的

2015-10-09 15:40:20 495

转载分布式发布订阅消息系统 Kafka 架构设计

原文链接：http://www.oschina.net/translate/kafka-design我们为什么要搭建该系统Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。现在它已为多家不同类型的公司作为多种类型的数据管道（data pipeline）和消息

2015-10-08 15:42:58 652

转载从B 树、B+ 树、B* 树谈到R 树

作者：July、weedge、Frankie。编程艺术室出品。说明：本文从B树开始谈起，然后论述B+树、B*树，最后谈到R 树。其中B树、B+树及B*树部分由weedge完成，R 树部分由Frankie完成，全文最终由July统稿修订完成。出处：http://blog.csdn.net/v_JULY_v 。第一节、B树、B+树、B*树1.前言：动态查找树主要有：二叉查找树

2015-10-04 17:12:21 433

转载三种基本的存储引擎比较

1、Hash存储引擎代表数据库：redis、memcache等通常也常见于其他存储引擎的查找速度优化上。 Hash 索引结构的特殊性，其检索效率非常高，索引的检索可以一次定位，不像B-Tree 索引需要从根节点到枝节点，最后才能访问到页节点这样多次的IO访问，所以 Hash 索引的查询效率要远高于 B-Tree 索引。虽然 Hash 索引效率高，但是 Hash 索引本身由于其特殊性

2015-10-04 17:06:19 513

转载 Apache Ignite——新一代数据库缓存系统

原文链接http://news.oneapm.com/apacheignite/【编者按】飞速增长的数据需要大量存储，对这些数据的管理也不是一件容易的事。但相比于存储和管理，如何处理数据才是开发人员真正的挑战。对于TB级别数据的存储和处理通常会让开发人员陷入速度、可扩展性和开销的矛盾困境中。近日，Dmitriy Setrakyan 在 Dzone 上撰文，为大家介绍了新一代数据库缓存系统 Ap

2015-10-04 16:50:47 649

原创著名博客地址收藏(未完待续……)

一些非常知名的博客，存着好方便学习，免得每一次都得去百度找结构之法算法之道点击打开链接董的博客点击打开链接Mark Track 点击打开链接Mac Track

2015-10-04 11:30:21 635

dhtx_wzgl的博客