大数据
Leckun
这个作者很懒,什么都没留下…
展开
-
大数据技术就在生活中: 登机牌、阅卷与 Map-Reduce(归约)
文|唐常杰(四川大学,计算机学院,教授)映射-归约(Map-Reduce)是谷歌多年前推出的建立海量数据索引的方法,有人说它是里程碑性的技术。而理解“映射-归约”,又是理解更时髦的Hadoop和Spark等大数据技术的基础。一位作管理的朋友说,虽看过一些大数据相关文章,但对“映射-归约”的体验很不踏实,最先在网上,也曾在云里, 而今却在雾中;鼓励我写一篇科普文章,以便能让非计算机专业朋友了转载 2015-08-24 18:44:42 · 4595 阅读 · 0 评论 -
系统吞吐量、TPS(QPS)、用户并发量、性能测试概念和公式
PS:下面是性能测试的主要概念和计算公式,记录下:一.系统吞度量要素: 一个系统的吞度量(承压能力)与request对CPU的消耗、外部接口、IO等等紧密关联。单个reqeust 对CPU消耗越高,外部系统接口、IO影响速度越慢,系统吞吐能力越低,反之越高。系统吞吐量几个重要参数:QPS(TPS)、并发数、响应时间 QPS(TPS):每秒钟reque转载 2015-09-13 17:05:22 · 543 阅读 · 0 评论 -
批量操作可显著提升Entity Framework的性能
作者 Jonathan Allen ,译者 谢丽 发布于 2014年12月11日 当数据库管理员考虑高性能数据加载时,他们会考虑批量操作,这明显是Entity Framework不具备的功能。但也不一定就是如此。近日,我们采访了ZZZ项目的Jonathan Magnan,谈了他们新提供的功能。InfoQ:开发人员已经可以告诉Entity Framework将批量记录同时转载 2016-04-25 10:42:24 · 1158 阅读 · 0 评论 -
C# Bulk Operations
Overcome SqlBulkCopy Limitations with C# Bulk Insw3school.com.cnert, Update, Delete and Merge// Support all type of operationsvar bulk = new BulkOperation(connection);bulk.BulkInsert(dt);bu转载 2016-04-25 10:56:35 · 2966 阅读 · 0 评论 -
1号店订单系统水平分库的实践之路以及关键步骤
随着大型互联网应用的发展,海量数据的存储和访问成为系统设计的瓶颈,分布式处理成为不二选择。数据库拆分,特别是水平分库是个高难度的活,涉及一系列技术决策。本人有幸负责1号店订单水平分库的方案设计及实施落地,本人结合项目实践,对水平分库做一个系统地剖析,希望为大家水平分库(包括去IOE)改造提供总体思路,主要内容包括:水平分库说明分库维度-- 根据哪个字段分库转载 2016-10-13 14:22:04 · 1208 阅读 · 0 评论 -
DBSCAN聚集算法改进,可用于车辆GPS经纬度聚集计算
1、DBSCAN简介DBSCAN(Density-Based Spatial Clustering of Applications with Noise,具有噪声的基于密度的聚类方法)是一种基于密度的空间聚类算法。该算法将具有足够密度的区域划分为簇,并在具有噪声的空间数据库中发现任意形状的簇,它将簇定义为密度相连的点的最大集合。该算法利用基于密度的聚类的概念,即要求聚类空间中的一定区域内所原创 2016-09-08 09:52:11 · 10601 阅读 · 51 评论