- 博客(89)
- 资源 (10)
- 收藏
- 关注
转载 Eight Docker Development Patterns
In the past I've written about my "home cloud" that used to be OpenVz containers, and how I've come to advocate rebuilding the "build server" for every buildDocker has quickly become one of my fav
2014-10-31 23:49:15
709
转载 Columnar Database
A column store database is a database which stores table data as sections of columns of data rather than as rows of data. That means all the values for one particular column will be stored together an
2014-10-31 23:10:44
676
转载 将 SPSS 分析技术应用于大数据
试用 SPSS with IBM Netezza、InfoSphere BigInsights 和 InfoSphere Streams 执行大规模分析了解 SPSS® 中处理大数据的新功能。现在可以对 SPSS 分析资产轻松地进行修改,以便连接到不同的大数据来源,它们还可以在不同的部署模式(批处理或实时模式)下运行。SPSS 平台的组件现在可与 IBM Netezza、I
2014-10-31 14:32:06
3454
转载 database Scaling、Partitioning and Sharding
ScalingHorizontal Scaling:is about addingmore machines to enable improved responsiveness and availability ofany system including database. Theidea is to distribute the work load to multiple machin
2014-10-30 17:14:17
879
转载 database schema
A database schema (/ˈski.mə/ skee-mə) of a database system is its structure described in a formal language supported by thedatabase management system (DBMS) and refers to the organization ofdata
2014-10-30 16:22:27
517
转载 数据分析:在天猫开一个店需要多少成本?
有的人做了3、4年电商,还弄不明白“成本”里包含哪几项。事实上,在今天,如果你在“天猫”开店经营,20元出厂价的产品,以3倍的价60元卖出去,结果也只能是亏本。一、一般的商家举个例子,我来帮大家做个测算,其实“成本”不止是产品本身,而是产品整个销售过程中不可避免发生的费用,最基础的来说,“成本”一共包括6大项:1、产品成本(比如20元);2、包装成本(内包装,外包装,吊牌,售后卡,
2014-10-30 10:27:05
2632
转载 腾讯TDW千台Spark千亿节点对相似度计算
摘要:本文将介绍腾讯TDW使用千台规模的Spark集群来对千亿量级的节点对进行相似度计算这个案例,通过实验对比,我们优化后的性能是MapReduce的6倍以上,是GraphX的2倍以上。相似度计算在信息检索、数据挖掘等领域有着广泛的应用,是目前推荐引擎中的重要组成部分。随着互联网用户数目和内容的爆炸性增长,对大规模数据进行相似度计算的需求变得日益强烈。在传统的MapReduce框架下进
2014-10-30 09:51:25
668
转载 3分钟,9个Q&A让你快速知道Docker到底是什么
摘要:Google、Amazon、Microsoft、VMware都纷纷加入Docker和Container所掀起的新时代云端虚拟化行列,很多人还不知道Docker和Container到底是什么,下面的9个Q&A让你快速了解这一切。【编者按】不论是Google、Amazon、Microsoft、VMware都纷纷拥戴,加入Docker和Container所掀起的新时代云端虚拟化行列,这
2014-10-29 10:41:18
872
转载 浅析Facebook软件架构:Tao和BLOB的实现原理
摘要:用户数达10亿级别,Facebook每天需要存储多达4千亿的照片,面对如此庞大的数据,Facebook采用了 Tao和暖性BLOB存储系统。那么,这些存储架构是如何实现的?采用了哪些原理呢?且看本文解析。【编者按】Tao是一套针对读取进行优化的数据存储机制,并以单一地理分布实例的方式部署在Facebook当中。和Google的Megastore,Spanner地位等同,它底层持久
2014-10-29 10:37:43
1807
转载 Breakout detection in the wild
Nowadays, BigData is leveraged in every sphere of business: decision making for new products, gauging user engagement, making recommendations for products, health care, data center efficiency and more
2014-10-29 10:34:31
919
转载 Understanding RPO and RTO
Recovery Point Objective (RPO) and Recovery Time Objective (RTO) are oneof the most important parameters of a disaster recovery or data protectionplan. These objectives guide the enterprises to choose
2014-10-28 14:54:59
1474
转载 Kevin Slavin: How Algorithms Shape Our World
0:11This is a photograph by the artist Michael Najjar, and it's real, in the sense that he went there to Argentina to take the photo. But it's also a fiction. There's a lot of work that went into it
2014-10-28 10:41:56
1106
转载 图数据挖掘浅析
互联网发展至今,数据规模越来越大,数据结构越来越复杂,而且对系统的需求越来越高。如果学习过数据结构,那么都知道图是放在最后一个结构,当你学习了图,那么应该感知到前面的链表,队列,树都是在图上面加了一些约束而派生出来的结构。所以图是一个一般性的结构,可以适应于任何结构类型的数据。那么图数据挖掘是干什么的呢?难道是开着挖掘机来进行挖掘?还是扛着锄头?下面讲讲什么是图数据挖掘。 一、什么是图数
2014-10-28 10:24:14
1028
转载 关于未来网站访问速度及后台查询速度的优化建议
1、 数据库设计:数据库内所有表结构均添加索引调整原因:近日数据库压力很大,经查有些大数据量表的查询速度很慢,导致数据库服务器CPU一直持续90%-100%,将这些表添加索引后,CPU很快变正常。2、 将大数据表做分库、分区处理:具体操作如下:1)、将大数据表与主数据库分离,单独新建一个数据库,然后将这些表做分区;2)、将数据插入到消息队列内,后台利
2014-10-28 10:23:03
925
转载 凯文•斯拉文:算法塑造世界
The Making of a Fly,这是一本1992年出版的学术书籍,受研究者喜欢。2011年4月8日,一家书商对其的售价为170万美元,另一家书商标价220万美元。如果那时你买了他,说不定还捡到便宜了,因为此后书价一直在涨,4月18日涨到直到23,698,655.94美元。当然,这还不包括3.99美元的运输费!这本书研究苍蝇遗传学,晦涩难懂,但何以高达2370
2014-10-28 10:21:31
1006
转载 Eight big data myths that need busting
"When something becomes familiar, it starts to feelnormal," Beyer said during his talk at this year's Gartner Symposium/ITxpo."Our job, as IT pros, is to make big data normal by 2020."CIOs can hel
2014-10-28 10:08:25
441
转载 8 SQL-on-Hadoop frameworks worth checking out
The language of data is SQL, so naturally lots of tools have been developed to bring SQL to Hadoop. They range from simple wrappers on top of Map Reduce to full data warehouse implementations built on
2014-10-28 10:00:42
761
转载 对象存储的新认识
这里又单独说一下对象存储,主要借鉴百度百科,对对象存储有了一点认识首先,对象存储系统(Object-Based Storage System)是综合了NAS和SAN的优点,同时具有SAN的高速直接访问和NAS的数据共享等优势,提供了高可靠性、跨平台性以及安全的数据共享的存储体系结构。传统块存储与对象存储结构对比示意图:对象存储主要由对象(object),对象设,备(Obje
2014-10-27 09:45:00
478
转载 NUMA (non-uniform memory access) and vNUMA
NUMA (non-uniform memory access) is amethod of configuring a cluster of microprocessorina multiprocessing system so that they can share memory locally, improving performanceand the ability of the sy
2014-10-26 17:39:44
950
转载 数据挖掘-分词入门
谷歌4亿英镑收购人工智能公司DeepMind,百度目前正推进“百度大脑”项目,腾讯、阿里等各大巨头布局深度学习。随着社会化数据大量产生,硬件速度上升、成本降低,大数据技术的落地实现,让冷冰冰的数据具有智慧逐渐成为新的热点。要从数据中发现有用的信息就要用到数据挖掘技术,不过买来的数据挖掘书籍一打开全是大量的数学公式,而课本知识早已还给老师了,难以下手、非常头大!我们可以跳过数学公式,先看看我
2014-10-26 17:27:53
604
转载 What's the LDAP?
The LightweightDirectory AccessProtocol --commonly referred to simplyas LDAP -- is the mostwidely usednetwork protocol used to access adirectory ofusers,computers, groups, etc.LDAPis normallyused
2014-10-25 09:36:43
357
转载 许鹏:使用Spark+Cassandra打造高性能数据分析平台
摘要:Spark,强大的迭代计算框架,在内存数据计算上无可匹敌。Cassandra,优异的列式存储NoSQL,在写入操作上难逢敌手。自本期《问底》,许鹏将结合实际实践,带大家打造一个由Spark和Cassandra组成的大数据分析平台。【导读】笔者(许鹏)看Spark源码的时间不长,记笔记的初衷只是为了不至于日后遗忘。在源码阅读的过程中秉持着一种非常简单的思维模式,就是努力去寻找一条贯
2014-10-25 09:05:00
2247
转载 How New Types of DDoS Affect the Cloud
At a recent security meeting with a large healthcareorganization, I had the privilege of looking at the logs of a private cloudinfrastructure which I helped design. They showed me a couple of interest
2014-10-25 08:53:19
411
转载 12 things I hate about Hadoop
Hadoop is a wonderful creation, but it's evolving quickly and itcan exhibit flaws. Here are my dozen downers [ Also on InfoWorld: Harness the power of Hadoop -- find outhow in InfoWorld's Deep Dive
2014-10-25 08:47:07
471
转载 又好又快,免费学习编程的9个地方
Code.org是美国非营利组织在一些科技大佬的鼎立支持下正计划将高品质计算机科学课程带进学校。不过,不一定非要在大佬的支持下学习编码才有动力,还有什么比免费更有吸引力?下面就来梳理一下免费的编码培训机构。编程不再是超级极客的独家专利,即使你只是一个销售员、驾驶员或者是一个商人,都可以学着去编程,因为这是一项技能,就像英语也是一个交流技能一样,很有价值的,而且会编程的人看上去都很屌炸天哦!
2014-10-24 23:53:16
463
转载 VXLAN (Virtual Extensible LAN)
Virtual Extensible LAN (VXLAN) is a proposed encapsulation protocol for running an overlay network on existing Layer 3 infrastructure. An overlay network is a virtual network that is built on top of
2014-10-24 17:30:21
658
转载 Announcing Kylin: Extreme OLAP Engine for Big Data
We are very excited to announce that eBay has released to the open-source community our distributed analytics engine: Kylin (http://kylin.io). Designed to accelerate analytics on Hadoop and allow th
2014-10-24 10:29:27
1081
转载 【问底】徐汉彬:大规模网站架构的缓存机制和几何分形学
摘要:缓存机制简单总结可以说是空间换时间,被用于提升系统交互的效率。而有趣的是,这种缓存机制令人惊奇并且优美的遵循着“几何分形”的规律,也就是几何分形学中的“自相似性”。【导读】徐汉彬曾在阿里巴巴和腾讯从事4年多的技术研发工作,负责过日请求量过亿的Web系统升级与重构,目前在小满科技创业,从事SaaS服务技术建设。在过去的工作中,徐汉彬从事各类缓存建设和优化,遇到问题无数,从各
2014-10-24 09:56:55
605
转载 eBay open sources a big, fast SQL-on-Hadoop database
摘要:eBay已经开源了一种数据库技术—— Kylin,它利用了分布式处理和HBase数据存储技术,目的是让Hadoop的SQL查询返回更快的结果。【编者按】eBay开源了一种名为 Kylin 的数据库技术,eBay在周三的一篇博客上分享了Kylin 的诸多细节,基于 Hadoop 提供 SQL 接口和 OLAP 接口,支持 TB 到 PB 级别的数据量,Kylin旨在减少Hadoop
2014-10-24 09:54:54
691
转载 自学大数据:用以生产环境的Hadoop版本比较
一、背景介绍生产环境中,hadoop的版本选择是一个公司架构之时,很重要的一个考虑因素。这篇文章根据就谈谈现在主流的hadoop版本的比较。如果有不同意见,或者指正,希望大家能交流。Apache Hadoop:Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是
2014-10-24 09:53:16
680
转载 Dom0 and Driver Domain
Dom0, or domain zero to expand the abbreviation, is the initial domain started by the Xen hypervisor on boot. The Xen hypervisor is not usable without Domain-0 ("dom0").The dom0 is essentially t
2014-10-23 17:32:38
367
转载 SR-IOV 简介
SR-IOV 技术是一种基于硬件的虚拟化解决方案,可提高性能和可伸缩性。SR-IOV 标准允许在虚拟机之间高效共享 PCIe(Peripheral Component Interconnect Express,快速外设组件互连)设备,并且它是在硬件中实现的,可以获得能够与本机性能媲美的 I/O 性能。SR-IOV 规范定义了新的标准,根据该标准,创建的新设备可允许将虚拟机直接连接到 I/O 设
2014-10-23 16:47:07
3129
转载 SAN vs NAS - What Is the Difference?
Question: SAN vs NAS - What Is the Difference?Both Storage Area Networks (SANs) and Network Attached Storage (NAS)provide networked storage solutions.Answer:A NAS is a single s
2014-10-23 11:42:42
583
转载 BAT的互联网大数据应用有何不同?
互联网行业在大数据的积累和应用以百度、腾讯和阿里巴巴最为值得关注。百度、腾讯和阿里巴巴在大数据的应用上虽然有共同的地方,但由于各自的数据来源和商业模式的不同,其大数据应用也有不同的特色。本文将分析他们拥有的数据资产和应用,以方便大家了解大型互联网企业的大数据现状和未来策略。百度、阿里巴巴和腾讯的数据资产从数据类型看,腾讯数据最为全面,这与其互联网业务全面相关,其最为突出的是社交数据
2014-10-23 10:52:58
879
转载 优化无极限:盘古Master优化实践
摘要:盘古是阿里云飞天平台的分布式文件系统。在飞天5K项目中,集群规模快速扩张到5000个节点,规模的迅速扩张,对盘古的性能带来了不小的挑战。本文分享了为确保高性能,盘古Master的优化方案。盘古是一个分布式文件系统,在整个阿里巴巴云计算平台——“飞天”中,它是最早被开发出的服务,因此用中国古代神话中开天辟地的盘古为其命名,希冀能创建出一个全新的“云世界”。在“飞天”平台中,它是负责
2014-10-23 10:51:32
827
转载 如何进行安全架构规划
【数据安全】一直是大数据文摘想做的专题,诚邀此领域专家一起筹划。大数据文摘不仅能给读者带来价值,也愿意为有能力、愿分享的朋友提供交流平台,感兴趣此话题的朋友请给文摘后台留言,谢谢!版权方授权转载摘自:NUKE同学的手抄报(微信ID: NUKE404)转载需征求版权方同意这个专题如果要讲全,半天都讲不完,这里就简单讲一些核心的,还有介绍
2014-10-23 10:47:09
5956
转载 ODPS技术架构及应用实践
摘要:ODPS是分布式的海量数据处理平台,提供了丰富的数据处理功能和灵活的编程框架。本文从ODPS面临的挑战、技术架构、Hadoop迁移到ODPS、应用实践注意点等方面带领我们初步了解了ODPS的现状与前景。初识ODPSODPS是分布式的海量数据处理平台,提供了丰富的数据处理功能和灵活的编程框架,主要的功能组件有如下几个。Tunnel服务:数据进出ODPS的唯一通道
2014-10-23 10:45:42
1375
转载 I Like Tez, DevOps Edition (WIP)
I work on Tez, so it would be hard to not like Tez. There'sa reason for it too, whenever Tez does something I don't like, I can put myback into it and shove Tez towards that straight & narrow path.J
2014-10-21 17:48:10
541
转载 【Container讲师】道里云毛文波:网络虚拟化与SDN实现Docker连通
摘要:Docker中没有复杂的网络设置,实现最佳的网络架构必须要借助其它技术。道里云公司CEO毛文波将在2014 Container技术大会上做题为《为云服务连通Docker——用网络虚拟化与SDN技术实现高效率云资源集约》的分享。2014年10月18日,CSDN&《程序员》主办的2014 Container技术大会(Container Conference 2014)将在北京召开,国
2014-10-18 20:32:26
952
f4: Facebook’s Warm BLOB Storage System
2014-10-29
The Linux Command Line
2014-10-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人