xiyf2046的专栏

大数据技术稳步向前，好好学习！王家林的第一个中国梦：免费为全社会培养100万名优秀的大数据从业人员！您可以通过王家林老师的微信号18610086859发红包捐助大数据、互联网+、O2O、工业4.0、微营销、移动互联网等系列免费实战课程，目前已经发布的王家林免费视频全集如下：1，《大数据不眠夜：Spark内核天机解密（共140讲）》：         51CTO在线观

目录(?)[-]计算负整数的补码计算二进制有符号数的十进制数计算负整数的二进制补码表示为什么使用补码表示负整数计算机使用补码表示负整数！正整数就用源码来表示。那什么是补码呢？其实源码的补码就是源码的相反数，他们相加得0 。计算负整数的补码：规则就是源码各位取反，然后加1得到。例如：如果我们用8位来表示有符号整数的话，那么十进制1用二进制表示为：[

摘要：Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台。它立足于内存计算，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。Spark已正式申请加入Apache孵化器，从灵机一闪的实验室“电火花”成长为大数据技术平台中异军突起的新锐。本文主要讲述Spark的设计思想。Spark如其名，展现了大数据不常见的“电光石火”。具体特点概括为“

摘要：阿里巴巴是国内使用Hadoop最早的公司之一，已开启了Apache Hadoop 2.0时代。本文将详细介绍阿里巴巴如何充分利用YARN的新特性来构建和完善其多功能分布式集群——云梯YARN集群。阿里巴巴作为国内使用Hadoop最早的公司之一，已开启了Apache Hadoop 2.0时代。阿里巴巴的Hadoop集群，即云梯集群，分为存储与计算两个模块，计算模块既有MRv1，也有YARN

OpenStack的架构详解2012-05-16 09:59 多易网 多易网 字号：T | TOpenStack既是一个社区，也是一个项目和一个开源软件，它提供了一个部署云的操作平台或工具集。其宗旨在于，帮助组织运行为虚拟计算或存储服务的云，为公有云、私有云，也为大云、小云提供可扩展的、灵活的云计算。AD：2013云计算架构师峰会课程资料下载

在启动了name node但没有启动data node情况下，可以建立目录和文件，但是不能向文件中写入内容。

大数据是现在非常热门的一个话题，从工程或者技术的角度来看，大数据的核心是如何存储、分析、挖掘海量的数据解决实际的问题。那么对于一个工程师或者分析师来说，如何查询和分析TB/PB级别的数据是在大数据时代不可回避的问题。SQL on Hadoop就成为了一个重要的工具。为什么非要把SQL放到Hadoop上？ SQL易于使用；那为什么非得基于Hadoop呢？Hadoop架构具备很强的鲁棒性和可扩展性。本

核心思想：化繁为简、直指核心：将一个复杂问题化为几个简单问题；撇去外在繁复的概念或符号，直接进入内在本质。软件工程中该思维的体现：项目估算自底向上方法、程序设计中分层思想；敏捷方法的核心是：拥抱变化，大家一起办。cmmi的核心是：挡住变化，按规矩办。

一 oozie设置参数方式：1）客户端调用时，例如：  Properties conf = wc.createConfiguration();    conf.setProperty("user.name", "oozie");    conf.setProperty("dataflow.taskMangerURL", "http://172.16.11.253

摘要：从技术一线升职为基层技术管理人员，直至CTO或分管技术的总经理、副总裁，这可能是很多技术人员的梦想职业发展路线图。本文希望能够和刚刚走上技术管理岗位的同学们分享一些经验，使职业生涯的发展更加顺利和合理。技术团队的管理人员身负技术和管理的双重使命，有着与众不同的成长路线。绝大多数情况下，在成长路线的第一步，是“技而优则管”，亦即由于表现出了出众的技术交付能力，优秀的技术人员被提拔到

摘要：对任何企业来说，中层管理人员都是极为关键的，因为中层是执行力的来源。可以说，一家企业有没有希望，只要看一下中层是精明强干，还是松松垮垮就全明白了。其中有哪些必须了解和掌握的知识和道理呢？恭喜升职为中层技术管理人员！在不同的企业里，中层技术管理人员的具体职位名称有所不同。在微软、IBM这样的大型企业里，中层大致对应着部门经理或产品线负责人这样的职位。而在互联网企业如BAT，技术总监、高

摘要：Google CEO曾说：“信息技术发挥的潜力尚不足百分之一。” 无论是技术创业，还是被突然委任掌舵新公司成为技术和管理兼顾的一把手，高层技术管理职位对于很多人来说其实并不遥远。什么是高层管理人员？这是应该首先明确的问题。和技术团队的基层和中层管理人员不同，“高层技术管理人员”其实是个伪概念。我的意思是， 没有什么严格意义上的“高层技术管理人员”、“高层销售管理人员”等。高层管理

摘要：美国计算机协会对Sanjay Ghemawat进行了专访，Sanjay谈到了Google的文化和大数据的机会。Sanjay认为，挑战是一切创新的原动力，与团队成员紧密配合会产生更多创新，在实践中学习，让项目先简单快速的运行起来。【CSDN编译】美国计算机协会十月的人物栏目对Sanjay Ghemawat进行了 专访，他是Google系统架构组（包括MapReduce、 BigTa

摘要：优秀的软件是多部门齐心协力的产物，在软件开发项目里，一旦交流不当，误解是避免不了的。文章里从项目经理--开发者--测试者--客户之间的微妙而又重要的关系入手，和文档细节、交流工具的使用，分析了如何避免误解。本文作者Dmitriy Kharchenko是一家乌克兰软件开发公司Acceptic Ltd的CEO。该公司的核心运营项目包括创建复杂的客户端App，专注于为开发者团队提供

重构是一种对软件进行修改的行为，但它并不改变软件的功能特征，而是通过让软件程序更清晰，更简洁和更条理来改进软件的质量。代码重构之于软件，相当于结构修改之于散文。每次人们对如何对代码进行重构的讨论就像是讨论如果对一篇文学作品进行修订一样无休无止。所有人都知道应该根据项目的自身情况来对代码进行重构，而重构是无止境的。莫扎特从来不不对他的作品进行修订，特罗洛普对自己作品修订的恰到好处，大多数作家认为他们

Bob大叔和Simon Brown关于描述系统架构时基础架构（infrastructure）所起的作用展开了讨论。　　在之前标题为 《尖叫的架构（Screaming Architecture）》的文章中，Robert Martin（也就是Bob大叔）阐述了这样的观点：软件产品的架构应该让所有人都很容易了解产品所要达到的目的，并且系统的架构应该反应系统的用例而不是它使用的框架：架

这里的大型网站架构只包括高互动性高交互性的数据型大型网站，基于大家众所周知的原因，我们就不谈新闻类和一些依靠HTML静态化就可以实现的架构 了，我们以高负载高数据交换高数据流动性的网站为例，比如海内，开心网等类似的web2.0系列架构。我们这里不讨论是PHP还是JSP或者.NET环 境，我们从架构的方面去看问题，实现语言方面并不是问题，语言的优势在于实现而不是好坏，不论你选择任何语言，架构都是必须

有关架构师的基本素质，网上有很多声音，我总结了一下，让大家帮助参详，以便指出其中谬误。沟通能力和自我表达我认为沟通能力是基本中的基本，最为重要，最为普遍的素质。技术人员好像容易忽略，想成为架构师就不能忽略。因为架构师要做的第一件事就是与团队成员、项目经理、客户认同沟通，获得认同。我知道，这对于现在做技术，以后想转做架构的人也许很难．对本人也是如此。也许 你会注意到虽然你兢兢业业，老

有关架构师的基本素质，网上有很多声音，我总结了一下，让大家帮助参详，以便指出其中谬误。沟通能力和自我表达我认为沟通能力是基本中的基本，最为重要，最为普遍的素质。技术人员好像容易忽略，想成为架构师就不能忽略。因为架构师要做的第一件事就是与团队成员、项目经理、客户认同沟通，获得认同。我知道，这对于现在做技术，以后想转做架构的人也许很难．对本人也是如此。也许 你会注意到虽然你兢兢业业，老

摘要：SQL on Hadoop对于大数据而言非常重要。本文从技术架构和最新进展的角度分析了7种SQL on Hadoop产品的优缺点和适用范围：Hive、Tez/Stinger、Impala、Shark/Spark、Phoenix、 Hdapt/HadoopDB、Hawq/Greenplum。编者按：大数据最大的魅力在于通过技术分析和挖掘带来新的商业价值。SQL on Hadoop是

摘要：Fourinone是一个分布式并行计算框架，以轻量的方式提供了一个四合一的分布式框架功能以及简单易用的API，通过实现对多台计算机资源的统一利用，来获得强大的计算能力。本期我们采访了项目创始人彭渊。Fourinone（即Four-in-one，中文名字“四不像”）是一个分布式计算框架，提供了一个4合1的分布式框架功能（即整合了Hadoop、Zookeeper、MQ、分布式缓存的主

2013-07-24 10:11 李云 李云的BLOG 我要评论(0) 字号：T | T在近期的一次会议上，有高层谈到之前在中国觉得自己做得很牛，但与美国同行接触后却发现与人家存在很大的差距，这一点我在外企工作时也有过同样的体会。真正与外 国同行接触后才会知道什么是差距，在这篇文章中我从软件开发工程师的角度以“痛点”的形式来谈一谈我所认为的差距。AD：2013云计算

2013-06-25 10:47 佚名 OSCHINA 编译 我要评论(0) 字号：T | T每个人目前的工作情况，有些建议可能并不适合于每一个人，尤其是假如你工作在一家对“谁可以和客户谈话”这种事都作出严格定义的公司的话。所以如果你现在做不到全部这些，也不必烦恼。也要注意，有时，你需要的只是开口去问！AD：2013云计算架构师峰会精彩课程曝光

2013-10-17 09:19 佚名 开源中国 我要评论(0) 字号：T | T我的软件开发生涯开始于15年前。但是直到最近的5年，我才真正开始看到自己在软件开发领域的巨大进步。这里有一些感悟是我希望能够在我进入软件开发领域时所知道的事情，如果我早一些领悟到，相信会比现在更加成功，也更节省一些时间。AD：2013云计算架构师峰会精彩课程曝光

Stormpath公司首席技术官Les Hazlewood在JavaOne 2013大会上表示。为了顺应与会观众们的强烈呼声，Hazlewood于本周二重返JavaOne舞台、向大家介绍了如何利用JAX-RS与Jersey创建优秀的REST + JSON API。AD：2013云计算架构师峰会精彩课程曝光创建一套可通过Web进行访问的应用程序编程接口并不困难

http://dongxicheng.org/tag/mesos/

Apache Ambari Zettaset Orchestrator StackIQ Rocks+ Big Data Platform MapReduce Apache Mesos 给你推荐这五个，第一个比较好用，你可以试试。

摘要：据外媒报道，硅谷目前在一流工程人才上的争夺十分激烈。为吸引人才，很多公司拿出了丰厚的薪酬和福利：一个高级工程师的年薪16.5万美金起，不仅被大公司争抢，还被那些只有数百人的初创公司争夺。北京时间10月17日消息，据美国科技博客BusinessInsider报道，硅谷目前在一流工程人才上的争夺十分激烈。为了吸引人才，很多公司拿出了丰厚的薪酬和福利，加州圣何塞市招聘网Jo

根据官方发布的消息，OpenStack 2013.2（代号Havana）最终版已经发布，除了增加OpenStack Metering（Ceilometer）和OpenStack Orchestration（Heat）两个新组件外，还完成了400多个特性计划，修补了3000多补丁。具体技术细节可以参考各组件的版本发布说明：OpenStack Compute: https://la

第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。此题，在我之前的一篇文章算法里头有所提到，当时给出的方案是：IP的数目还是有限的，最多2^32个，所以可以考虑使用hash将ip直接存入内存，然后进行统计。再详细介绍下此方案：首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32

摘要：软件编程的思想最重要是算法，而算法是建立在数学思维上的，其实说白了，程序只是一件衣服，算法才是它的灵魂，算法就来自于数学，没有深厚的数学思维功底，是弄不懂算法的。那么先来看看电影里数学的神奇力量。至于为什么要写一篇看似和软件编程毫无关系的文章，我想真正懂得电影的人一定能从文章里看出电影-数学-编程之间巧妙地关联。软件离不开数学，先从电影里看看数学的神奇力量。软件编程的思想

摘要：对于刚刚从技术岗位走出来的许多CTO来说，往往会遇到一些决策方向的难题。Forbes记者Dan Woods走访了ideeli创始人、CTO Mark Uhrmacher，他提供了一些建议并指出CTO虽然主要关注技术但也不能与公司业务发展脱节。本文为《CTO如何避免决策失控》系列文章的第四部分，在第一部分CTO如何避免决策失控（一）：明确工作职责和成功标准一文中已经详细谈到CTO的

摘要：自YARN及Mesos等技术出现，Hadoop同集群上运行不同技术也成为了可能。然而，开源到商用之间存在的鸿沟不可谓不大。近日，基于广泛用户的需求，Hortonworks已决定将Storm整合到自己的Hadoop企业版中。在YARN发布后，Hadoop拥有了同集群运行不同技术的可能，类似的技术还有加州大学伯克利分校建立的Mesos。然而将开源技术商用却并不是件简单的事情，据Gig

摘要：自YARN及Mesos等技术出现，Hadoop同集群上运行不同技术也成为了可能。然而，开源到商用之间存在的鸿沟不可谓不大。近日，基于广泛用户的需求，Hortonworks已决定将Storm整合到自己的Hadoop企业版中。在YARN发布后，Hadoop拥有了同集群运行不同技术的可能，类似的技术还有加州大学伯克利分校建立的Mesos。然而将开源技术商用却并不是件简单的事情，据Gig

摘要：自YARN及Mesos等技术出现，Hadoop同集群上运行不同技术也成为了可能。然而，开源到商用之间存在的鸿沟不可谓不大。近日，基于广泛用户的需求，Hortonworks已决定将Storm整合到自己的Hadoop企业版中。在YARN发布后，Hadoop拥有了同集群运行不同技术的可能，类似的技术还有加州大学伯克利分校建立的Mesos。然而将开源技术商用却并不是件简单的事情，据Gig

正如标题所示，Benjamin Carlyle试图在《Best Practices For HTTP API Evolvability》一文中为围绕HTTP API构建的系统的设计定义原则和实践，这些系统是可扩展的，并且能一直进化下去。他先指出了REST（一种架构风格）和HTTP API（通过HTTP暴露的编程接口）之间的区别。HTTP API是针对一个特定服务的面向开发者的接口，也被称为

本文是“深入探索REST”专栏系列深度内容中的第二篇，它将带您领略REST架构的起源、与Web的关系、REST架构的本质及特性，以及REST架构与其他架构风格之间的比较。引子在移动互联网、云计算迅猛发展的今天，作为一名Web开发者，如果您还没听说过“REST”这个buzzword，显然已经落伍了。夸张点说，甚至“出了门都不好意思跟别人打招呼”。尽管如此，对于REST这个泊来品的理解，大多数

REST架构风格最初由Roy T. Fielding（HTTP/1.1协议专家组负责人）在其2000年的博士学位论文中提出。HTTP就是该架构风格的一个典型应用。从其诞生之日开始，它就因其可扩展性和简单性受到越来越多的架构师和开发者们的青睐。它必将得到更大的发展。一方面，随着云计算和移动计算的兴起，许多企业愿意在互联网上共享自己的数据、功能；另一方面，在企业中，RESTful API（也称RE

几年前，Ganesh Prasad问道，Internet比REST更基本吗？这些年，他不断围绕REST SOA、以及更时新的云计算提出相关讨论，并且钟情于REST的指导原则。然而，最近有人在LinkedIn REST架构师讨论组中的一片帖子中问道，“REST的缺点是什么？”Ganesh对此做了回复，然后又在其个人博客中重申了自己的观点：我不能说REST有“缺点”。它说到的都做到了，而且做得

1. 概述Roy Fielding博士（见个人主页）是IETF发布的HTTP和URI协议的主要设计者。HTTP和URI是两个最为重要的Web基础技术架构协议，因此Fielding博士可谓是Web架构的奠基者之一。除了学术上的卓越成就之外，Fielding博士还参与过很多开源软件的设计和开发工作。他是libwww-perl（世界上最早的HTTP开发库之一）的开发者，曾经负责Apache HT

WildFly，前身是JBoss AS，从V8开始为区别于JBoss EAP，更名为WildFly。HornetQ是JBoss开发的一个独立的消息中间件，被整合进WildFly作为消息子系统。HornetQ完全支持JMS，HornetQ不但支持JMS1.1 API同时也定义属于自己的消息API(如下图中的Core Client)，以最大限度地提升HornetQ的性能和灵活性。图 1 客户程

发表时间：2008/8/8 佚名 来源：中国商业智能网关键字：数据仓库 数据集市 博弈信息化调查找茬投稿收藏评论好文推荐打印社区分享BI领域始终存在着建设数据仓库还是建设数据集市、自上而下还是自下而上的争论，而在实际建设中，自然不会有人完全按照某种理念去做，比如在电信公司的数据集市建设中，地市公司的特殊情况与总部规范之间的博弈就成了一大难题    BI领域始终存

发表时间：2008/8/11 来源：中国商业智能网关键字：数据仓库 开方 思路信息化调查找茬投稿收藏评论好文推荐打印社区分享在处理一个数据仓库项目时需要注意的问题很多，但同时也有很多有建设性的参考可以帮助你更顺利的完成任务。开放思维，不断尝试新的途径，对于找到一种可行的数据仓库实现方法来说也是必需的。    高效实现数据仓库的七个步骤     数据仓库和我们

8次分享新浪微博腾讯微博TweetQQ空间作为程序员，关注最新前沿技术，学习新的语言，这当然是好事。我看到有人每年都要学习一两种新的语言。但是，我认为，如果为了学习而学习新语言或因为流行而学习这种语言，这是一种时间和精力上的浪费。就比如，现在人人都在谈论函数式编程，那你就要去学习Haskell语言吗？

8次分享新浪微博腾讯微博TweetQQ空间作为程序员，关注最新前沿技术，学习新的语言，这当然是好事。我看到有人每年都要学习一两种新的语言。但是，我认为，如果为了学习而学习新语言或因为流行而学习这种语言，这是一种时间和精力上的浪费。就比如，现在人人都在谈论函数式编程，那你就要去学习Haskell语言吗？

我认识很多人都声称在做敏捷开发，说自己是在钻研软件开发，等等。不幸的是，以我的经验，很显然，很多人口中是这么说，但未必真正的就这么做了。形式主义，走过场，而不是真正的理解所做的事，这些都是毫无意义的行为。想把一件事情做好，唯一的途径就是不断反省，明白自己所做的事情，明白自己这样的做法能达到什么效果。举一些例子：你的团队里的成员知道每日站会的原因吗？站会中与会人员互相传达什么

自从编程界的领袖们发表旨在通过接受需求变更，加强同用户合作，缩短软件提交周期来改善软件开发过程的敏捷软件开发宣言至今已近10年之久了。敏捷宣言制定2001年2月，当时一群软件开发者聚集在犹他州，他们希望能找到一种可以替代那些由文档驱动的、“重型”的软件开发模式(如当时的被当作金牌标准的瀑布模型方法)的新方法。尽管早在犹他州会议之前，敏捷开发方法就已经出现，但这次会议却被当作这种方法

18次分享新浪微博腾讯微博TweetQQ空间导读：本文中所说的RavenDB是一种面向文档型的数据库，主要是存储半结构化的信息数据。面向文档型的数据库是NoSQL数据库的主要类型之一，而RavenDB是面向文档型的数据库的典型代表。在编程开发中另一个常见的现象是对如何才能做的更多的认识。人们往往

摘要：IBM一直屹立在科技领域，新CEO接手之后，她将如何确保IBM不会落后于趋势，近日她在某峰会上分享了她的方法：1.做自己的研究。2.与世界各地的大学建立联系。3.问客户。4.与风险投资社区建立关系。5.在企业内部社交。IBM CEO Ginny Rometty伟大的高科技公司IBM在世界上屹立了这么长时间，现任CEO Ginny Rometty接手IBM之后，

摘要：对任何企业来说，中层管理人员都是极为关键的，因为中层是执行力的来源。可以说，一家企业有没有希望，只要看一下中层是精明强干，还是松松垮垮就全明白了。其中有哪些必须了解和掌握的知识和道理呢？恭喜升职为中层技术管理人员！在不同的企业里，中层技术管理人员的具体职位名称有所不同。在微软、IBM这样的大型企业里，中层大致对应着部门经理或产品线负责人这样的职位。而在互联网企业如BAT，技术总监、高

摘要：从技术一线升职为基层技术管理人员，直至CTO或分管技术的总经理、副总裁，这可能是很多技术人员的梦想职业发展路线图。本文希望能够和刚刚走上技术管理岗位的同学们分享一些经验，使职业生涯的发展更加顺利和合理。技术团队的管理人员身负技术和管理的双重使命，有着与众不同的成长路线。绝大多数情况下，在成长路线的第一步，是“技而优则管”，亦即由于表现出了出众的技术交付能力，优秀的技术人员被提拔到

在组织如何处理数据方面，Apache Hadoop展开了一场史无前例的革命——通过自由可扩展的Hadoop，可以在比以往更短的时间内，通过新应用创造新价值，并从大数据中提取想要的数据。这次革命企图使企业建立以Hadoop为中心的数据处理模式，但是同时也提出一个挑战：我们如何在Hadoop的自由下进行协作呢？我们如何对任意格式的数据进行存储和处理，并按照用户的希望来共享这些数据呢？此外，我们还需考虑

nPath这类函数生成的结果类似一个SQL子查询的结果，比如是一个关系表。因此它们可以用在SQL中的FROM子句中，用来跟其他表进行连接，并利用WHERE子句进行你个过滤，用GROUP BY子句进行分组等等。SQL-MapReduce查询可以通过第三方工具进行输入并展示结果，比如Tableau，它支持自定义SQL的建立。SQL-MapReduce函数是自描述的，也支持延迟绑定，这意味着可在不知

MapReduce and the Data Scientist翻译【说在前面的话】：这篇文章是由BI Research的Colin White所著，我觉得是对MapReduce的介绍比较好的文章，所以翻译出来帮助学习，如果有碍版权，当即使删除，仅供个人学习使用。【正文】大数据和分析大数据是一项重大的新闻。分析大数据的技术演进得非常快速，一些新的分析方法引起了众多的关注，例如Hadoo

Gartner:如何选择正确的Hadoop版本这份报告的全名是《How to Choose the Right Apache Hadoop Distribution》。主要介绍了企业如何引入Hadoop，其中一些内容很好，值得一看。在文中Gartner分析了Hadoop的由来，并且指出，目前开源项目的方式为使用Apache Hadoop带来了挑战，因为其中的内容都是很多厂家贡献出来的，成熟

连接 JDBC在本系列以前的文章中，通过使用 ij 工具连接 Apache Derby 数据库并与之进行交互，从而演示了许多数据库概念。可以让 Java 应用程序使用 JDBC 应用程序编程接口（API）连接嵌入式 Apache Derby 数据库并与之进行交互。在接下来的几篇文章中，您将学习如何通过编写自己的 Java 应用程序来重现 ij 工具的基本功能。本文主要关注建立数据库连接

摘要：数据来源及呈现的多样化，数据体积的自增，导致各个企业及机构不得不重视自己的应用程序架构，做出相应的改变或补充。虽然各个架构有着各自的优越性，但是错误的抉择也必将付出高昂的代价。自2007年Apple发布了iPhone，网络应用及网站在小屏幕上的呈现机会显著的增高，从而各大网站及机构不得不对其应用进行适当的改变。然而考虑到数据体积、应用程序扩展性、新特性的发布及维护等问题，应用程序

oozie 扩展与配置相关博客分类： oozie 折腾了好久好久好久的oozie， 现在暂时算是能够用起来了。 主要讲两点吧： 一，部署相关 二，运行相关 ----------------------------- 一，部署相关 oozie用的版本是oozie-3.1.3-incubating，不知道为什么，从3.0起，oozie

最近要交个作业，翻译了篇Scott W. Ambler的论文，贴出来给大家拍拍砖附上原文------------------------------------------------------------------------------------ 关系数据库测试驱动开发在测试先行开发（ TFD ）中，开发人员通过迭代的方式对系统进行详细设计和实现，并对其进行测试。

[原文: Introduction to Test Driven Development (TDD)][中文名:测试驱动开发介绍(TDD)][出处: http://www.agiledata.org/essays/tdd.html][作者: Scott W. Ambler][翻译:极地银狐.NET] 测试驱动开发是一种先开发测试的先进技术，即你在编写足够的产品代码用于测试和

http://www.oschina.net/p/azkaban

前面介绍的都是传递简单的字符串，现在开始介绍传递复杂类型的对象。如JavaBean、Array、List、Map等。 1、 首先看看服务器端的代码所需要的JavaBean对象 package com.hoo.entity; import java.io.Serializable; /** * function:User Entity * @author ho

如果计算机系只开三门课，那么这三门课就一定是：离散数学，数据结构与算法，编译原理。如果只开一门课，那剩下的就一定是：数据结构与算法。Niklaus Wirth说：算法＋数据结构＝程序，不说废话了，下面列出一份数据结构算法书目，先从最著名的说起A原书名：The Art of Computer Programming中文名：计算机程序设计艺术作者：Donald E.Knuth

数据结构存储integerini算法stringimport java.util.ArrayList;    import java.util.List;         // 模块E    public class AdjMatrixGraph {    protected SeqList vertexlist; // 顺序表存储图的顶点集

图的算法续上一篇 5 最短距离    在许多应用领域，带权图都被用来描述某个网络，比如通信网络、交通网络。这种情况下，各边的权重就对应于两点之间通信的成本或交通费用。此时，一类典型的问题就是：在任意指定的两点之间如果存在通路，那么最小的消费是多少。这类问题实际上就是带权图中两点之间最短路径的问题。    对于求解最短路径问题：A)有时应当是有向图：如同一信道两个方向的信息流量不

图的算法1 图的遍历    图的遍历就是从图中某个顶点出发，按某种方法对图中所有顶点访问且仅访问一次。  遍历算法是求解图的连通性问题、拓扑排序和求关键路径等算法的基础。2 深度优先遍历    从图中某个顶点V 出发，访问此顶点，然后依次从V的各个未被访问的邻接点出发  深度优先搜索遍历图，直至图中所有和V有路径相通的顶点都被访问到。 若此时图中  善有顶点未被

图--双链式存储结构 顶点 和 边 的定义1、Vertex.java2、Edge.java3、AbstractGraph.java1、public class Vertex {  private Object info;//顶点信息  private LinkedList adjacentEdges;//顶点的邻接边表  private Link

图的接口定义 Graphpublic class UnsupportedOperation extends RuntimeException { public UnsupportedOperation(String err) {  super(err); } } public interface Graph { public static final i

图一、概念。图： 是一种复杂的非线性数据结构。图的二元组定义：  图 G 由两个集合 V 和 E 组成，记为：  G=(V, E)  其中： V 是顶点的有穷非空集合,  E 是 V 中顶点偶对(称为边)的有穷集。  通常，也将图 G 的顶点集和边集分别记为 V(G) 和 E(G) 。 E(G) 可以是空集。若 E(G) 为空，则图 G 只有顶点而没有边。

图中代权的最小树的问题如下:如果N个城市之间（图中的顶点）要修公路（图中的边）以使所有的城市联通，求怎样修可以使得公路的总长最小?以上问题中的N个城市之间可以用图中的顶点表示，公路可以图中的边表示，公路的长度用边长表示，公路是双向的。问题就转换为在有N个顶点中的双向代权图中求得一个最小树。这里的代权指的边的长度，这与以前的不代权的最小树生成算法有很大的区别。算法描述如下

与传递闭包问题 非常相似的一个问题是，能不能给出一个矩阵，根据矩阵可以以时间代价O(n)的方式得到在一个有向代权图中任意指定端点之间的最短距离。求的这个矩阵的问题被称为每一对端点间的最小距离问题。这里采用的是Floyd算法，它与WalShall 算法非常相似：如果A可以到达B，距离为x，且C可以到达A，距离为y，则求得C可以到达B，距离为 z = x + y，z小于如果c到B的原来

图的传递闭包是指修正后的邻接矩阵表示的图。(见Graph 图－邻接矩阵法 )在多个顶点的有向图中，每个顶点可以到按照方向到达一定的节点，这叫图的连通性。有种方法直接告诉我们，图中的两个节点是否可以联通，这里说的是WarShall算法。WarShall的基本原理是，如果A可以到达B，且C可以到达A，则C可以到达B。通过对邻接矩阵的修正可以做到这点。随然这里举例是将两步可并成一步，但数

当每个任务有前后置关系时，需要找到一种满足前后置关系的路线，将任务完成。如果将每个任务看成一个节点，任务之间的前后置关系表示为有向图时，这种路线顺序叫做为图进行拓扑排序。也叫关键路径分析。这里的图用邻接矩阵法表示，算法的关键是：1 找到一个没有后继的顶点2 在图中删除它，放入结果数组中3 重复 步骤 1 ，步骤 2 直到图中没有多余的节点。如果图中出

如果一个图中所有点都是联通的，求最小树可以将图遍历完成，这里的最小是指边最少，跟边长没有关系。算法利用深度优先遍历，记载每个遍历过的节点，将节点按照遍历顺序记录下来就是所谓的最小树。关于深度优先遍历请参见深度优先遍历。不过这里奇怪的是：假如所有节点之间是双向联通的，只用生成一个数组，装入所有的节点，例如{'a','b','c','d','d'}然后每两个点之

这里使用的是Dijkstra来计算最短路径。事实上Dijkstra完成时，指定节点到所有节点的最小路径均已求出。算法简述如下：准备好两个辅助性数据结构：1 ParentLength ： 用来记录到当前节点之前的父节点，与到当前节点的最小路径2 Path： 记录指定节点到所有节点的ParentLength。初始化时，所有的ParentLength的父节点都为指定的起始

// topo.java// demonstrates topological sorting// to run this program: C>java TopoApp////////////////////////////////////////////////////////////////// 思想：1.找有向图中无后继的节点             2.删除该

通常我们用有向图表示一个工程。在这种有向图中，用顶点表示活动，用有向边 表示活动Vi必须先于活动Vj进行。如果在无有向环的带权有向图中用有向边表示一个工程中的各项活动 （ACTIVITY），用有向边上的权值表示活动的持续时间（DURATION），用顶点表示事件（EVENT），则这种的有向图叫做用边表示活动的网 络，简称AOE（active on edges）网络。   AOE网络在

一个图包括两部分信息：顶点的信息以及描述顶点之间关系的信息。图的邻接矩阵存储也称数组表示法，其方法是用一个一维数组存储图中顶点的信息，用一个二维数组存储图中边的信息，存储顶点之间邻接关系的二维数组称为邻接矩阵。用邻接矩阵存储图1. 确定图的顶点个数和边的个数2. 输入顶点信息存储在一维数组 vertex 中3. 初始化邻接

Stack类：Java代码  package com.javaeye.rsrt;    /**  * 栈，遵循先进后出的原则，用来保存元素  *   * @author nishiting  *   */  public class Stack {        private int[] st;      private i

http://www.csdn.net/article/2012-08-20/2808871 Apache推出Google Dremel的开源版本Drillhttp://www.csdn.net/article/2012-12-18/2812993-the_next_for_Cloudera_ImpalaCloudera透露Impala发行版新功能及开源计划

http://incubator.apache.org/drill/index.htmlincubator：孵化器

架构模式的选择数据仓库的架构主要有星型和雪花型两种方式，下面从多个角度来比较一下这两种模式的利弊。从查询性能角度来看，在OLTP-DW环节，由于雪花型要做多个表联接，性能会低于星型架构；但从DW-OLAP环节，由于雪花型架构更有利于度量值的聚合，因此性能要高于星型架构。从模型复杂度来看，星型架构更简单。从层次概念来看，雪花型架构更加贴近OLTP系统的结构，比较符合业

首先简单的说一下我对数据、模型、数据模型、数据模型要素以及数据模型的分类的理解。数据：是符号。例如 张三。模型：现实世界事与物特征的抽象与模拟。如飞机模型、空气动力模型。数据模型：通过对现实世界的事与物主要特征的分析、抽象，为信息系统的实施提供数据存取的数据结构以及相应的约束。 数据模型的要素有操作、数据结构以及约束。通常情况下我们在数据模型设计的时候考虑最多的是数据结构而忽视了其他两

一、概述在多维分析的商业智能解决方案中，根据事实表和维度表的关系，又可将常见的模型分为星型模型和雪花型模型。在设计逻辑型数据的模型的时候，就应考虑数据是按照星型模型还是雪花型模型进行组织。当所有维表都直接连接到“ 事实表”上时，整个图解就像星星一样，故将该模型称为星型模型，如图 1 。星型架构是一种非正规化的结构，多维数据集的每一个维度都直接与事实表相连接，不存在渐变维度，

1.   概述本文作为我这些年实施数据仓库的总结，如有错误，请各位同仁指正。文档条理不是很清楚，而且也有很多口水话，我不想搞成一个真正的官方文档，所以很随意，符合我的性格。很多问题我只是提出来了，解决方案没有想好，也不知道怎么落到文字，就先提出来备注吧。文档原本想讨论的元数据管理、数据质量和监控工具的内容，由于时间关系，没有添加，以后有空补上吧。1.1.阅读方法

周三保(zhousb@cn.ibm.com) IBM 软件部信息技术专家.简介： 本文的主要内容不是介绍现有的比较流行的主要行业的一些数据模型，而是将笔者在数据仓库建设项目中的一些经验，在这里分享给大家。希望帮助大家在数据仓库项目建设中总结出一套能够合乎目前业界规范的，满足大部分行业数据仓库建设标准的一种方法。所谓水无定势，兵无常法。不同的行业，有不同行业的特点，因此，从业务角度看

摘要：在开发项目里，如何和一群程序员顺利、成功的完成任务，有的人说众口难调，程序需要不断的修改，编程语言需要一致性等等。根据部分吐槽人的经历，本文收集了一些有经验的前辈所说的良言解决你在开发项目里的头疼事。在开发项目里，如何和一群程序员顺利、成功的完成任务，有的人说众口难调，程序需要不断的修改，编程语言需要一致性等等。根据部分吐槽人的经历，本文收集了一些有经验的前辈所说的可以让你茅塞顿

监测器(profiler)：监测器的目的是什么？监测器主要是为了检测程序主要哪些地方耗费资源，可能包括cpu资源，内存资源等。利用监测器可以分析出方法的耗时，程序所占内存资源。根据监测器分析出的信息，可以进行有针对性的优化。现有的监测方式1.  最简单的方式 System.out.println() 这种方式应该开放最常用最简单的跟踪程序运行情况的方式了。 有一个方

1 功能：将多个Map/Reduce job或pig job组成一个整体，完成一个更大的任务。2 oozie是一个java应用程序，需要一个servlet-container运行载体。3 需要一个数据库支持，数据库保存流程定义和流程实例数据（流程状态、流程变量）。4 流程模型的数据结构为有向无环图。5 流程定义标准为hdpl。6 hdpl

Apache Oozie 工作流调度器 for Hadoop概述Oozie是管理Hadoop作业（job)的工作流调度系统。Oozie工作流作业是活动的有向无环图。Oozie协调器作业是重复性的Oozie工作流作业，作业由时间（频率）和数据可用性触发。Oozie能结合hadoop技术栈中其它项目，支持多种类型的即用型hadoop作业(例如

发表于2013-09-22 15:35| 3435次阅读| 来源GigaOM| 5 条评论| 作者Derrick HarrisSamzaStormYARNLinkedInHadoop摘要：Samza，是一个分布式流处理框架，专用于实时数据的处理，非常像Twitter的流处理系统Storm，近日LinkedIn开源了这项技术。本文介绍了搭配使用Kafka和YARN的一些特点和

2013年07月08日09:21 来源：developerWorks 中国 作者：Steve Markey 编辑：王玉圆 我要评论(0)标签： Hadoop ,OpenStack , 大数据        【IT168 技术】随着企业开始同时利用云计算和大数据技术，现在应当考虑如何将这些工具结合使用。在这种情况下，企业将实现最佳的分析处理能力，同时利用私有云的快速弹

标签： 开源 ,开源工具 , NoSQL , 大数据 , IT头条　　【IT168 评论】MapReduce的出现是为了突破数据库的局限。Giraph、Hama以及Impala等工具的出现则是为了突破MapReduce的局限。虽然上述方案的运行都需要以Hadoop为基础，但图形、文档、列式以及其它NoSQL数据库也是大数据当中不可或缺的组成部分。　　

摘要：NetworkWorld的开源专家Alan Shimel总结了在2012年全球十个最为成功的开源项目，从而不难看出IT业界在2013年的新趋势。作者：来源： linuxpilot.com | 2013年01月16日关键字：开源 Hadoop OpenStack2012年过去了，各开源项目的表现如何？NetworkWorld的开源专家Alan

hadoop中有一个叫做distcp（分布式复制）的有用程序，能从hadoop的文件系统并行复制大量数据。distcp一般用于在两个HDFS集群中传输数据。如果集群在hadoop的同一版本上运行，就适合使用hdfs方案：   % hadoop distcp hdfs://namenode1/foo hdfs://namenode2/bar 这将从第一个集群中复制/foo目录（和

Chef基础Chef基础Table of Contents1 Chef是什么1.1 Chef简介1.2 Chef和Puppet比较1.3 Chef结构1.4 Chef的三种管理模式2 Chef能做什么3 Chef是怎么做的3.1 Resource和Provider3.2 Recipe3.3 Node和Role3.4 Cookbook3.5 D

Sonar简介Sonar是一个用于代码质量管理的开源平台，用于管理源代码的质量，可以从七个维度检测代码质量通过插件形式，可以支持包括java,C#,C/C++,PL/SQL,Cobol,JavaScrip,Groovy等等二十几种编程语言的代码质量管理与检测sonarQube能带来什么？Developers' Seven Deadly Sins1.糟糕的复杂度分

将去年年底翻译的书拿出来与大家分享，水平有限，欢迎大家批评指导~  转载请注明出处：http://blog.csdn.net/lonelytrooper/article/details/9959901第一章 基础Storm是一套分布式的、可靠的，可容错的用于处理流式数据的系统。处理工作会被委派给不同类型的组件，每个组件负责一项简单的、特定的处理任务。Storm集群的

http://nathanmarz.com/