foreversunyao-CSDN博客

原创 OCP认证考试指南全册10g

常用命令：1，lsnrctl status;emctl status dbconsole 打开Database Listener和Database Control2，connect / as sysdba ;startup nomount;alter dababase mount;alter database open;shutdown immediate; connect sys/ora...

2012-01-06 18:49:27 320

原创 Happy New Year! Best Papers!!!

http://jeffhuang.com/best_paper_awards.html

2012-01-01 21:26:56 200

http://www.bookyards.com/ http://ebookslab.info/ http://www.ebookshare.net/ http://www.onlinecomputerbooks.com/ http://www.ebook3000.com/ http://www.zillr.org/ http://www.freebookspot.me/ http://www.y...

2011-11-07 00:37:16 239

原创 Spark: Cluster Computing with Working Sets

http://www.mesosproject.org/papers/hotcloud_spark.pdf

2011-10-20 11:34:02 473

原创 java中set/map/list/vector 的总结--转载

转载http://blog.csdn.net/jierui001/article/details/38606811.Collection List Set Map 区别记忆这些都代表了Java中的集合，这里主要从其元素是否有序，是否可重复来进行区别记忆，以便恰当地使用，当然还存在同步方面的差异，见上一篇相关文章。有序否...

2011-10-20 11:24:33 106

原创 hadoop shuffle机制中针对中间数据的排序过程详解（源代码级）---转载

转载--http://blog.csdn.net/riverm/article/details/6883606 在所有公开资料中，很少有对Hadoop 中间数据的sort过程进行详细介绍的。如果想要深入了解hadoop对中间数据的排序机制，只有通过阅读源代码才能达到。而hadoop的这段代码本身具有非常大的迷惑性，如果不注意细节，很容易会发生错误的理解。本篇文章从原理上详细介绍了ha...

2011-10-20 09:18:55 163

原创 ConcurrentModificationException

ConcurrentModificationException主要原因及处理方法2007年04月18日星期三 12:57当使用 fail-fast iterator 对 Collection 或 Map 进行迭代操作过程中尝试直接修改 Collection / Map 的内容时，即使是在单线程下运行， java.util.ConcurrentModificationException 异常也...

2011-09-26 12:03:08 85

原创 Axis2常见错误

An access occurred that is not valid(Axis2)[ERROR] An access occurred that is not valid.java.lang.UnsupportedOperationException: An access occurred that is not valid.这是因为调用的webservice方法没有返回值（voi...

2011-09-25 22:22:10 334

原创传值与传地址的区别---转载

2008-11-16 10:39传值，是把实参的值赋值给行参那么对行参的修改，不会影响实参的值传地址是传值的一种特殊方式，只是他传递的是地址，不是普通的如int 那么传地址以后，实参和行参都指向同一个对象传引用真正的以地址的方式传递参数传递以后，行参和实参都是同一个对象，只是他们名字不同而已对行参的修改将影响实参的值-----------------------...

2011-09-12 16:46:32 175

原创转载-- 一致性hash算法 - consistent hashing

一致性 hash 算法（ consistent hashing ）张亮consistent hashing 算法早在 1997 年就在论文 Consistent hashing and random trees 中被提出，目前在 cache 系统中应用越来越广泛；1 基本场景比如你有 N 个 cache 服务器（后面简称 cache ），那么如何将一个对象 objec...

2011-09-12 16:08:28 106

原创散列表

散列表设所有可能出现的关键字集合记为U(简称全集)。实际发生(即实际存储)的关键字集合记为K（|K|比|U|小得多）。散列方法是使用函数h将U映射到表T[0..m-1]的下标上（m=O(|U|)）。这样以U中关键字为自变量，以h为函数的运算结果就是相应结点的存储地址。从而达到在O(1)时间内就可完成查找。其中： ① h：U→{0，1，2，…，...

2011-09-12 16:07:07 105

原创 The Byzantine Generals Problem

转载：http://blog.csdn.net/yethyeth/article/details/575701拜占廷将军问题就是要让爱国的将军达成一致，而不是找叛国的将军。 1。叛徒数大于或等于1/3，拜占庭问题不可解 2.用口头信息，叛徒数少于1/3,拜占庭问题可解.口头信息三条件传送正确接收者知道是谁发的沉默(不发信息)...

2011-09-01 21:33:36 269

原创 Java Annotation

注解为我们在代码中提供添加信息提供一种形式化的方法，使我们可以在稍后某个时刻非常方便地使用这些数据。注解在一定程度上是吧元数据和源代码文件结合一起，而不是保存在外部文件中。 @Target 用来定义你的注解将应用于什么地方；@Rectetion用来定义该注解的哪一个级别可用，在源代码中，类文件或者运行时元注解专职负责注解其他的注解：@Target,@Retention,@Docu...

2011-08-29 22:02:58 103

原创 C编译运行过程（转载）

转载http://mcuos.com/thread-3793-1-1.html C语言的编译链接过程要把我们编写的一个c程序（源代码）转换成可以在硬件上运行的程序（可执行代码），需要进行编译和链接。编译就是把文本形式源代码翻译为机器语言形式的目标文件的过程。链接是把目标文件、操作系统的启动代码和用到的库文件进行组织形成最终生成可执行代码的过程。过程图解如下：从图上...

2011-08-28 22:11:52 109

原创 BASE:An Acid Alternative

今天学习了一篇讲述BASE模型的论文，该论文是ebay在2008年ACM上发表的。主要是讲述最终一致性问题，也就是BASE(基本上可用、软(弱)状态、最终一致性)。其中有些很漂亮的观点：1，如果通过分布式数据库（2-pc）来实现ACID，将会因为执行操作的的组件的不可用，导致更大的不可用，比如说数据库的可用性为99%,两个的不可用性就会有1-99%*99%2，切分长事务，通过消息队列实现异...

2011-08-28 00:16:58 195

原创主要的数据预处理技术--转载

转载http://www.chinabi.net/blog/user1/105/465.html主要的数据预处理技术：一、数据清理通过填写空缺值，平滑噪声数据，识别删除孤立点，并解决不一致来清理数据，主要是达到如下目标：格式标准化异常数据清除错误纠正重复数据的清除(1)数据集压缩处理，主要策略:数据聚集维规约数据压缩数据规约(2)空缺值处理，主要策略：忽略元组人工填写空缺值使...

2011-08-25 23:09:27 377

原创 java concurrent package 研究

AtomicInteger: compareAndSet(int expect, int update) 如果当前值 == 预期值，则以原子方式将该值设置为给定的更新值。 void lazySet(int newValue)锁提供了两种主要特性：互斥（mutual exclusion）和可见性（visibility）。互斥即一次只允许一个线程持有某个...

2011-08-24 22:33:16 98

原创比较并交换 (CAS) 原理

引用：http://blog.csdn.net/cleverpig2003/article/details/251679比较并交换 (CAS)支持并发的第一个处理器提供原子的测试并设置操作，通常在单位上运行这项操作。现在的处理器（包括 Intel 和 Sparc 处理器）使用的最通用的方法是实现名为比较并转换或 CAS 的原语。（在 Intel 处理器中，比较并交换通过指令的 cmpxch...

2011-08-24 21:14:55 611

原创研磨设计模式

接口是隔离外部调用和内部实现

2011-08-24 00:19:40 82

原创 exits 和in 深度分析（转载，出处不明）

EXISTS的执行流程 select * from t1 where exists ( select null from t2 where y = x ) 可以理解为: for x in ( select * from t1 ) loop if ( exists ( select null from t2 where y = x.x ) then OUTPUT THE RECORD end if ...

2011-08-22 21:03:04 130

原创 marshal 学习

marshal是一个java与xml绑定的一个用具，marshal可以将一个类的实例转化为xml，进行传输，然后在对端unmarshal，非常简单具体信息可以查看ibm上的一篇blog:http://www.ibm.com/developerworks/cn/xml/x-xjavacastor1/...

2011-08-22 17:43:27 87

原创 TDD thinking

今天看了一篇blog（http://drdobbs.com/go-parallel/blogs/architecture-and-design/229219511），简单了解了TDD领域中一些基本概念，unit test中有一些缺陷，只能关注代码本身的可靠性，而缺少一些流程性的东西，Dr. Dobb 提出了ATDD,其中加入了验收性测试的概念，融入了一个用例流程性的测试概念，该blog后面提到了B...

2011-08-21 11:36:44 83

原创 CAP Theorem

今天阅读了分布式系统中著名的论文(介绍CAP)理论的，这里简单介绍下CAP，C代表Consistency，A代表Availability，P代表Partition Tolerance, CAP理论简单的就是说这三者无法达到统一，系统中之多保证其中的两项，而在分布式系统中往往可用性和数据备份容灾要比一致性来得更为重要。可用性简单的说就是你可以访问某个资源，（在相对短的时间内，因为用户能快速...

2011-08-20 22:01:31 75

原创 @amazon

时间管理，集成测试，日志分析

2011-08-12 00:13:38 92

原创 @taobao

spring，sql审核，分享，每天做好计划，需要专注

2011-08-12 00:12:30 90

原创索引有点靠后

记得在taobao时候需要统计一个数据,但是通过不了SQLWEB中对SQL的性能要求，但是查看该字段上是有索引存在的，不知道为什么，问了DBA说是索引排的太后了，利用不上。今天才知道原因，原来是数据库在选择索引的时候一般只考虑最优的一个索引，如果访问的索引太多了就会产生太多的IO，不利于性能。...

2011-08-10 21:51:26 86

原创《MySQL 性能调优与架构设计》

MySQL的基本架构：SQL Layer和Storage Engine Layer SQL Layer模块：初始化模块，核心API，网络交互模块，Client&Servere 交互协议模块，用户模块，访问控制模块，连接管理、连接线程和线程管理，Query解析和转发模块，Query Cache模块，Query优化器模块，表变更管理模块，表维护模块，系统状态管理模块，表管理器，日志记录...

2011-08-10 21:47:53 123

原创 UNIX技术内幕

两种处理器模式：用户模式和内核模式，在进行虚拟内存映射时，两种模式各有一套单独的内存映射寄存器，这样用户模式和内核模式下的地址空间会被映射到不同的物理空间中。从用户模式进入到内核模式的方式：中断，违例内陷和系统调用内陷。从内核模式进入到用户模式的方式为：RTI(从中断服务函数中返回),RTT(从自陷服务函数中返回) 版本6的UNIX内核一共包含以下模块：系统启动，进程管理和调度，内存管理，...

2011-08-07 22:36:51 189

原创计算机行业是什么

今天下班在公交车上想了许久，我从事的这个行业到底是怎么运转的？想想目前风风火火的互联网行业，一种蒸蒸日上的感觉，大家都很不淡定，google出了google+1挑战facebook,apple 的iphone5要出来了....这是一个信息爆炸的时代，每天有各种各样的吸引眼球的事情，让你想去做。这个时候，我该怎么做呢？不断变化自己去拥抱这些新鲜的东西，还是去寻找一些沉淀下来的东西，而沉淀下来...

2011-08-03 19:17:59 266

原创 ZooKeeper 典型的应用场景(转载)

Zookeeper 从设计模式角度来看，是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper 就将负责通知已经在 Zookeeper 上注册的那些观察者做出相应的反应，从而实现集群中类似 Master/Slave 管理模式，关于 Zookeeper 的详细架构等内...

2011-08-03 12:16:30 110

原创《Oracle Database 10g 性能调整与优化》

8.2当从表中访问数据时，有两种基本的方式：从表中读取每一行，或者通过Rowid一次读取一行数据。Oracle 在执行全表扫描的时候，使用多块读取以快速扫描表，而使用索引的时候是单块读取的。如果查询索引列的min或max值，oracle将从索引中检查该值。同样，如果对索引列执行COUNT函数，Oracle可以使用索引而不是该列构造直方图可以帮助优化器在表中数据严重偏斜的情况下做出更...

2011-08-02 21:31:40 140

原创 Oracle零数据丢失

Oracle在版本7的时候，就支持Standby容灾备份数据库技术，并在Oracle8版本开始支持日志从生产数据库到备用数据库的自动传输。Oracle9i版本把standby技术正式命名为Data Guard。Data Guard是Oracle的集成化灾难恢复解决方案，该技术可以维护生产数据库一个或多个同步备份，由一个生产数据库和若干备用数据库组成，并形成一个独立的、易于管理的数据保护方案...

2011-07-25 20:28:54 179

原创 hadoop+hbase+zookeeper+hive 搭建实践

问题1，zookeeper 单机伪集群----创建多个server文件，文件中存放多套zookeeper2，hadoop运行失败后，需要把/temp中的data删掉

2011-07-20 20:50:45 108

原创 SOA All the Way Down -; The Internal Architecture Embodied by Erlang

Problem inside each service:each service is mini-obidos;hard to diagnose and fix and enhance;encumbered; concurrent : stackless python; erlang; message-passing;no memory shared;

2011-07-14 17:40:12 93