- 博客(30)
- 收藏
- 关注
RSS订阅转载 Oracle常用分析函数说明
Oracle分析函数Oracle从8.1.6开始提供分析函数，分析函数用于计算基于组的某种聚合值，它和聚合函数的不同之处是对于每个组返回多行，而聚合函数对于每个组只返回一行。下面例子中使用的表来自Oracle自带的HR用户下的表，如果没有安装该用户，可以在SYS用户下运行$ORACLE_HOME/demo/schema/human_resources/hr_main.sql来创建。
2012-04-25 13:53:00
701
转载 【译】构建可扩展的Java EE应用（二）
原文地址：http://www.theserverside.com/tt/articles/article.tss?l=ScalingYourJavaEEApplicationsPart2当并发用户数明显的开始增长，你可能会不满意一台机器所能提供的性能，或者由于单个JVM实例gc的限制，你没法扩展你的java应用，在这样的情况下你可以做的另外的选择是在多个JVM实例或多台服务器上运行你的系
2012-04-22 17:54:31
501
转载 大型网站的负载均衡器、db proxy和db
本文主要分析网站后台架构中的负载均衡器，企业常用的硬件负载均衡器软件负载均衡器、数据库代理服务器和数据库。1.1 负载均衡在大型网站部署中，负载均衡至少有三层部署。第一层为web server或者缓存代理之上的负载均衡，第二层为数据库之上的负载均衡，第三层为存储设备之上的负载均衡。在第一层部署中，最常使用的是硬件负载均衡器有F5 BIG-IP、Citrix NetScaler、Radw
2012-04-22 17:26:47
405
转载 大型网站后台架构的演变
随着用户访问量的不断增加，网站的后台也会不断变化以应对需求。本文主要从一个小型网站到大型网站的过度与变化来陈述。1.1 网站后台架构主要指由web server 、应用服务器、数据库、存储、监控等组成的网站后台系统。1.2 架构演变个人站点后台架构。如图2-1所示。图2-1 单台一组 如图所示，如果是个人站点，访问量不大，一般都是将web server、应用服务
2012-04-22 17:25:29
252
转载 大型网站的监控、报警与故障转移
本章主要从大型网站的后台监控机制、报警机制和故障转移、服务切换等内容来论述。然后给出一个监控、报警和故障转移的解决方案。1.1 监控预警现代大型互联网公司主要有电子商务公司、社交网站公司和搜索引擎公司。在电子商务网站公司中，taobao.com的点击量在国内是最高的。日点击量20亿以上。而这个点击量还不是均匀分不到24个小时，而是分布在几个时间段。因为人们的购物时间是集中在几个不同的时间段
2012-04-22 17:24:19
499
转载 failover 故障检测、报警、自动切换 程序 monitor_nginx.sh 用于对web server (Nginx) 监测与故障处理
前言前几天，群里有人说用shell程序实现failover,所以今天自己写一个shell程序 monitor_nginx.sh failover,fault detection and switching ,故障转移与切换程序(shell)一.程序功能用于检测web server (Nginx)是否宕掉，如果是用短信报警(sendmail139邮箱报警)并自动故障处理，浮动
2012-04-22 17:22:16
1182
转载 大型网站后台架构的web server与缓存
网站的web server与缓存1.1 Web serverWebserver 用来解析HTTP协议。当web 服务器接收到一个HTTP请求时，会返回一个HTTP响应，例如送回一个HTML页面。为了处理一个请求，web服务器可以响应一个静态页面或者图片。进行页面跳转，或者把动态响应的产生委托给一些其它的程序完成，比如CGI,JSP,servlets,ASP，PHP脚本。当用户访问一
2012-04-22 17:18:45
440
转载 Google背后的分布式计算架构策略
Google是与众不同的。它的独特不仅仅表现于革新的思维和充满创意的应用 (比如那个大堂里的地球模型)，更在于其有别常规的IT策略…… 加利福尼亚州山景城(Mountain View)Google公司(Google，下称Google)总部有一个43号大楼，该建筑的中央大屏幕上显示着一个与Google地球(Google Earth)相仿的世界地图，一个转动的地球上不停地闪动着五颜六色的光点，
2012-04-22 17:07:10
1221
转载 Yahoo数据仓库架构简介
1. Yahoo数据仓库的整体架构Yahoo数据仓库在基础架构上由hadoop集群和Oracle集群组成，hadoop集群是一个计算平台，完成所有ETL数据处理过程；Oracle集群只是一个查询环境。数据通过Data highway从源系统加载进入数据仓库的ODS层，ODS层数据保持与源系统数据结构一样。EDW数据层并没有严格意义的数据层次的逻辑细分，它可能有多层的ETL加工过程；
2012-04-22 16:25:39
516
转载 EMC Greenplum 技术浅析
说起Greenplum这个产品，最早是SUN来推他们的数据仓库产品DWA时接触到的，对这个由PgSQL堆叠出来的数据库产品还不是很了解，当时的焦点还在DWA本身的硬件上，当然不可否认，DWA还是有一些特点的。后来，我们发现普通的PC+SAS磁盘具备非常好的吞吐能力，完全不逊于某些昂贵的存储设备。这样我们就尝试用PC+Greenplum搭建了一个环境，效果完全超出了我们的预期，吞吐量完全超过
2012-04-22 16:05:50
1101
转载 IBM公司全新的数据仓库解决方案——面向制造零售快速消费品行业的案例
生产力水平的提高使得制造零售快消品行业供大于求的矛盾越来越突显；同时，由于人力成本上升、物价上涨、人民币贬值等因素，国内企业的成本优势逐渐丧失，出口的拉动效应越来越差；加上同类产品的同质化竞争非常严重，国内企业面临着非常严峻的挑战。为了在竞争中获胜，优秀的企业需要不断加强在品牌管理、人员管理、费用控制、计划和预测机制等方面的管理来提升企业营销体系的核心竞争力。IBM 的全新数据仓库解决方案
2012-04-22 15:54:25
3193
转载 2012年商业智能的6大预测
1.内存中的分析内存分析技术在2011年以其对日益增长的大量数据的快速思考分析能力继续占领着舞台中心。SAP的内存设备，HANA，于六月广泛面市。Oracle随后在10月的Oracle开放世界大会上发布了它自己的内存设备， Exalytics。该设备将内存数据库TimesTen与新的可视化发现能力相结合。本来预计在去年晚些时候公布, 但它仍然未能实现，而Oracle尚未提供最新的发布计划。IB
2012-04-22 15:40:23
936
转载 电子商务：说说转化率
今天我们科普一些概念吧，总发现有人弄错。这就是“转化率”。 一些事 电商都是有公式的 yixieshi 在淘宝干了这么多年，这是我在骨子里的想法。我在《玩法变了》书中就一直提到很多公式，电商领域，只要追求利润，那么都可以用一些公式去进行分解。 一些事 最简单的例子就是下面这个。(抱歉我是理工科背景，就喜欢推导公式，不过这样清晰一些) yixieshi
2012-04-21 11:01:44
870
转载 RHive：集成R和Hive
https://github.com/nexr/RHive/wiki/UserGuidesRHive是一个R包，在R环境中集成hive。通过使用RHive可以在R环境中写HQL（HiveQL），将R的对象传入hive中，在hive中进行计算。在rHive中小数据集在R中执行，大数据集在hive中运行。越来越多的企业收集了海量细节数据，需要TB或者PB级的数据存储以及从海量数据中发现知识
2012-04-20 11:55:33
1585
转载 MySQL高可用性大杀器之MHA
提到MySQL高可用性，很多人会想到MySQL Cluster，亦或者Heartbeat+DRBD，不过这些方案的复杂性常常让人望而却步，与之相对，利用MySQL复制实现高可用性则显得容易很多，目前大致有MMM，PRM，MHA等方案可供选择：MMM是最常见的方案，可惜它带来的问题往往比解决的问题还多（What’s wrong with MMM?）；至于PRM，它还是个新项目，暂时不推荐用于产品
2012-04-17 20:37:33
443
转载 MHA自动Failover过程解析
MHA是一位日本MySQL大牛用Perl写的一套MySQL故障切换方案，来保证数据库系统的高可用。近期，在田老师的推动下，开始一步步深入了解这个HA方案，并也计划在公司线上尝试部署。下面的东西是这段时间的学习笔记和个人理解，没有具体的实战经验，只是人为测试模拟故障的发生，通过日志来分析MHA背后的自动切换过程。首先，介绍下它的一些特点，以及为什么用它，在哪种场合更适合用它。1. 10-30
2012-04-17 20:36:08
1025
转载 PFP, CPA, CPS, CPM, CPC, CPL, CPP, CPR概念及其特点
一个网络媒体(网站)会包含有数十个甚至成千上万个页面，网络广告所投放的位置和价格就牵涉到特定的页面以及浏览人数的多寡。这好比平面媒体(如报纸)的“版位”、“发行量”，或者电波媒体(如电视)的“时段”、“收视率”的概念。 1.CPM(Cost Per Mille，或者Cost Per Thousand;Cost Per Impressions)每千人成本 网上广告收费最科
2012-04-15 21:17:55
3670
转载 凡客和CPS模式
1. 现象 09年在互联网上泡，估计很少有没见过凡客诚品的广告的。调研机构12月13日公布的服装行业网络广告投入报告显示，凡客诚品09年的广告刊例总价为18.96亿元。以此估算，凡客的广告投放甚至超过了三大电讯运营商。 调研机构的估算方法很简单：用各网站刊登凡客广告的展示时长乘以刊列单价再求和。通常网络广告的刊例价和实际价格之间有3到5折的折扣，因此19亿的刊例真正支出应在1
2012-04-15 21:12:03
2419
转载 数据挖掘之R与SQL
一直以来，我们在提到使用R进行数据分析、数据挖掘都会使用RODBC、RJDBC、DBI等相关的包来调用数据库，比如我前面罗嗦的一片文章数据挖掘之R与SQL，但实际基本上各大数据库厂商已有相应的R语言企业级应用产品，这些厂商包括Oracle、IBM、Teradata、Sybase、SAP。Oracle R EnterpriseOracle R Enterprise是针对于大数据市场下，用于处
2012-04-14 21:43:48
1135
转载 Facebook 网站架构
我收集到一些文章和视频, 可以带你窥探 Facebook 的架构. Facebook 承载了几十亿的用户, 它的架构(包括思想和实现)是非常值得参考的. 当然, 你要小心不要照搬 Facebook 的每一字一句, 因为任何思想和实现都是有自己的应用场景的.文章: BigPipe: Pipelining web pages for high performance文章: Needle i
2012-04-14 21:11:07
304
原创 Win7-64 上mysql的安装
之前在xp上装过绿色版的mysql，安装的时候没什么问题。后来重装过系统为win7之后，一直没有再用过mysql，今天突然想用下mysql，发现服务注册上去之后，当使用net start MySQL 启动时，遇到 1067 错，网上找到好多解决方式，试了还是不行，遂放弃。 后来想下是否为mysql版本的位数问题，于是网上下载了个64位版本的，安装一切顺利！！ 下面把网上找的安装说
2012-04-12 20:25:21
2170
1
转载 用R处理大数据集
本文翻译自R in Action的附录G，如果对该书感兴趣，请自行购买或去图书馆阅读。R会把所有的对象读存入虚拟内存中。对我们大多数用户来说，这种设计可以提高与R相互的速度，但是当分析大数据集时，这种设计会降低程序运行速度有时还会产生跟内存相关的错误。内存限制主要取决于R的build版（32位还是64位），而在32位的windows下，取决于操作系统的版本。以cannot allocate
2012-04-12 14:25:32
2520
转载 电子商务网站应关注的几个指标
上周末和Hetbert在零售电子商务年会上聊电子商务的数据和用户体验，稀里糊涂聊了不少很具体的东西，聊的比较投机也比较随意。回来看媒体整理出来的资料，偏差不少。故自己整理了一份回顾如下：(现场并非这么说的，但我肚子里要表达的东西就是这些) 1，用户体验的阶段性 前面两年有一些网商的会议邀请我分享用户体验，基本上我都没参加。原因挺简单，我认为这两年分享也没什么用，因为大家
2012-04-11 16:40:52
989
原创 ODI抽取中出现“ORA-12545: 因目标主机或对象不存在，连接失败。”
之前ODI的运行一切正常，目标机器连接源数据库也都没问题。后来由于需要换存储，因此对源的数据库rac进行了重装，但是数据库实例名，服务名，IP地址什么的都没改。但是发现进行ODI抽取时遇到了错误，报错信息如下： “ORA-12545: 因目标主机或对象不存在，连接失败。” 分析发现时在存储过程中调用远程表时遇到错误，在plsql中执行，发现也报错，但是再执行就不会有这个错误了，
2012-04-11 14:50:12
817
转载 R语言为Hadoop集群数据统计分析带来革命性变化
R作为开源的数据统计分析语言正潜移默化的在企业中扩大自己的影响力。特有的扩展插件可提供免费扩展，并且允许R语言引擎运行在Hadoop集群之上。R语言是主要用于统计分析、绘图的语言和操作环境。R本来是由来自新西兰奥克兰大学的Ross Ihaka和Robert Gentleman开发。（也因此称为R）现在由“R开发核心团队”负责开发。R是基于S语言的一个GNU项目，所以也可以当作S
2012-04-04 22:36:45
367
转载 “NoHadoop”？——新一代海量数据架构分析
在经历了长达25年的统治地位后，关系型数据库正面临越来越火的“NoSQL”挑战，而挑战者是以Hadoop为代表的分布式计算开源架构。可以看到，越来越多的消息表明，不管NoSQL是被解释为“No SQL”还是“Not Only SQL”，如果你面临海量数据的挑战，那么你最应该选的海量数据架构是Hadoop。但是Hadoop就能代表一切吗？答案显然是否定的，Hadoop的MapReduce在性
2012-04-04 22:12:39
1010
转载 InnoDB引擎表的主键选型
【导读】MySQL采用开放可插入式存储引擎架构，提供类似电源插线板的功能，其后接入的存储引擎就类似电器设备，而我们大家常用的存储以MyISAM和InnoDB为主，早期大家主要使用MyISAM引擎支持业务，随MySQL支持业务范围越来越广，存储的数据对企业越来越重要，尤其PC服务器支持的最大内存越来越大，内存的价格也越来越便宜，逐渐采用InnoDB引擎为主.二种风格迥异的存储引擎，各自内部存
2012-04-03 21:30:55
820
转载 FaceBook网站架构软件揭秘
2010年6月，Google公布全球Top 1000网站。Facebook独占鳌头。 以Facebook现在的经营规模，诸多传统服务器的技术均将崩溃或根本无法支撑。那么面对5亿的活跃用户，Facebook的工程师们又将如何让网站平稳运转呢？伯乐在线 – 职场博客的这篇文章将展示Facebook的工程师完成这个艰巨任务所用到的一系列软件。Facebook级别规模的挑战在我
2012-04-03 18:14:28
269
转载 Beyond MapReduce：谈2011年风靡的数据流计算系统
2011年度的HadoopChina大会刚刚落下帷幕，这次会议的一个热点议题就是数据流计算，在MapReduce计算模型风靡全球之后，StreamProcessing将会是下一个研究热点，无论是在工业界还是学术界。本文从深层次对各种典型的数据流计算系统架构及其基于的设计理念进行剖析。背景与动机背景随着当今社会数据量的日益膨胀，普通服务器组成的计算集群用于处理各种数据应用。在工业领域，像
2012-04-03 11:33:45
896
转载 分布式数据库的具体实现与对比分析
1．前言随着传统的数据库、计算机网络和数字通信技术的快速发展，以数据分布存储和分布处理为主要特征的分布式数据库系统的研究和开发越来越受到人们的关注。如何在一个数据库系统中实现一个分布式数据库，在实现分布是数据库中采用何种策略以及有那些需要注意的问题，这一直是数据库研究和应用相关领域人员非常关心的问题。本文就在Microsoft SQL系列数据库系统中分布式数据的具体实现进行了阐述，并对相关
2012-04-03 09:53:30
922
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人