- 博客(65)
- 资源 (9)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 NameNode 自动重启问题排查
NameNode部署的HA架构，由于客户端重复提交了一些复杂查询，而且当时Hdfs当时正在做Rebalancer. 导致standy节点来回重起1. 首起查看NameNode日志，发现出现了很多以下的error: Get corrupt file blocks returned error: Operation category READ is not supported i
2015-12-15 08:57:43
2248
原创 hive的变量传递设置
hive的变量传递设置今天同事在oozie的workflow中执行一个hive查询，但是直接就报异常：Variable substitution depth too large:40，从网上查询可知，可以确认是由于语句中使用了过多的变量导致，在hive以前的版本中，这个限制是写死的40个，查询Hive的最新的原代码，虽然判断的位置的提示信息已经变化，但是原理一样
2015-04-07 08:43:06
3937
原创 《天猫2013双十一架构》读后笔记
网购狂欢节背后的技术阅兵 稳定性的极致要求 1. 容量预估、依赖治理、监控 2. 业务降级、限流预案 3. 全链路压测 天猫篇 （1）双11的前端实践 1. 淘宝的前台资源采用的都是非覆盖式发布，通过语义化路径定位，这样前后台可以分开发布，还能独立回滚 2. 全站采用统一的kissy,MUI,通过配置文件按需加载组件，并且前后端自动实现一致的依赖关系等。
2015-04-05 16:48:06
1380
1
原创 spring in action 读书笔记
IOC 1.几个主要使用的application context. ClassPathXmlApplicationContext 从ClassPath路径加载 FileSystemXmlApplicationContext 从文件系统路径加载 XmlWebApplicationContext 配置文件黑夜在/WEB-INF/applicationContext.xml
2015-04-05 16:48:04
561
原创 可扩容分布式session方案
分布式session有以下几种方案：1. 基于nfs(net filesystem)的session共享将共享服务器目录mount各服务器的本地session目录，session读写受共享服务器io限制，不能满足高并发。2. 基于关系数据库的session共享这种方案普遍使用。使用关系数据库存储session数据，对于mysql数据库，建议使用heap引擎。 这种方案性能取决于数据库的性能，在高并
2015-04-05 16:48:01
703
原创 nodejs开发中如何调试基于多进程的程序
在nodejs开发中，通过child_process启动多进程时，能够在启动的同时直接启动不同的调试端口：这段程序是从5588自增1为每个进程都设置了唯一的端口：var globalI = 0;var DEBUG_BRK = '--debug-brk',IS_DEBUGGING = isDebugging();function isDebugging() {var execArg, po
2015-04-05 16:47:58
608
原创 SQL Server BI Step by Step SSRS 1-Reporting Service 2008的新特性
今天我们开始SQL SERVER BI的另外一个重要的部分 --Reporting Service，相对于Integration Service和Analysis Service，Reporing Service在国内的使用者应该多很多.一方面由于Reporing Service费用比较低，直接附属在SQL SERVER中，另外一方面其实SSRS在很大程度上还是满足我们的报表需求的。 在SQL
2009-09-23 08:11:00
1230
原创 SQL Server BI Step by Step SSIS 7 (End) --- 事务，错误输出，事件处理，日志记录
和其它程序一样，SSIS包同样需要健壮，稳定的运行，这样的程序才有可靠性和可伸缩性。SSIS提供了如下方面的支持: 1.事务: 可以对一个程序包设置成一个或者多个事务，甚至可以对两个程序包设置成一个事务。为了保证数据的一致性，你还可以DTC事务或者SQL Server引擎级的事务。 2.检查点: 用来记录一个程序包出错时任务的运行情况，以便程序包再次启动时，直接从发
2009-09-21 08:26:00
1561
原创 SQL Server BI Step by Step SSIS 6 --- 获取远程主机的可用磁盘空间
SSIS不仅是一个ETL工具，其实它的功能非常强大。就拿它的WMI Data Reader任务和Event Watcher任务来说,甚至可以获取很多操作系统的信息。Windows管理规范(Windows Management Instrumentation)是Windows中的“最高机密”之一. WMI通过WQL查询，可以来完成以下应用: 1.读取系统事件日志来查找某个特定的错误
2009-09-18 09:03:00
5326
原创 实现发送邮件动态html内容的几种思路
需求: 一个B2B系统在注册用户申请买家，申请审批通过，订单创建，申批通过时都需要发送邮件，邮件内容需要包括一些比较正规的格式，而且其中会包含用户信息，订单信息这些动态内容。另外邮件内容以后可能会频繁调整，需要有比较灵活的定制化。实现: 了解过这个需求后，大概想到了或找到了几种实现: 1.通过代码构造邮件内容，对于其中的动态的内容，直接拼凑。优点是最直接，不会涉
2009-09-18 09:00:00
1489
1
原创 SQL Server BI Step by Step SSIS 5 --- 通过Email发送查询结果
忙了一段，终于有时间来完成这一系列了。sql server 2008正式版已经发布了，接下来的系列都将基于sql server 2008+vs.net 2008开发。引言 在一个B2B项目中遇到这样的一个情况,每天老板都想看到所有的新的订单信息，而这个老板很懒，不想登录系统后台，而是想通过查看邮件的方式。当然实现方式很多，这里我们介绍一个怎么使用SSIS包来实现这样的一个功能。使
2009-09-18 08:54:00
1144
原创 SQL Server BI Step by Step SSIS 4 ---合并数据3
我们已经介绍了三种方法来实现数据流源和数据库数据的合并,也就是Excel中的数据和数据库里面的数据进行同步,存在的数据进行更新操作,不存在的添加数据,另外还可以扩展为,如果数据库为的数据在Excel数据源中不存在,则执行删除操作.接下来我们来介绍其它的方法来实现这样的目标. 我们在合并数据1中曾经介绍过,直接通过Merge和Merge Jone是无法直接实现的,不过我们可以通过变通的
2009-03-11 09:18:00
1469
1
原创 SQL Server BI Step by Step SSIS 4 ---合并数据2
上次我们并没有实现Excel中的数据与数据库中的数据进行整合,存在即更新,不存在即插入.这次主要介绍几种方法来实现: 1.使用Lookup 2.使用execute SQL task调用存储过程 3.使用script component脚本实现 4.使用MERGE 语句(SQL SERVER 2008) 5.使用上次我们用到的Merge来实现
2009-02-25 08:20:00
1487
原创 SQL Server BI Step by Step SSIS 4 ---合并数据1
我们已经实现了把Excel中的数据导入到数据流目标,也就是数据库中,但是我们只是模拟了不重复的数据,也就是都是数据库中此时不存在的数据.那么如果数据流源Excel中的数据和数据库中的数据的主键相同的情况下,再进行插入操作就会出现异常,怎么才能实现自动的更新操作呢?也就是自动的判断数据源的数据,如果数据库中存在就执行更新,不存在就执行插入呢? 可能叫做合并数据会有些误解,这里的合并
2009-02-25 08:19:00
1209
原创 SQL Server BI Step by Step SSIS 3 --- 批量导入Excel表
上一次我们已经介绍了简单的数据导出和导入,但是只是对单一文件进行操作,如果我们想同时对一个目录下面的所有的文件执行数据导入怎么实现呢?相当简单,SSIS在控制流中提供了Foreach循环容器,很容易理解,它和序列容器相比就是能够循环的遍历执行,能够对指定枚举器的每个成员重复执行控制流: 可以看到,Foreach循环窗器遍历文件夹可以通过一些设置或者是正则来匹配,使用 F
2009-02-25 08:18:00
1344
原创 SQL Server BI Step by Step 2--- 使用SSIS进行简单的数据导入导出
让我们首先开始学习SSIS吧,利用SSIS把SQL Server中的数据导出.首先,打开Vs.net 2005,选择商业智能项目,然后选择模板中的Integration Service项目,输入项目名称: 创建好后,我们就在默认的Package包中进行设计(关于一些概念性的就不介绍了,请参照这个文章, 或者是其它的教程或者书籍).首先向控制流中添加
2009-02-25 08:16:00
1123
原创 SQL Server BI Step by Step 1 --- 准备
SQL Server 2005 和2008提供了很多新的和增强的商务智能功能,包括利用集成服务(SSIS)整合多种数据源;利用分析服务(SSAS)使数据内容更丰富并且建立复杂的商业分析; 以及利用报表服务(SSRS)编辑,管理,和提交丰富的报表. 如果你现在还不清楚这些功能,那么接下来一系列的介绍会让你对SQL Server现在的商务智能支持大吃一惊.不过现在关于SQL Server
2009-02-25 08:05:00
1775
1
原创 Spring .NET 1.2.0 发布
这次发布主要加入了以下几个特性: WCF Integration - 使用依赖注入配置WCF服务,在WCF服务中加入AOP(面向方面). MSMQ integration - MSMQ帮助类使你能够快速开发消息应用程序(messaging applications),并且提供对spring的事务管理机制的支持. Apache ActiveMQ integratio
2008-11-11 14:11:00
710
原创 Spring.Net+NHibenate+Asp.Net mvc +ExtJs 系列 4 ----业务逻辑层
上一次我们完成了数据访问层的接口和实现,这次我们按部就班的完成业务层接口及实现,并采用spring.net声明式事务.另外,采用nunit对业务实现进行单元测试. 象petshop框架一样,我们先定义业务层接口,这里只和实体有有耦合.我们拿用户User为例: IUserManagerCode highlighting produced by Actipro CodeHigh
2008-10-22 11:38:00
876
原创 Spring.Net+NHibenate+Asp.Net mvc +ExtJs 系列 3 ----数据访问层
在上一篇中,我们已经搭建起了整个解决方案的项目,并且建好了数据库,完成了实体类和Nhibernate映射文件.在本文中,将定义数据访问接口,并利用Nhibernate实现接口,利用Spring.net配置起来dao.并对其进行单元测试. 数据访问层也和Petshop等框架一样,分为数据访问的接口以及实现,不过这里的数据访问实现相比之下就清晰和明显了的多,Nhibernate本身就是支
2008-10-22 11:36:00
1294
原创 Spring.Net+NHibenate+Asp.Net mvc +ExtJs 系列 2
就以一个简单的DirectCenter项目开始介绍这个框架吧，DirectCenter主要分为用户管理，部门管理，公司管理三个模块。首先先搭建起解决方案DirectCenter： DirectCenter： DirectCenter.Model (类库项目)实体类库，其中包括hibernate
2008-10-22 11:34:00
1317
3
翻译 概述CSLA.NET 3.6 (Overview of CSLA .NET 3.6 for Windows and Silverlight)
CSLA.NET是一个在分布式计算环境下利用面向对象思想创建业务对象的一个框架。现在已经发布了3.6版本,包括for Windows和for Silverlight，来支持不同的平台。 CSLA.NET for Windows 和CSLA.NET for Silverlight共享了许多相通的特性和功能。两个框架实作之间的通用性，能允许在.NET和Silverlight之间，共享业务对象（B
2008-10-22 11:29:00
861
1
原创 CSLA.NET 发布3.6版本
CSLA.NET是一个在分布式环境下只通过修改配置文件就可以实现N层部署的框架. 它致力于构建丰富，强大而灵活的业务层,包含了验证,权限,数据门户等标准化的解决方案,使你的业务对象更加标准和灵活.它提出了移动对象(Mobile Object)的概念,使业务对象在不同的服务器上物理性的移动.但它并不失灵活性,其数据门户对ADO.NET,LINQ, ADO.NET Entity Framework,N
2008-10-22 11:28:00
666
原创 Spring.Net+NHibenate+Asp.Net mvc +ExtJs 系列 1
本系列文章将演示如果利用Spring.Net+NHibernate+Asp.Net mvc+ExtJs构建多层应用程序.架构具有松耦合性,接口编程,并且有很强的可扩展性.比较适合企业系统开发相关的产品开发. 充分利用Spring.Net的IOC,AOP等特性,并且作为整个框架的容器,NHibernate使整个框架更面向对象,并且支持多数据库.Asp.net Mvc一改以往Webform的方式,使
2008-08-25 23:16:00
919
原创 利用owc生成excel并且显示在页面
主要利用OWC生成Excel,画表头和显示从数据库读出来的数据,然后显示在前台页面上,无需客户端安装office,只需要安装owc. 后面利用OWC操作EXCEL,并且生成文件的操作 SpreadsheetClass xlsheet = new SpreadsheetClass(); 设置标题#region 设置标题
2007-12-08 10:45:00
1809
原创 Lucene学习记(1) Lucene的评分机制
原文地址:http://www.zhuayu.net/viewthread.php?tid=247&extra=page%3D1/ Lucene系统的排序是根据信息检索的向量空间模型来计算的。文档（d）和查询条件（q）之间越接近，那么文档（d）的得分就越高。计算公司如下： score(q,d) = coo
2007-09-03 11:24:00
3452
原创 设计模式---结构型
1.适配器(Adapter) 为分对象适配器和类适配器.但是建议多采用对象适配器,而不是类适配器.Prefer 组合To继承,这是松藕合的设计理念.
2007-08-27 00:05:00
582
转载 .NET性能优化方面的总结
一、 SqlDataRead和Dataset的选择 Sqldataread优点：读取数据非常快。如果对返回的数据不需做大量处理的情况下，建议使用SqlDataReader，其性能要比datset好很多。缺点：直到数据读完才可close掉于数据库的连接 。(SqlDataReader 读数据是快速向前的。SqlDataReader 类提供了一种读取从 SQL Server 数据库检索的只进数
2007-08-21 13:48:00
1761
原创 Lucene倒排索引原理(转)
Lucene倒排索引原理(转) Lucene是一个高性能的java全文检索工具包，它使用的是倒排文件索引结构。该结构及相应的生成算法如下： 0）设有两篇文章1和2 文章1的内容为：Tom lives in Guangzhou,I live in Guangzhou too. 文章2的内容为：He once lived in Shanghai. 1)由于lucene是基于关键词索引和查询的，首先我
2007-08-20 20:54:00
783
转载 ASP.NET中Cookie编程的写，读，修改和删除 参考
一 写入Cookie 1.Cookie 的name 和value 属性有程序设定，默认值为空值。 2.domain属性的默认值为当前URL的域名部分，而不管当前发出这个cookie的页面是在哪一个目录下。 例如，http://www.kent.com/application1/login.aspx 页面中发出一个cookie，Domain属性缺省就是www.kent.com ，
2007-08-20 10:02:00
2215
原创 C#创建Windows服务
利用VS.NET创建C# Windows服务在很多应用中需要做windows服务来操作数据库等操作，比如 （1）一些非常慢的数据库操作，不想一次性去做，想慢慢的通过服务定时去做，比如定时为数据库备份等 （2）在.net Remoting中利用windows服务来做Host 利用vs.net我们可以在几分钟之内建立其windows服务，非常简单 下面说一下步骤 1. 新建一个项目 2. 从一
2007-08-14 00:19:00
2308
原创 Lucene.net搜索及高亮分页
using System;using System.Data;using System.IO;using System.Text.RegularExpressions;using Lucene.Net.Analysis.Standard;using Lucene.Net.Documents;using Lucene.Net.QueryParsers;using Lucene.Net.Se
2007-08-10 00:33:00
2673
转载 谈DotNet解决方案下分层和子项目的划分
分层在英文里面有Tier和Layer两方面的含义。Tier主要是只硬件上的分层，如客户端，应用服务器和数据库服务器。而Layer主要是指软件系统结构下的分层。而这里谈的主要还是软件体系结构上的分层。 最近经常看到的DotNet多层架构，七层架构等词语。归根到底其核心还是数据资源层，逻辑层和表现层三个层次。其它层次基本上都是基于这三个层次所做的扩展。在做一个软件系统的时候，具体如何分层跟要
2007-08-07 23:39:00
785
转载 适合才是正确的 之 “关于业务逻辑加入存储过程”
业务逻辑在一个系统中可放的地方很多，有的人选择放在存储过程中，有的人会选择放在业务组件中，这些方式都可以进行业务逻辑的判断。既然提供了这些方式都可以实现业务逻辑的判断，就证明它们存在的合理性。就像在设计的过程中，很多人会将进行条件选择语句封装到不同的类的重构，以满足设计中的”开－闭“原则，这样做有他的道理。但并不是说以后就不用条件转移语句了，要不开发语言怎么会支持条件转移语法呢
2007-08-07 23:37:00
1103
转载 数据库设计范式
关系数据库设计之时是要遵守一定的规则的。尤其是数据库设计范式 现简单介绍1NF（第一范式），2NF（第二范式），3NF（第三范式）和BCNF，另外还有第四范式和第五范式。 在你设计数据库之时，若能符合这几个范式，你就是数据库设计的高手。 第一范式（1NF）：在关系模式R中的每一个具体关系r中，如果每个属性值 都是不可再分的最小数据单位，则称R是第一范式的关系。例：如职工号，姓名，电话号码组成一个表
2007-07-26 11:56:00
734
转载 Unicode
对于程序中的string型字段，SQLServer中有char、varchar、nchar、nvarchar四种类型来对应（暂时不考虑text和ntext），开建立数据库中，对这四种类型往往比较模糊，这里做一下对比。1.有var前缀的，表示是实际存储空间是变长的，varchar,nvarchar 所谓定长就是长度固定的，当输入的数据长度没有达到指定的长度时将自动以英文空格在其后
2007-07-25 23:12:00
711
转载 查询及删除重复记录的方法
(一)1、查找表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断select * from peoplewhere peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1)2、删除表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断，只留有row
2007-07-25 23:09:00
738
转载 关于 Web 用户控件与 Web 自定义控件的建议
如果现有的 ASP.NET 服务器控件都不符合应用程序的特定要求，则可以创建封装所需功能的 Web 用户控件或 Web 自定义控件。这两种控件之间的主要区别在于设计时的易创建性与易用性。Web 用户控件易于创建，但它们在高级方案中使用起来可能不太方便。开发 Web 用户控件的方式与开发 Web 窗体页的方式几乎完全相同。与 Web 窗体相似，用户控件可以在可视化设计器中创建，可以使用与 HTM
2007-07-25 21:35:00
867
原创 .Net序列化
1.什么是序列化序列化是将对象状态转换为可保持或传输的格式的过程，在序列化过程中，对象的公共字段和私有字段以及类的名称（包括包含该类的程序集）都被转换为字节流，然后写入数据流。与序列化相对的是反序列化，它将流转换为对象。这两个过程结合起来，可以轻松地存储和传输数据。2.为什么使用序列化a. 一个原因是将对象的状态保持在存储媒体中，以便可以在以后重新创建精确的副本。我们经常需要将对象的字段值保存到磁
2007-07-25 21:29:00
1070
转载 ASP.NET 2.0 新增/改进的知识点
1.增加对页面Header的控制：System.Web.UI.Page类新增加了Header属性，用于对HTML页面头区域里数据的操作。通过对Header属性的跟踪，可以发现，Header属性保存着一个实现IPageHeader接口的对象(该对象有LinkedStyleSheets、Metadata、StyleSheet和Title四个属性），实际上正是通过这个对象实现对HTML页面头区域里数据的
2007-07-17 19:50:00
750
web处理“大数据”量能够采用什么方案？
2013-03-03
TA创建的收藏夹 TA关注的收藏夹
TA关注的人