2012年05月_yangjl38

转载云计算正在改变IT行业的格局

现在，整个软件行业正在经历一场暴风骤雨的革命，而这种骤变每30年才会遇到一次。上一次行业革命创造了今日的巨头，而这就包括微软，甲骨文和SAP，并催生了诸如计算机安全软件这样的新行业。同样的事情会在未来5年重演，新的行业巨头和技术将在这一轮革命中崛起，也有一部分公司会因此退出历史的浪潮。到底是哪12个诱因会改变整个软件行业格局呢？1 云计算改变了各大公司购买软件的游戏规则

2012-05-31 18:45:01 1989

转载基于cloudera的hadoop分布式系统自动化安装

1 Hadoop的安装注意事项最近云计算在中国极为火爆，但看了云计算的那些云山雾罩的概念后，实在让人望而却步。还好不是所有的东西都摸不着头脑，Hadoop就是实实在在的技术之一。不才最近仔细品读了Hadoop的基础资料，特别是如何部署Hadoop的相关技术文档，发现其中有许多不为人注意的东西，在此整理一下。Hadoop开发者入门专刊(pdf) 是目前比较权威的文档；有什么与

2012-05-31 18:27:32 5684

转载 hadoop分布式系统优化分析

1 概述随着企业要处理的数据量越来越大，MapReduce思想越来越受到重视。Hadoop是MapReduce的一个开源实现，由于其良好的扩展性和容错性，已得到越来越广泛的应用。Hadoop作为一个基础数据处理平台，虽然其应用价值已得到大家认可，但仍存在很多问题，以下是主要几个：（1） Namenode/jobtracker单点故障。 Hadoop采用的是maste

2012-05-31 18:24:49 2550

原创 proxy动态代理机制分析

1 模拟Proxy模式代理模式支持将某些操作从实际的对象中分离出来，通过它的代理类提供处理。这样便于修改和管理这些特定的操作。下面示例一个代理模式的实现。 1.1 接口定义package com.zj.proxy;public interface Subject{ void operation1();

2012-05-31 18:15:22 1194

原创 hadoop启动停止命令分析

1 批量启动与停止1.1 Start-all.sh# Start all hadoop daemons. Run this on master node.bin=`dirname "$0"`bin=`cd "$bin"; pwd`#变量配置命令. "$bin"/hadoop-config.sh#Dfs服务器启动# start dfs daem

2012-05-23 17:15:51 15488

原创 hadoop三个配置文件的参数含义说明

1 获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到co

2012-05-19 18:52:30 64990 5

原创 hadoop0.19.0版的包和类的分析

1 Hadoop包总量（15个包）15个包，分下面几类：（1）配置文件：这是一个多方共享的话，让每个人可以告诉群里每个人我想干啥，由控制者根据配置文件去找相应的实体指向。（2）共用工具：基础功能的提供者（3）通讯工具：大家是基于通讯进行工作的（4）基础运算：MR（5）基本读写：IO（6）

2012-05-19 14:32:47 4255

原创 SNS-OA下一代OA系统的必然

SNS-OA下一代OA系统的必然1 什么是SNS-OA？ SNS，全称Social Networking Services，即社会性网络服务，专指旨在帮助人们建立社会性网络的互联网应用服务。社会性网络（社会网络，Social Networking:SN）：是指个人之间的关系网络,这种基于社会网络关系系统思想的网站就是社会性网络网站(SNS网站)。现在许多WEB2.0

2012-05-07 18:03:29 1551

yangjl38的专栏