- 博客(35)
- 资源 (23)
- 收藏
- 关注
RSS订阅原创 HBase程式設計 實做I/O操作
HBase程式設計 實做I/O操作 新增Tablepublic static void createHBaseTable ( String tablename ) throws IOException{HTableDescriptor htd = new HTableDescriptor(tablename);HColumnDescriptor col = new HCol
2012-06-08 13:22:08
454
转载 java.util.concurrent 多线程框架---线程池编程（五）
java.util.concurrent 多线程框架---线程池编程（五）
2012-06-01 15:05:25
396
转载 关于util.concurrent工具包就有选择的介绍到这，更详细的信息可以阅读这些java源代码的API文档。Doug Lea是个很具有“open”精神的作者，他将util.concurrent工具
Sync:获得/释放(acquire/release)协议。同步（定制锁、资源管理、其他同步）Channel:放置/取走(put/take)协议。通信（缓冲和队列服务）Executor:执行Runnable任务。线程池执行器（线程池的实现一些实现了Executor接口的） Sync-- acquire/release协议的主要接口-用来定制锁，资源管理，其
2012-06-01 15:04:35
667
转载 java.util.concurrent 多线程框架---线程池编程（三）
1 引言在软件项目开发中，许多后台服务程序的处理动作流程都具有一个相同点，就是：接受客户端发来的请求，对请求进行一些相关的处理，最后将处理结果返回给客户 端。这些请求的来源和方式可能会各不相同，但是它们常常都有一个共同点：数量巨大，处理时间短。这类服务器在实际应用中具有较大的普遍性，如web服务 器，短信服务器，DNS服务器等等。因此，研究如何提高此类后台程序的性能，如何保证服务器的稳定性以及
2012-06-01 15:03:32
556
转载 线程池--java.util.concurrent 多线程框架（二）
当然线程池也要显式退出了。package concurrent;import java.io.File;import java.io.FileFilter;import java.util.concurrent.BlockingQueue;import java.util.concurrent.ExecutorService;import java.util.concurr
2012-06-01 15:01:31
902
转载 java.util.concurrent 多线程框架---线程池编程（一）
一般的服务器都需要线程池，比如Web、FTP等服务器，不过它们一般都自己实现了线程池，比如以前介绍过的Tomcat、Resin和Jetty等，现在有了JDK5，我们就没有必要重复造车轮了，直接使用就可以，何况使用也很方便，性能也非常高。package concurrent; import java.util.concurrent.ExecutorService; import jav
2012-06-01 15:00:31
1680
转载 HBase Java客户端编程
HBase Java客户端编程本文以HBase 0.90.2为例，介绍如安在Windows体系，Eclipse IDE集成景象下，应用Java说话，进行HBase客户端编程，包含建树表、删除表、插入记录、删除记录、各类体式格式下的查询操纵等。1. 筹办工作1、下载后安装jdk包（这里应用的是jdk-6u10-rc2-bin-b32-windows-i586-p-12
2012-05-10 14:52:00
1049
1
转载 在Hadoop上运行基于RMM中文分词算法的MapReduce程序
2人收藏此文章,我要收藏发表于3个月前 , 已有252次阅读 共0个评论我知道这个文章标题很“学术”化，很俗，让人看起来是一篇很牛B或者很装逼的论文！其实不然，只是一份普通的实验报告，同时本文也不对RMM中文分 词算法进行研究。这个实验报告是我做高性能计算课程的实验里提交的。所以，下面的内容是从我的实验报告里摘录出来的，当作是我学习hadoop分享出来的 一些个人经验。实验
2012-05-10 14:02:22
939
转载 ZooKeeper编程指南（四）
ZooKeeper编程指南（四） 访问控制 zk使用ACLs（access control list）来控制对节点的访问。ACL实现类似于unix的文件权限控制：使用权限位来 允许/禁止 对节点的各种操作和一些位的作用范围。不像unix权限，zk节点不受限于3个标准的范围 -- 用户（owner），组，其它（world）。zk没有节点拥有者的概念。相反ACL指定id集合
2012-05-10 12:50:33
568
转载 ZooKeeper编程指南（三）
ZooKeeper编程指南（三） 监控 zk中所有的读操作-getData()，getChildren()，exists() - 都有设置监控的参数。这就是zk对监控的定义：监控事件是一次性的，被发送给设置监控的客户端，监控的数据发生改变时监控事件发生。在监控的定义中有三个关键点： 1、一次性触发 数据改变时，监控事件被发送给客户端。例如，如果客户端执
2012-05-10 12:49:39
743
转载 ZooKeeper编程指南（二）
ZooKeeper编程指南（二） 会话 Sessions ZK客户端和ZK服务通过创建服务的句柄（handle）来建立会话。刚刚创建，句柄处于CONNECTING状态。客户端库试图连接到其中的一台服务器，状态转变成CONNECTED。正常操作下，句柄处于这两个状态。如果不可恢复的错误发生，例如会话终结，认证失败，或者应用关闭句柄，句柄转变成CLOSED状态。下面的图
2012-05-10 12:49:14
900
原创 ZooKeeper编程指南（一）
ZooKeeper编程指南（一） 介绍数据模型 节点 时间 stat结构会话监控访问控制可插拔的认证一致性保证Bindings构建单元：ZooKeeper操作向导程序结构常见问题和疑难解答介绍 这篇文章是一篇开发人员指南，那些想充分利用ZK提供的协调服务创建分布式应用的程序员。它包含概念和实践
2012-05-10 12:48:17
1161
转载 hadoop破坏试验可靠性验证
Hadoop集群环境测试报告 测试结果说明： 集群环境说明：主机名IP地址操作系统版本Hadoop版本Hbase版本Zookeeper版本机器用途hadoop1192.168.3.65Linux AS 4.8hadoop-0.20.2
2012-05-09 13:31:00
1464
转载 Hadoop 双机热备-AvatarNode部署 .
Hadoop 双机热备--AvatarNode部署部署环境虚拟机5台（1G内存，40G硬盘，ubuntu操作系统，Hadoop-0.20.2）hadoop1-virtual-machine 10.10.11.250 AvatarNode(primary)hadoop2-virtual-machine 10.10.11.152 AvataDataNodehadoop3-v
2012-05-08 18:27:46
1714
转载 Hadoop&Hbase 备份方案--AvatarNode .
Hadoop&Hbase 备份方案--AvatarNode 需求实现namenode的双机热备，保证Hadoop&Hbase的高可用性（HA）。 方案描述当主namenode所在服务器宕机的时候，其服务和数据可迅速，完整，无缝的迁移到备份namenode从而保证hadoop集群的高可用性，持续的向外提供服务。 测试环境虚拟机5台（1G内存，40G硬盘，ubu
2012-05-08 18:27:00
545
转载 How To Configure Hadoop
How To Configure Hadoop - ''hadoop-0.15.0 and later''Hadoop's configuration has been significantly changed in the hadoop-0.15.0 release (http://issues.apache.org/jira/browse/HADOOP-785).Import
2012-05-03 09:59:29
600
原创 Hadoop 网络拓扑相关配置脚本 topology.script.file.name
Topology ScriptsTopology scripts are used by hadoop to determine the rack location of nodes. This information is used by hadoop to replicate block data to redundant racks.Here is a sample scri
2012-05-02 14:21:36
2242
转载 linux getopts 学习笔记
获取UNIX类型的选项: unix有一个优点就是标准UNIX命令在执行时都具有相同的命令行格式: command -options parameters 如果在执行Shell程序也采用上述格式，Bourne Shell中提供了一条获取和处理命令行选项的语句，即getopts语句。该语句的格式为: getopts option_string variable
2012-04-26 18:27:13
337
原创 VMware虚拟机下的linux不能全屏的问题
在VMware虚拟机下的linux无法全屏的问题起先我也没太注意，但后来在编译linux的内核实验时，我发现无法使用make menuconfig 这个命令。而看了系统的警告，我才知道出错的原因是linux的屏幕太小了，没有在虚拟机下全屏。知道了原因后，我便自己搜索资料，得到了如下的解决方案。（当前的VMware界面要是linux的系统）1、点击“view”——然后将Autofit wi
2012-04-20 15:52:04
1976
1
原创 CentOS5.4上海交大YUM源
第一步：修改/etc/yum.repos.d/CentOS-Base.repo为:# CentOS-Base.repo## The mirror system uses the connecting IP address of the client and the# update status of each mirror to pick mirrors that are up
2012-04-20 12:54:50
1527
转载 MapReduce数据流（三）
额外的MapReduce功能 图4.6 插入了Combiner的MapReduce数据流 Combiner：前面展示的流水线忽略了一个可以优化MapReduce作业所使用带宽的步骤，这个过程叫Combiner，它在Mapper之后Reducer之前运行。Combiner是可选的，如果这个过程适合于你的作业，Combiner实例会在每一个运行map任务的节点上运行。Combiner会接
2012-04-17 15:27:38
568
转载 MapReduce数据流（二）
接上一篇：MapReduce数据流（一） 输入块（InputSplit）：一个输入块描述了构成MapReduce程序中单个map任务的一个单元。把一个MapReduce程序应用到一个数据集上，即是指一个作业，会由几个（也可能几百个）任务组成。Map任务可能会读取整个文件，但一般是读取文件的一部分。默认情况下，FileInputFormat及其子类会以64MB（与HDFS的Block默认大
2012-04-17 15:27:13
320
转载 MapReduce数据流（一）
在上一篇文章中我们讲解了一个基本的MapReduce作业由那些基本组件组成，从高层来看，所有的组件在一起工作时如下图所示：图4.4高层MapReduce工作流水线 MapReduce的输入一般来自HDFS中的文件，这些文件分布存储在集群内的节点上。运行一个MapReduce程序会在集群的许多节点甚至所有节点上运行mapping任务，每一个mapping任务都是平等的：mappers没
2012-04-17 15:26:45
467
转载 MapReduce基础
这篇文章翻译自Yahoo的Hadoop教程，很久之前就看过了，感觉还不错。最近想总结一下以前学的东西，看到现在关于Hadoop的中文资料还比较少，就有了把它翻译出来的想法，希望能帮助到初学者。这只是Yahoo的Hadoop教程中很小的一部分，我下去还会选一些来翻译，一般来说只翻译讲原理的，操作类的就不翻译了。水平有限，不妥之处，请指正（感觉翻译过来后，读起来倒是没英文的顺畅：）。废话说完，正文开始
2012-04-17 15:26:12
361
转载 HDFS用户指南
本文档可以作为使用Hadoop分布式文件系统用户的起点，无论是将HDFS应用在一个Hadoop集群中还是作为一个单独的分布式文件系统使用。HDFS被设计成可以马上在许多环境中工作起来，那么一些HDFS的运行知识肯定能大大地帮助你对一个集群做配置改进和诊断。 HDFS是Hadoop应用的主要分布式存储。一个HDFS集群由一个管理文件系统元数据的NameNode，和存储实际 数
2012-04-17 15:05:02
316
转载 Pig安装与配置教程
Pig是yahoo捐献给apache的一个项目，它是SQL-like语言，是在MapReduce上构建的一种高级查询语言，把一些运算编译进MapReduce模型的Map和Reduce中，并且用户可以定义自己的功能。这是Yahoo开发的又一个克隆Google的项目:Sawzall。Pig是一个客户端应用程序，就算你要在Hadoop集群上运行Pig，也不需要在集群上装额外的东西。Pig的安装是
2012-04-17 14:59:15
479
转载 用 Hadoop 进行分布式数据处理(进阶)
本文是嵌入式固件架构师M. Tim Jones所撰写的，本系列的用 Hadoop 进行分布式数据处理，第 1 部分：入门 展示了如何在一个单节点集群中使用 Hadoop。本文在此基础之上继续介绍一个更加高级的设置，即使用多个节点进行并行处理。展示了多节点集群所需的各种节点类型，并探讨了一个并行环境中的 MapReduce 功能。本文还深入探究了 Hadoop 的管理方面 — 同时基于命令行和
2012-04-17 12:01:47
490
转载 用 Hadoop 进行分布式数据处理（入门）
导读：本文是嵌入式固件架构师M. Tim Jones所撰写的，次文是讨论 Hadoop 的系列中的第一篇，主要介绍Hadoop框架，包括 Hadoop 文件系统 (HDFS) 等基本元素和常用的节点类型。学习如何安装和配置单节点 Hadoop 集群，然后研究 MapReduce 应用程序。最后，学习使用核心 Web 界面监视和管理 Hadoop 的方法。尽管 Hadoop 是一些大
2012-04-17 12:01:20
429
转载 redHat linux下安装hadoop 0.20.2, 并在windows下远程连接此hadoop,开发调试 .
此文章的前提是：知道hadoop是什么，知道什么是分布式系统，了解hdfs和mapreduce的概念和原理。这里只是把笔者在学习hadoop过程中的一些经验和自己的看法分享一下。此文章包括两部分： 1、hadoop 在 redhat linux下的安装过程 网上有很多讲授在windows下通过Cygwin安装hadoop的，笔者认为hadoop原始设计就是在l
2012-04-17 11:59:57
496
转载 Hadoop集群配置（最全面总结） . .
通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.html)1 先决条件确保在你集群中
2012-04-17 11:58:08
360
转载 Linux下Hadoop集群安装详细步骤 .
1. 环境的需求(这里虚拟机下Centos6的安装就不说了) Centos6 + hadoop-0.21.0.tar2. 服务器的配置(我在这里均为2个CPU,2G内存,100硬盘) 在这里,服务器IP最好是固定的,也就是说,能相互之间用ping命令ping通的IP 建议在公司开发,因为公司有这个条件,我在这里配置了三台datanode,分别为 D
2012-04-17 11:36:31
339
转载 Linux下Mongodb安装和启动配置.txt .
1.下载安装包wget http://fastdl.mongodb.org/linux/mongodb-linux-i686-1.8.2.tgz下载完成后解压缩压缩包tar zxf mongodb-linux-i686-1.8.2.tgz 2. 安装准备将mongodb移动到/usr/local/server/mongdb文件夹mv mongodb-linux-i686
2012-04-17 11:35:19
337
转载 Linux下Mongodb的主从配置 .
一 Master和Slave的配置方法1. 主机器(master)master: 172.16.101.251mongodb home: /usr/local/server/mongodb/data file: /usr/local/server/mongodb/data/log file: /usr/local/server/mongodb/logs2. 从机器(sl
2012-04-17 11:34:07
506
转载 Linux下Mongodb的分布式分片群集(sharding cluster)配置 .
Shardingcluster介绍这是一种可以水平扩展的模式，在数据量很大时特给力，实际大规模应用一般会采用这种架构去构建monodb系统。要构建一个 MongoDB Sharding Cluster，需要三种角色：Shard Server: mongod 实例，用于存储实际的数据块，实际生产环境中一个shard server角色可由几台机器组个一个relica set承担，防止主机单
2012-04-17 11:32:35
419
转载 windows环境Mongodb安装和配置.txt
一、mingoDB 数据库系统的安装和管理： 1，下载：http://downloads.mongodb.org/win32/mongodb-win32-i386-1.4.0.zip 2，解压 mongodb-win32-i386-1.4.0.zip 到 D:/MongoDB/mongodbwin321.6.0/，再在其中建立文件夹 data 存放测试数据库用。 3，手工
2012-04-17 11:26:17
360
Hadoo数据仓库-hive入门全面介绍
2012-06-29
ZooKeeper_程指南中文.rar
2012-05-10
hadoop-1.0.2-eclipse-plugin.jar
2012-04-24
Hadoop分布式Cache
2012-04-17
hadoop-0.20.1-eclipse-plugin.jar hadoop eclipse plugin
2012-04-17
Hadoop公平调度器指南.pdf
2012-04-17
pydev插件破解，python Eclipse 插件,破解文件。
2010-09-21
Apache+ActiveMQ教程
2010-03-18
MySQL中文参考手册.rar
2009-03-29
Log4j学习笔记,个人整理
2009-03-28
无废话阿里巴巴技术部新人指南
2009-03-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人