Beckham008-CSDN博客

原创 Cloudera CDH 5集群搭建（yum 方式）

Hadoop CDH YUM Spark

2014-05-21 14:45:27 2848

原创 Java并发编程

Java基本并发synchronizedLock及其实现

2014-05-04 10:46:41 796

转载 Berkeley DB Java Edition相关资料

Oracle Berkeley DB Java 版是一个开源的、可嵌入的事务存储引擎，是完全用 Java 编写的。它充分利用 Java 环境来简化开发和部署。Oracle Berkeley DB Java 版的架构对于读密集型和写密集型的负载提供非常高的性能和并发性。您可以根据需要选择 Berkeley DB Java 版的 Direct Persistence Layer (DPL)、Persi

2014-03-29 16:11:31 986

原创基于QJM的HDFS HA总结

1 HDFS HA架构在一个典型的HDFS HA场景中，通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode接受client的RPC请求并处理，同时写自己的Editlog和共享存储上的Editlog，接收DataNode的Block report, block location updates和heartbeat；Sta

2014-03-19 08:44:09 1445

转载 HDFS HA方案

http://blog.csdn.net/dangyifei/article/details/8920164http://www.binospace.com/index.php/hdfs-ha-quorum-journal-manager/基于QJM的方案应该成了业界共识了。

2014-02-14 09:45:10 944

原创使用yum安装CDH5

环境三台天翼云主机（node209, node452, node440）OS：CentOS 6.5 64位JDK：Oracle JDK 1.7.0_45安装ZooKeeper（集群模式）Node Type:node229, node452, node4401.所有节点安装zookeeper, zookeeper-serveryum install

2014-02-10 09:02:00 4802

原创 CentOS 6.5 搭建CDH5源

1.配置CDH5的官方源使用cloudera的一键包，或手动下载CDH5的.repo文件rpm -Uvh http://archive.cloudera.com/cdh5/one-click-install/redhat/6/x86_64/cloudera-cdh-5-0.x86_64.rpm或wget http://archive.cloudera.com/cdh5/redhat

2014-01-02 09:14:15 8552

原创 pssh安装与使用

psshhttp://code.google.com/p/parallel-ssh/PSSH provides parallel versions of OpenSSH and related tools. Included are pssh, pscp, prsync, pnuke, and pslurp. The project includes psshlib which can

2013-12-13 12:49:00 2377

原创 MySQL基准测试工具

mysqlslap http://dev.mysql.com/doc/refman/5.7/en/mysqlslap.htmlsql-bench https://code.launchpad.net/sql-benchsysbench http://sysbench.sourceforge.net https://code.launchpad.net/~vadim-tk/sysbench/

2013-12-12 20:23:33 902

原创 CentOS 6 安装EPEL/RPMFusion/更新源

CentOS 6 64位安装EPEL/RPMFusion/更新源#!/bin/sh# install epelsu -c 'rpm -Uvh http://download.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm'rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EP

2013-12-11 18:25:34 1357

原创批量SSH key-gen无密码登陆认证脚本

使用为了让linux之间使用ssh不需要密码，可以采用了数字签名RSA或者DSA来完成。主要使用ssh-key-gen实现。1.通过 ssh-key-gen 来创建 public and private keys2.使用ssh-copy-id复制public key 到远程主机3.无密码登陆远程主机但对于大规模集群，人工使用ssh-key-gen生成key，再使用ssh

2013-12-11 09:24:47 5266 1

原创大数据软件栈

操作系统OSCentOS 6.5 64位 (http://www.centos.org/) (*****)Ubuntu Server 12.04 LTS 64位 (http://www.ubuntu.com) (****) 注意选择安装软件包（安装snmp）CentOS要更新源，安装epel 运维工具DevOpsPSSH (http://code.google.

2013-12-10 22:50:42 1596

原创 Google核心技术

Map-Reducelabs.google.com/papers/mapreduce-osdi04.pdf BigTablelabs.google.com/papers/bigtable-osdi06.pdf GFS（Google File System）http://labs.google.com/papers/gfs-sosp2003.pdf 三篇文章相当经

2009-12-07 12:18:00 677

原创 Windows SVN服务安装与配置

Windows SVN服务安装与配置1. 下载SVN服务端软件和客户端软件。http://subversion.tigris.org/SVN服务端：SubversionSVN客户端：# TortoiseSVN (Windows)、Subclipse (Eclipse)、Subversive (Eclipse)、SCPlugin (Mac OS X)、RapidSVN (

2009-12-06 16:26:00 1178

原创 Microsoft Robotics Developer Studio创建service

Microsoft Robotics Developer Studio创建service1. 打开 Microsoft Robotics Studio Command Prompt（开始->所有程序->Microsoft Robotics Dev Studio 2008->DSS Command Prompt）:dssnewservice /service:DialogDr

2009-12-06 16:24:00 1234 1