- 博客(28)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 DAS、NAS、SAN、iSCSI 存储方案概述
目前服务器所使用的专业存储方案有DAS、NAS、SAN、iSCSI几种。存储根据服务器类型可以分为：封闭系统的存储和开放系统的存储： （1）封闭系统主要指大型机. （2）开放系统指基于包括Windows、UNIX、Linux等操作系统的服务器； 开放系统的存储分为：内置存储和外挂存储； （3）开放系统...
2013-05-16 15:08:07
159
原创 Builder - 创建者模式
对于Builder模式很简单，但是一直想不明白为什么要这么设计，为什么要向builder要Product而不是向知道建造过程的Director要。刚才google到一篇文章，总算清楚了。在这里转贴一下这位richardluo的比喻。简单地说，就好象我要一座房子住，可是我不知道怎么盖（简单的砌墙，层次较低），也不知道怎么样设计（建几个房间，几个门好看，层次较 高），于是我需要找一帮民工，他们会砌墙...
2013-01-30 09:47:44
97
原创 Ganglia安装指南 (基于CentOS 5.6)
安装依赖 rpm -ivh http://mirrors.sohu.com/centos/5/os/x86_64/CentOS/zlib-devel-1.2.3-3.x86_64.rpm rpm -ivh http://mirrors.sohu.com/centos/5/os/x86_64/CentOS/freetype-devel-2.2.1-28.el5_5.1.x86_...
2013-01-08 15:49:10
105
原创 hadoop 根据SecondaryNameNode恢复Namenode
1.修改conf/core-site.xml 增加 < property > < name > fs.checkpoint.period</ name > < value > 3600</ value > < description > ...
2013-01-04 17:30:20
94
原创 Linux 中使用 KVM
听讲XEN很快就要从LINUX内核中去掉,redhat和Ubuntu也大力的在推广KVM,所以在Ubuntu下整了一下KVM,相当容易使用,基本比Vmware还要容易,但性能好上很多倍,因为他是半虚拟的,很大程序上可以直接使用真实的硬件. RedHat 红帽CTO Brian Steven在一次记者招待会说：“我们致力于Xen,RHEL 5有10年的生命周期,因此会有一个较大的交叉过...
2012-08-28 14:24:36
183
原创 Apache+Tomcat集群
本文Apache+Tomcat集群配置 基于最新的Apache和Tomcat，具体是2011年4月20日最新的Tomcat和Apache集群和负载均衡配置。 准备环境 Apache Apache 是 http 服务器，我们利用其对 Tomcat 进行负载均衡。目前最新版本为 2.2.17 ，下载地址为 http://httpd.ap...
2012-05-08 13:38:17
59
原创 hadoop杂记（一）
namenode（hdfs）+jobtracker（mapreduce）可以放在一台机器 上，datanode+tasktracker可以在一台机器上，辅助namenode要单独放一台机器，jobtracker通常情况下分区跟 datanode一样(目录最好分布在不同的磁盘上，一个目录对应一个磁盘)，namenode存储目录需要格式化，datanode存储目录不需要格式 化，启动时自动创建...
2012-05-03 15:52:53
75
原创 hadoop杂记（二）
四、安全模式属性说明 1、dfs.replication.min 类型：int 默认值：1 说明：设置最小副本级别，成功执行写操作所需要创建的最少副本数目（也就是最小复本级别） 2、 dfs.safemode.threshold.pct 类型：float 默认值：0.999 说明：在namenode退出安全模式之前，系统中满足最小复本级别（由上一个选项定义）的块的比例...
2012-05-03 15:51:41
189
原创 java 通过jdbc驱动连接hive操作实例
1，hive首先要起动远程服务接口，命令： nohup hive –service hiveserver & 2，java工程中导入相应的需求jar包，列表如下: antlr-runtime-3.0.1.jar hive-exec-0.7.1.jar hive-jdbc-0.7.1.jar hive-metastore-0.7.1.jar hive-service...
2012-04-10 20:48:00
87
原创 hadoop、hbase、zookeeper环境搭建（详细）
一 机器 192.168.0.203 hd203： hadoop namenode & hbase HMaster 192.168.0.204 hd204： hadoop datanode & hbase HRegionServer & zookeeper 192.168.0.205 hd205： hadoop datanode & hbase HRe...
2012-03-27 12:54:44
76
原创 sqoop安装及数据迁移
下载sqoop [root@localhost download]# wget http://cloud.github.com/downloads/cloudera/sqoop/sqoop-1.3.0.tar.gz wget http://labs.mop.com/apache-mirror//incubator/sqoop/stable/sqoop-1.4.1-incubati...
2012-03-26 23:15:02
173
原创 使用sqoop将MySQL数据库中的数据导入Hbase
前提：安装好 sqoop、hbase。 下载jbdc驱动：mysql-connector-java-5.1.10.jar 将 mysql-connector-java-5.1.10.jar 复制到 /usr/lib/sqoop/lib/ 下 MySQL导入HBase命令： sqoop import --connect jdbc:mysql://10.10.97.116:3306/r...
2012-03-26 23:12:46
155
原创 hadoop 集群升级失败记录
一.错误概述 因为需要使用hadoop与hbase结合使用，所以需要为hadoop hdfs升级使用append写模式。需要对现有的hadoop 0.20.1 升级至0.20.205.0; 升级过程简单的使用 hadoop namenode -upgrade 从 -18 version => -32version(这个是dfs/name/current/VERSION)....
2012-03-22 14:19:18
180
原创 扩展hadoop hdfs,实现WebDav协议,将hdfs mount为linux本地文件系统
使用hadoop的shell命令进行hdfs的操作十分不方便,最好的办法当然是将hdfs映射为本地文件系统. 而通过实现WebDav Http协议, 结合WebDav的众多客户端,可以将hdfs映射为windows或是linux的本地文件系统.而使用api存储文件时,也将对应用透明,如使用本地文件系统一样使用hdfs. 1.Webdav协议介绍: WebDAV（W...
2012-03-22 14:17:29
233
原创 hadoop集群崩溃恢复记录
一.崩溃原因 搭建的是一个hadoop测试集群，所以将数据备份参数设置为dfs.replication=1,这样如果有一台datanode损坏的话，数据 就会失去。但不幸的是，刚好就有一台机器由于负载过高，导致数据操坏。进而后面需要重启整个hadoop集群,重启后启动namenode启动不了。报如 下错误: Java代码 FSNamesystem ini...
2012-02-15 14:38:59
410
原创 Hadoop的rmr和trash
这两天在操作Hadoop集群时，由于一个误操作，制作了一个天大的悲剧 不小心把Hadoop集群上的所有文件全部删除了，具体情况是这样的： 我用hadoop的超级帐户要建立一个目录，结果发现位置错了 也是，想使用rmr删掉那个目录，可是不小心把命令写成了 hadoop fs -rmr /user 于是，悲剧出现了，所有user目录下的所有目录和文件全都没有了 当时我就慌神了，赶紧从w...
2012-02-14 10:56:56
561
原创 tomcat集群配置
httpd-2.2.21.tar.gz apache-tomcat-6.0.32.tar.gz jdk-6u26-linux-i586.bin jdk,和tomcat 环境配置忽略 a.在 /opt目录新增apache目录并将httpd-2.2.21.tar.gz copy到改目录中. cd /opt mkdir apache tar zxf httpd-2.2.21.tar.g...
2012-02-03 16:50:30
56
原创 linux安装mysql
一、[root@sample ~]# yum -y install mysql-server mysql-devel ← 安装MySQL .....略 Installed: mysql-server.i386 0:4.1.20-1.RHEL4.1 Dependency Installed: mysql.i386 0:4.1.20-1.RHEL4.1 perl-DBD-MySQL.i386 ...
2012-01-10 16:12:26
49
原创 linux安装jdk
Linux安装JDK步骤1. 先从网上下载jdk(jdk-1_5_0_02-linux-i586.rpm) ，推荐SUN的官方网站www.sun.com，下载后放在/home目录中，当然其它地方也行。 进入安装目录 #cd /home #cp jdk-1_5_0_02-linux-i586.rpm /usr/local #cd /usr/local 给所有用户添加可执行的权限...
2012-01-10 15:45:59
72
原创 vnc4server 配置 @ ubuntu10.04
1 sudo apt-get install vnc4server 2、创建登录密码（两种方法） 直接运行vnc4server(vncserver)，装上vnc4server后提供这两个命令。vnc4server是一个脚本文件，vncserver是一个链接文件，链接到/etc/alternatives/vncserver，...
2011-12-30 13:50:01
551
原创 Struts2- Validation校验类型和配置方法说明
从Struts2 校验框架在验证的场所上可以分为：客户端校验和服务端校验。 客户端校验是指，在HTML画面上自动生成JavaScript校验代码，在用户提交到服务器之前在客户端浏览器中进行校验。默认位客户端校验。 服务端校验是指，在数据提交到服务器上之后，在Action处理之前，对客户但提交的数据进行校验。 从Struts2校验框架的配置上可以分为：Java Ann...
2011-12-21 11:21:02
161
原创 Hadoop 集群的基准测试
(转)测试环境： 12 个节点，每个节点的物理机配置为双核 CPU ，主频 2.60Hz, 内存 3G ，硬盘 250G ，网络带宽 100Mbps 以太网，虚拟机 VMware workstation 7.1.0 build-261024 ，平台 RHEL5.5 ，内核版本 2.6.18 ，，虚拟机配置为单核 CP...
2011-11-18 10:49:25
103
原创 hadoop集群配置--成功运行
── 分布式计算开源框架Hadoop入门实践 其实参看Hadoop官方文档已经能够很容易配置分布式框架运行环境了，不过这里既然写了就再多写一点，同时有一些细节需要注意的也说明一下，其实 也就是这些细节会让人摸索半天。Hadoop可以单机跑，也可以配置集群跑，单机跑就不需要多说了，只需要按照Demo的运行说明直接执行命令即可。这里 主要重点说一下集群配置运行的过程。 ...
2011-11-18 09:55:17
214
原创 Berkeley DB Java Edition Research
一、Berkeley DB Java Edition简介 Berkeley DB JE is a general-purpose, transactionally protected, embedded database written in 100% Java (JE makes no JNI calls). As such, it offers the Java devel...
2011-09-26 11:25:44
71
原创 java内存机制
问题的引入： 问题一： String str1 = "abc"; String str2 = "abc"; System.out.println(str1==str2); //true 问题二： String str1 =new String ("abc"); String str2 =new String ("abc"); System.out.println(str1...
2011-09-25 11:05:30
68
原创 mysql命令常用命令
1.终端启动MySQL：/etc/init.d/mysql start； 2.登录MySQL：mysql -uroot -p (用root账户登录),然后输入密码； 3.查看所有的数据库名字：show databases; 4.选择一个数据库操作： use database_name; 5.查看当前数据库下所有的表名：show tables; 6.创建一个数据库：create datab...
2011-04-20 10:41:42
88
原创 httpclient编码问题
首先http响应的编码有两个部分，response头里的参数和页面开头的meta信息。其实浏览器首先是针对response头来设置页面charset的。httpClient模拟页面也是采用相同方式。所以其实乱码跟meta无关。 我们知道String－GBK〉ByteArray－GBK〉String是正确的，但如果我们采用String－GBK〉ByteArray－ISO-8859-1〉Strin...
2011-03-25 10:09:49
164
原创 URLConnection and HTTPClient 比较
HTTP 协议可能是现在 Internet 上使用得最多、最重要的协议了，越来越多的 Java 应用程序需要直接通过 HTTP 协议来访问网络资源。虽然在 JDK 的 java.net 包中已经提供了访问 HTTP 协议的基本功能，但是对于大部分应用程序来说，JDK 库本身提供的功能还不够丰富和灵活。 HttpURLConnection是java的标准类 HttpClient 是 A...
2011-03-22 10:58:28
56
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人