- 博客(49)
- 收藏
- 关注
RSS订阅转载 hadoop namenode的恢复
hadoop如何恢复namenode博客分类： hadoop Namenode恢复 1.修改conf/core-site.xml,增加 Xml代码 property> name>fs.checkpoint.periodname> value>3600value>
2013-01-17 10:35:39
494
转载 java读写Excel（POI）
POI官方网址：http://poi.apache.org/POI的功能实在很强大，而且是apache的子项目，它下面又包含一些Component，比如处理Excel XLS，PowerPoint PPT，Word DOC，Outlook MSG，Excel XLSX等，下面就简单讲下poi处理excel的一些内容。下面的jar包来源于当前最新的poi 3.6版本。1.poi来生成ex
2012-10-22 14:51:45
463
转载 tomcat https访问设置
前几天客户提出要强制使用HTTPS方式访问Tomcat中的相关项目，于是研究了下，现将具体的步骤写下： 主要分2步:让tomcat能使用https--->强制使用https访问 1.让tomcat能使用https A.在运行命令JAVA_HOME/bin/keytool -genkey -alias tomcat -keyalg RSA -key
2012-08-28 15:43:18
454
转载 Spring加载静态资源的方式
Spring3中js/css/jpg/gif等静态资源无法找到（No mapping found for HTTP request with URI）问题解决最近项目中使用到Spring3，在感叹Spring3注解配置清爽的同时竟然出现了这个不和谐的事情，实在无法忍受问题：部署项目后程序加载或用浏览器访问时出现类似的警告，2011-01-19 10:52:51,646 WARN [
2012-07-13 13:43:12
5258
原创 hbase问题记录
1 org.apache.hadoop.hbase.client.ScannerTimeoutException 一般在大表的scan时会超时，默认是60000，可以在conf阶段设置。conf.setLong(HConstants.HBASE_REGIONSERVER_LEASE_PERIOD_KEY, 120000) 2
2012-06-18 15:56:26
626
原创 HBase数据备份和恢复
1, hbase自带的备份恢复工具 bin/hbase org.apache.hadoop.hbase.mapreduce.Driver export \table_name /local/pathbin/hbase org.apache.hadoop.hbase.mapreduce.Driver import \table_name /local/path导入时必须先创建表结构。
2012-06-14 11:47:36
2877
1
原创 Greenplum备忘
一、Greenplum数据库的启动与停止1-常规则的greenplum数据库启动与停止：启动：gpstart停止：gpstop重启服务：gpstop –r强制停止服务：gpstop -f -c2-postgresql.conf 与 pg_hba.conf配置文件变后，需要重新装载修改后的参数，而且不停止数据服务：Gpstop –u(注
2012-05-21 11:13:05
515
转载 Tomcat6.x 不显示详细日志的问题
以前用Tomcat用得好好的，项目启动的时候错误日志都会输出到控制台，不知道从啥时候开始，Tomcat的详细错误日志不见了，只报一个万恶的Context [] startup failed due to previous errors，却找不到previous errors具体是啥东西，郁闷了很久，在网上查了一下资料，终于解决了这个问题。 Tomcat的官方原文在http:
2012-05-14 14:02:46
8064
转载 MySql删除重复记录
新建一个临时表 create table tmp as select * from youtable group by name 删除原来的表 drop table youtable 重命名表 alter table tmp rename youtableMYSQL 时间的比较以 TimeStamp为例
2012-04-17 09:24:38
361
原创 linux客户端显示中文
有时候我们会在linux系统中存放一些中文文件，为了能在客户正常显示，需要做一些设置；1 查看系统支持的语言集 #locale -a 如果发现结果没有中文语言包 可以用 yum install fonts-chinese 下载中文语言包2查看当前的语言#echo $LANG3改变当前的语言包 vi /etc/sysconfig/i18n 改成LANG=”z
2012-03-23 16:13:09
583
原创 myeclipse jvm设置
在myeclipse中运行main函数时，回报jvm内存溢出的错误，可以用下面的方法调整（这个和eclipse.ini中的设置不一样），在installed jre 选择edit 然后添加-Xms64m -Xmx1024m//测试代码public static void main(String[] args) {System.out.println(" 内存信息 :" +
2012-03-21 11:01:04
1111
原创 linux下用gridsql做postgresql集群
1 环境准备 3台linux（CentOS5.5）服务器（分别为node1，node2，node3）。 gridsql-2.0-0.noarch.rpm2 postgrel 准备 2.1 每台服务器都需要安装postgresql 本文以postgresql0.9 为例。 注意：安装完postgresql后 务必要把postgresql_home/bin 加
2012-03-02 16:39:56
931
原创 linux下的postgrel9.0安装
1 下载 postgres-9.0.6-1.x86_64.openscg.rpm 2 安装 用root用户 执行 rpm -ivh postgres-9.0.6-1.x86_64.openscg.rpm 3 启动 /etc/init.d/postgres-9.0-openscg start 4 问题： 1、 默认安装，客户端不能访问 会出现：pg_hba.con
2012-03-02 12:09:39
709
原创 hive导入和导出数据
hive官方提供两种导入数据的方式 1 从表中导入： insert overwrite table test select * from test2; 2 从文件导入： 2.1 从本地文件导入： load data local inpath '/hadoop/aa.txt' overwrite into table test11
2012-02-29 16:05:45
961
转载 hadoop集群升级失败回滚策略
一.错误概述 因为需要使用hadoop与hbase结合使用，所以需要为hadoop hdfs升级使用append写模式。需要对现有的hadoop 0.20.1 升级至0.20.205.0; 升级过程简单的使用 hadoop namenode -upgrade 从 -18 version => -32version(这个是dfs/name/current/VERSION).但我们发现
2012-02-29 11:02:39
1254
原创 postgresql 默认模式顺序和改变
postgresql有模式（schema）的概念，其实就是在数据库中划分范围，也就是在不同的模式中，可以有同名的表。可以简单理解为文件系统。 常用的默认模式是public。SHOW search_path；显示现有的模式搜寻顺序，具体的顺序，也可以通过SET search_path TO 'schema_name'来修改顺序。这样的修改只能在当前连接中有效，如果需要长久生效可以为
2012-02-27 17:25:37
4973
原创 linux 下MySQL快速安装和client访问授权
yum install mysql-server //安装mysql服务端/etc/init.d/mysqld start //启动mysql服务器---------------------------------client 访问授权----------------------------------------------------MYSQL中有一张user表 保存了数据库
2012-02-27 17:21:04
676
原创 用sqoop导入数据到hive中
1 安装sqoop 下载sqoop-1.2.0.tar.gz（1.20版兼容hadoop0.20版本） 将 hadoop-core-0.20.2-cdh3u3.jar ，hadoop-tools-0.20.2-cdh3u3.jar 放入sqoop/lib目录下，这两个jar包是cloudera公司出的 ，可以去它的官网下载。2 从mysql中导入数据 进入s
2012-02-27 14:52:02
5007
原创 hive linux环境下的安装
1. 下载hive-0.8.0.tar.gz，hive运行需要依赖hadoop集群，保证hadoop集群的正常运行。2. 将hive-0.8.0.tar.gz解压（一般我们都将hive安装在hadoop的namenode节点上）。 需要在环境变量中添加HADOOP_HOME，HIVE_HOME这两个环境变量即可。 如果不再特殊操作，这样就可以了，3 启动#hive
2012-02-24 16:15:11
3599
原创 MemCached分布式安装
1 Memcache服务端是C写成的，首先准备安装包memcached-1.4.13.tar.gz2 MemCached安装需要依赖GCC和li'bevent，所以首先要安装这2款软件， GCC一般linux都会自带，用gcc -v 查看是否安装了。 查看libevent是否安装 用 ls -al /usr/lib |grep libevent 或者 ls -al /usr/l
2012-02-20 17:19:24
444
原创 Hbase分布式安装
1 Hbase集群需要依赖Hadoop集群和zookeeper集群 ，首先需要确保上述两项安装成功。（hbase对hadoop的版本有要求，具体匹配信息可以参考hbase官方文档，本文使用hadoop0.20.2 + hbase0.90.5）2 下载 hbase0.90.5.tar.gz 解压 tar -xvf hbase0.90.5.tar.gz ln -s hba
2012-02-17 10:20:23
2829
原创 zookeeper分布式安装
1 环境准备：3台linux CentOS5.5服务器 ，下载zookeeper-3.4.2.tar.gz并将只上传至服务器。2 开始安装： 2.1 tar -xvf zookeeper-3.4.2.tar.gz 2.2 ln -s zookeeper-3.4.2.tar.gz zookeeper //做别名，方便访问。 2.3 vim zookee
2012-02-16 13:56:38
662
转载 JConsole使用
JConsole使用一、JConsole远程监控Tomcat服务器 为了解决内存溢出的问题，会用到一些监视内存的工具，jconsole这个工具是jdk5.0自带的工具，所以如果你的jdk是5.0那么就不用去安装。 这个工具可以查看系统的 堆，非堆，线程，等等的一些整体的情况，从而可以判断出系统的一个大概的性能情况。 那么配置如下：如果你是用tomcat，在catalin
2012-02-15 15:03:53
298
原创 在运行jar包的过程中处理引用第三方jar包方法
1 在windows环境中添加jar包到classpath set classpath=.;E:\ncrdb.jar;E:\terajdbc4.jar; （以分号分割）添加属性文件 java -jar attrcheck.jar ./attCheck.properties 2 在linux环境中java -classpath xx.jar:xxx.jar
2012-02-14 11:29:57
533
原创 hadoop分布式 安装（3台节点）
1 环境准备：3台CentOS5.5操作系统的主机，jdk为OpenJDK1.6.0 ，Hadoop版本为0.20.2。2 修改hosts文件，把整个聚群的主机名和IP对应起来，每台机器都需要做。(我用主机名来做hadoop标志，为后续zookeeper做准备，zookeeper只能用主机名，比较搓) vi /etc/hosts 192.168.110.223 Paas1
2012-02-13 13:49:36
558
原创 ActiveMQ 安装（linux）
ActiveMQ在linux下安装非常简单，步骤如下：1 环境准备： 系统环境CentOS5.5 、 JDK版本为OpenJDK1.6.0 设置JAVA_HOME。 下载 apache-activemq-5.5.1-bin.tar.gz 。 2 安装步骤 上传apache-activemq-5.5.1-bin.tar.gz到服务器，解压 tar -xvf
2012-02-13 10:05:52
1818
原创 数据库中的隔离级别和锁机制（包含MySql的测试）
ANSI/ISO SQL92标准定义了一些数据库操作的隔离级别：1 未提交读（read uncommitted）2 提交读（read committed）3 重复读（repeatable read）4 序列化（serializable）锁机制： 共享锁：其他事务可以读，但不能修改。 排他锁：其他事务不能读取
2012-02-08 18:27:27
775
原创 MemCached安装
1 在安装MemCached之前需要有GCC和LibEvent服务 可以用gcc -v 查看是否已安装GCC。2 安装libevent 首先下载libevent包 上传到服务器 #tar -zxvf libevent-1.4.13-stable.tar.gz //先解压缩 #cd libevent-1.4.13-stable //切换到libevent的目录中 #./conf...
2012-02-07 17:02:59
70
原创 zookeeper安装
下面我以ubuntu 9.10环境为例进行部署Zookeeper1.1安装前准备1.Java6 环境要求安装如果用Zookeeper在windows条件下运行，应该安装Cygwin.2.在hhtp://hadoop.apache.org/zookeeper/releases.html下载稳定释放zookeeper并在合适的地方解压% tar xzf zookeeper-x.y....
2012-01-16 15:27:24
90
原创 hbase安装配置
1、hbase安装部署#cd /hadoop#wget http://apache.etoak.com//hbase/hbase-0.20.6/hbase-0.20.6.tar.gz#tar -zxvf hbase-0.20.6.tar.gz #ln -s hbase-0.20.6 hbase#mkdir hbase-config#cd /hadoop/hbase/conf...
2012-01-12 11:29:51
173
原创 hadoop 安装部署
2台机器:master(192.168.110.223),slave1(192.168.110.222)系统都为Centos 5 假设将master做为namenonde,将slave1做为datanode 1.在master:(在slave1上操作和以下相同) vi /etc/hosts 192.168.110.223 master 192.168.110.222 ...
2012-01-10 09:37:28
170
原创 java中的基本类型和长度
基本类型：byte 二进制位数：8包装类：java.lang.Byte最小值：Byte.MIN_VALUE=-128最大值：Byte.MAX_VALUE=127基本类型：short 二进制位数：16包装类：java.lang.Short最小值：Short.MIN_VALUE=-32768最大值：Short.MAX_VALUE=32767基本类型：int 二进制位数：...
2011-12-14 14:58:40
169
原创 spring3.0 事物
spring3.0中提供了多种事物管理方式，我喜欢aop的实现方式1：AOP方式实现事物，以单数据源为例 --定义advice --定义切点 ---注意 在java中获取连接要用 DataSourceUtils.getConnection(dataSource2)同时datasource2和...
2011-12-07 17:16:45
72
原创 spirng3.0 IOC
spring 3.0 提供了灵活多变的bean声明方式 个人任务基于xml和annotation方式联合使用是一种比较合理的方式，下面是使用过程中的需要注意的点1：每一个DispatchServlet都有自己的作用域，他是继承自公共域，所以公共域中的所有定义在dispatchServlet中是可以直接使用的。（注意：用注释定义的资源全部属于子类，也就是DispatchServlet的作用域，在...
2011-12-06 17:17:27
70
原创 spring常用配置记录
//数据源配置1 或者加上xmlns:jee="http://www.springframework.org/schema/jee"http://www.springframework.org/sc...
2011-12-02 14:52:20
85
原创 java中常用的一些协议记录
1 corba实现中的iiop（internet-inter ORB protocol）协议 ，corba是基于IIOP协议实现远程通信，实现机理是corba客户端和服务端分别生成ORB代理，客户端ORB封装数据，传递到服务端ORB接受和解释数据。在传递数据的过程中还是使用TCP或者UDP传输？我觉得是TCP，这个问题遗留下来。2 rmi使用jrmp（java remote messagin...
2011-10-25 10:41:56
186
原创 浏览器清理缓存设置
1.browser 设置每次访问都清空页面缓存在IE下我们可以直接去修改internet选项/常规/浏览历史记录/到internet临时文件选项的设置中，将检查网页中的较新版 本改成每次访问此页时检查在firefox的地址栏上输入about:config回车 找到browser.cache.check_doc_frequency选项，双击将3改成1保存即可。...
2011-10-11 17:01:25
156
原创 webservice记录
1 查看jboss服务器上的所有webservice服务http://localhost:8080/jbossws/services2 用CXF框架实现webservice现在的项目中需要用到SOA概念的地方越来越多,最近我接手的一个项目中就提出了这样的业务要求,需要在.net开发的客户端系统中访问java开发的web系统,这样的业务需求自然需要通过WebService进行信息数据...
2011-10-10 16:22:05
91
scea,summarise
a architecture should have 7 features.perfermance:to measure a system's perfermance,you can use how many seconds a page form respose or how many transactions can be dealed in one seconds.reliabli...
2011-08-30 11:23:32
92
原创 struts-奇怪问题集
1，在struts-config文件中 controller 标签之后 更 message-resource 顺序还不能错2，struts加载的时候 可能会报Parsing error processing resource path 错误，这有可能是struts-config.xml中的头引起的，原因是config文件中声明的标签和实际的dtd文件对应不上，建议最好是有1.1的 就不会有这种...
2011-04-06 15:45:34
62
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人