- 博客(49)
- 收藏
- 关注
转载 hadoop namenode的恢复
hadoop如何恢复namenode博客分类: hadoop Namenode恢复 1.修改conf/core-site.xml,增加 Xml代码 property> name>fs.checkpoint.periodname> value>3600value>
2013-01-17 10:35:39
501
转载 java读写Excel(POI)
POI官方网址:http://poi.apache.org/POI的功能实在很强大,而且是apache的子项目,它下面又包含一些Component,比如处理Excel XLS,PowerPoint PPT,Word DOC,Outlook MSG,Excel XLSX等,下面就简单讲下poi处理excel的一些内容。下面的jar包来源于当前最新的poi 3.6版本。1.poi来生成ex
2012-10-22 14:51:45
465
转载 tomcat https访问设置
前几天客户提出要强制使用HTTPS方式访问Tomcat中的相关项目,于是研究了下,现将具体的步骤写下: 主要分2步:让tomcat能使用https--->强制使用https访问 1.让tomcat能使用https A.在运行命令JAVA_HOME/bin/keytool -genkey -alias tomcat -keyalg RSA -key
2012-08-28 15:43:18
459
转载 Spring加载静态资源的方式
Spring3中js/css/jpg/gif等静态资源无法找到(No mapping found for HTTP request with URI)问题解决最近项目中使用到Spring3,在感叹Spring3注解配置清爽的同时竟然出现了这个不和谐的事情,实在无法忍受问题:部署项目后程序加载或用浏览器访问时出现类似的警告,2011-01-19 10:52:51,646 WARN [
2012-07-13 13:43:12
5285
原创 hbase问题记录
1 org.apache.hadoop.hbase.client.ScannerTimeoutException 一般在大表的scan时会超时,默认是60000,可以在conf阶段设置。conf.setLong(HConstants.HBASE_REGIONSERVER_LEASE_PERIOD_KEY, 120000) 2
2012-06-18 15:56:26
628
原创 HBase数据备份和恢复
1, hbase自带的备份恢复工具 bin/hbase org.apache.hadoop.hbase.mapreduce.Driver export \table_name /local/pathbin/hbase org.apache.hadoop.hbase.mapreduce.Driver import \table_name /local/path导入时必须先创建表结构。
2012-06-14 11:47:36
2881
1
原创 Greenplum备忘
一、Greenplum数据库的启动与停止1-常规则的greenplum数据库启动与停止:启动:gpstart停止:gpstop重启服务:gpstop –r强制停止服务:gpstop -f -c2-postgresql.conf 与 pg_hba.conf配置文件变后,需要重新装载修改后的参数,而且不停止数据服务:Gpstop –u(注
2012-05-21 11:13:05
520
转载 Tomcat6.x 不显示详细日志的问题
以前用Tomcat用得好好的,项目启动的时候错误日志都会输出到控制台,不知道从啥时候开始,Tomcat的详细错误日志不见了,只报一个万恶的Context [] startup failed due to previous errors,却找不到previous errors具体是啥东西,郁闷了很久,在网上查了一下资料,终于解决了这个问题。 Tomcat的官方原文在http:
2012-05-14 14:02:46
8085
转载 MySql删除重复记录
新建一个临时表 create table tmp as select * from youtable group by name 删除原来的表 drop table youtable 重命名表 alter table tmp rename youtableMYSQL 时间的比较以 TimeStamp为例
2012-04-17 09:24:38
364
原创 linux客户端显示中文
有时候我们会在linux系统中存放一些中文文件,为了能在客户正常显示,需要做一些设置;1 查看系统支持的语言集 #locale -a 如果发现结果没有中文语言包 可以用 yum install fonts-chinese 下载中文语言包2查看当前的语言#echo $LANG3改变当前的语言包 vi /etc/sysconfig/i18n 改成LANG=”z
2012-03-23 16:13:09
590
原创 myeclipse jvm设置
在myeclipse中运行main函数时,回报jvm内存溢出的错误,可以用下面的方法调整(这个和eclipse.ini中的设置不一样),在installed jre 选择edit 然后添加-Xms64m -Xmx1024m//测试代码public static void main(String[] args) {System.out.println(" 内存信息 :" +
2012-03-21 11:01:04
1113
原创 linux下用gridsql做postgresql集群
1 环境准备 3台linux(CentOS5.5)服务器(分别为node1,node2,node3)。 gridsql-2.0-0.noarch.rpm2 postgrel 准备 2.1 每台服务器都需要安装postgresql 本文以postgresql0.9 为例。 注意:安装完postgresql后 务必要把postgresql_home/bin 加
2012-03-02 16:39:56
933
原创 linux下的postgrel9.0安装
1 下载 postgres-9.0.6-1.x86_64.openscg.rpm 2 安装 用root用户 执行 rpm -ivh postgres-9.0.6-1.x86_64.openscg.rpm 3 启动 /etc/init.d/postgres-9.0-openscg start 4 问题: 1、 默认安装,客户端不能访问 会出现:pg_hba.con
2012-03-02 12:09:39
724
原创 hive导入和导出数据
hive官方提供两种导入数据的方式 1 从表中导入: insert overwrite table test select * from test2; 2 从文件导入: 2.1 从本地文件导入: load data local inpath '/hadoop/aa.txt' overwrite into table test11
2012-02-29 16:05:45
966
转载 hadoop集群升级失败回滚策略
一.错误概述 因为需要使用hadoop与hbase结合使用,所以需要为hadoop hdfs升级使用append写模式。需要对现有的hadoop 0.20.1 升级至0.20.205.0; 升级过程简单的使用 hadoop namenode -upgrade 从 -18 version => -32version(这个是dfs/name/current/VERSION).但我们发现
2012-02-29 11:02:39
1261
原创 postgresql 默认模式顺序和改变
postgresql有模式(schema)的概念,其实就是在数据库中划分范围,也就是在不同的模式中,可以有同名的表。可以简单理解为文件系统。 常用的默认模式是public。SHOW search_path;显示现有的模式搜寻顺序,具体的顺序,也可以通过SET search_path TO 'schema_name'来修改顺序。这样的修改只能在当前连接中有效,如果需要长久生效可以为
2012-02-27 17:25:37
5054
原创 linux 下MySQL快速安装和client访问授权
yum install mysql-server //安装mysql服务端/etc/init.d/mysqld start //启动mysql服务器---------------------------------client 访问授权----------------------------------------------------MYSQL中有一张user表 保存了数据库
2012-02-27 17:21:04
681
原创 用sqoop导入数据到hive中
1 安装sqoop 下载sqoop-1.2.0.tar.gz(1.20版兼容hadoop0.20版本) 将 hadoop-core-0.20.2-cdh3u3.jar ,hadoop-tools-0.20.2-cdh3u3.jar 放入sqoop/lib目录下,这两个jar包是cloudera公司出的 ,可以去它的官网下载。2 从mysql中导入数据 进入s
2012-02-27 14:52:02
5017
原创 hive linux环境下的安装
1. 下载hive-0.8.0.tar.gz,hive运行需要依赖hadoop集群,保证hadoop集群的正常运行。2. 将hive-0.8.0.tar.gz解压(一般我们都将hive安装在hadoop的namenode节点上)。 需要在环境变量中添加HADOOP_HOME,HIVE_HOME这两个环境变量即可。 如果不再特殊操作,这样就可以了,3 启动#hive
2012-02-24 16:15:11
3602
原创 MemCached分布式安装
1 Memcache服务端是C写成的,首先准备安装包memcached-1.4.13.tar.gz2 MemCached安装需要依赖GCC和li'bevent,所以首先要安装这2款软件, GCC一般linux都会自带,用gcc -v 查看是否安装了。 查看libevent是否安装 用 ls -al /usr/lib |grep libevent 或者 ls -al /usr/l
2012-02-20 17:19:24
449
原创 Hbase分布式安装
1 Hbase集群需要依赖Hadoop集群和zookeeper集群 ,首先需要确保上述两项安装成功。(hbase对hadoop的版本有要求,具体匹配信息可以参考hbase官方文档,本文使用hadoop0.20.2 + hbase0.90.5)2 下载 hbase0.90.5.tar.gz 解压 tar -xvf hbase0.90.5.tar.gz ln -s hba
2012-02-17 10:20:23
2838
原创 zookeeper分布式安装
1 环境准备:3台linux CentOS5.5服务器 ,下载zookeeper-3.4.2.tar.gz并将只上传至服务器。2 开始安装: 2.1 tar -xvf zookeeper-3.4.2.tar.gz 2.2 ln -s zookeeper-3.4.2.tar.gz zookeeper //做别名,方便访问。 2.3 vim zookee
2012-02-16 13:56:38
668
转载 JConsole使用
JConsole使用一、JConsole远程监控Tomcat服务器 为了解决内存溢出的问题,会用到一些监视内存的工具,jconsole这个工具是jdk5.0自带的工具,所以如果你的jdk是5.0那么就不用去安装。 这个工具可以查看系统的 堆,非堆,线程,等等的一些整体的情况,从而可以判断出系统的一个大概的性能情况。 那么配置如下:如果你是用tomcat,在catalin
2012-02-15 15:03:53
300
原创 在运行jar包的过程中处理引用第三方jar包方法
1 在windows环境中添加jar包到classpath set classpath=.;E:\ncrdb.jar;E:\terajdbc4.jar; (以分号分割)添加属性文件 java -jar attrcheck.jar ./attCheck.properties 2 在linux环境中java -classpath xx.jar:xxx.jar
2012-02-14 11:29:57
542
原创 hadoop分布式 安装(3台节点)
1 环境准备:3台CentOS5.5操作系统的主机,jdk为OpenJDK1.6.0 ,Hadoop版本为0.20.2。2 修改hosts文件,把整个聚群的主机名和IP对应起来,每台机器都需要做。(我用主机名来做hadoop标志,为后续zookeeper做准备,zookeeper只能用主机名,比较搓) vi /etc/hosts 192.168.110.223 Paas1
2012-02-13 13:49:36
562
原创 ActiveMQ 安装(linux)
ActiveMQ在linux下安装非常简单,步骤如下:1 环境准备: 系统环境CentOS5.5 、 JDK版本为OpenJDK1.6.0 设置JAVA_HOME。 下载 apache-activemq-5.5.1-bin.tar.gz 。 2 安装步骤 上传apache-activemq-5.5.1-bin.tar.gz到服务器,解压 tar -xvf
2012-02-13 10:05:52
1824
原创 数据库中的隔离级别和锁机制(包含MySql的测试)
ANSI/ISO SQL92标准定义了一些数据库操作的隔离级别:1 未提交读(read uncommitted)2 提交读(read committed)3 重复读(repeatable read)4 序列化(serializable)锁机制: 共享锁:其他事务可以读,但不能修改。 排他锁:其他事务不能读取
2012-02-08 18:27:27
779
原创 MemCached安装
1 在安装MemCached之前需要有GCC和LibEvent服务 可以用gcc -v 查看是否已安装GCC。2 安装libevent 首先下载libevent包 上传到服务器 #tar -zxvf libevent-1.4.13-stable.tar.gz //先解压缩 #cd libevent-1.4.13-stable //切换到libevent的目录中 #./conf...
2012-02-07 17:02:59
73
原创 zookeeper安装
下面我以ubuntu 9.10环境为例进行部署Zookeeper1.1安装前准备1.Java6 环境要求安装如果用Zookeeper在windows条件下运行,应该安装Cygwin.2.在hhtp://hadoop.apache.org/zookeeper/releases.html下载稳定释放zookeeper并在合适的地方解压% tar xzf zookeeper-x.y....
2012-01-16 15:27:24
95
原创 hbase安装配置
1、hbase安装部署#cd /hadoop#wget http://apache.etoak.com//hbase/hbase-0.20.6/hbase-0.20.6.tar.gz#tar -zxvf hbase-0.20.6.tar.gz #ln -s hbase-0.20.6 hbase#mkdir hbase-config#cd /hadoop/hbase/conf...
2012-01-12 11:29:51
177
原创 hadoop 安装部署
2台机器:master(192.168.110.223),slave1(192.168.110.222)系统都为Centos 5 假设将master做为namenonde,将slave1做为datanode 1.在master:(在slave1上操作和以下相同) vi /etc/hosts 192.168.110.223 master 192.168.110.222 ...
2012-01-10 09:37:28
195
原创 java中的基本类型和长度
基本类型:byte 二进制位数:8包装类:java.lang.Byte最小值:Byte.MIN_VALUE=-128最大值:Byte.MAX_VALUE=127基本类型:short 二进制位数:16包装类:java.lang.Short最小值:Short.MIN_VALUE=-32768最大值:Short.MAX_VALUE=32767基本类型:int 二进制位数:...
2011-12-14 14:58:40
173
原创 spring3.0 事物
spring3.0中提供了多种事物管理方式,我喜欢aop的实现方式1:AOP方式实现事物,以单数据源为例 --定义advice --定义切点 ---注意 在java中获取连接要用 DataSourceUtils.getConnection(dataSource2)同时datasource2和...
2011-12-07 17:16:45
75
原创 spirng3.0 IOC
spring 3.0 提供了灵活多变的bean声明方式 个人任务基于xml和annotation方式联合使用是一种比较合理的方式,下面是使用过程中的需要注意的点1:每一个DispatchServlet都有自己的作用域,他是继承自公共域,所以公共域中的所有定义在dispatchServlet中是可以直接使用的。(注意:用注释定义的资源全部属于子类,也就是DispatchServlet的作用域,在...
2011-12-06 17:17:27
76
原创 spring常用配置记录
//数据源配置1 或者加上xmlns:jee="http://www.springframework.org/schema/jee"http://www.springframework.org/sc...
2011-12-02 14:52:20
90
原创 java中常用的一些协议记录
1 corba实现中的iiop(internet-inter ORB protocol)协议 ,corba是基于IIOP协议实现远程通信,实现机理是corba客户端和服务端分别生成ORB代理,客户端ORB封装数据,传递到服务端ORB接受和解释数据。在传递数据的过程中还是使用TCP或者UDP传输?我觉得是TCP,这个问题遗留下来。2 rmi使用jrmp(java remote messagin...
2011-10-25 10:41:56
193
原创 浏览器清理缓存设置
1.browser 设置每次访问都清空页面缓存在IE下我们可以直接去修改internet选项/常规/浏览历史记录/到internet临时文件选项的设置中,将检查网页中的较新版 本改成每次访问此页时检查在firefox的地址栏上输入about:config回车 找到browser.cache.check_doc_frequency选项,双击将3改成1保存即可。...
2011-10-11 17:01:25
163
原创 webservice记录
1 查看jboss服务器上的所有webservice服务http://localhost:8080/jbossws/services2 用CXF框架实现webservice现在的项目中需要用到SOA概念的地方越来越多,最近我接手的一个项目中就提出了这样的业务要求,需要在.net开发的客户端系统中访问java开发的web系统,这样的业务需求自然需要通过WebService进行信息数据...
2011-10-10 16:22:05
97
scea,summarise
a architecture should have 7 features.perfermance:to measure a system's perfermance,you can use how many seconds a page form respose or how many transactions can be dealed in one seconds.reliabli...
2011-08-30 11:23:32
104
原创 struts-奇怪问题集
1,在struts-config文件中 controller 标签之后 更 message-resource 顺序还不能错2,struts加载的时候 可能会报Parsing error processing resource path 错误,这有可能是struts-config.xml中的头引起的,原因是config文件中声明的标签和实际的dtd文件对应不上,建议最好是有1.1的 就不会有这种...
2011-04-06 15:45:34
64
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人