myapple456-CSDN博客

原创 spring+weblogic+jms配制

1.applicationContext-jms.xml 配制内容如果下[code="java"] weblogic.jndi.WLInitialContextFactory t3://127.0.0.1:7001 weblogic.jndi.factories ...

2013-10-14 09:56:05 242

原创函数和自治事务pragma autonomous_transaction

基本知识。有的时候，希望在select语句中使用自己定义的函数，并且这个函数除了返回特定的值之外，还执行update,insert,delete等操作。对数据库有写操作(update,insert,delete,crate,alert,commit)的函数是无法简单的用SQL来调用的。如何实现？关键是pragma autonomous_trans...

2013-10-11 14:43:58 360

原创 myBatis整合spring

[url]http://www.360doc.com/content/12/0315/16/203871_194571727.shtml[/url]

2013-05-25 19:21:57 86

原创 struts 2.3.7+spring3.2.0+MyBatis3.1 整合

最近无聊，就想着做一下ssm的整合~在网上先去找资料，但是发现大多都不是入门级。尤其是需要哪些jar，都没有注明出来。　　　　那么我就写一篇，算作是入门的教程，高手勿拍砖~ 一、准备工作首先去找struts的.　　http://struts.apache.org/ 下载最新的struts 2.3.7. (在发这篇文章前我发现已经升级...

2013-05-19 21:03:02 111

原创 Hive中小表与大表关联(join)的性能分析

经常看到一些Hive优化的建议中说当小表与大表做关联时，把小表写在前面，这样可以使Hive的关联速度更快，提到的原因都是说因为小表可以先放到内存中，然后大表的每条记录再去内存中检测，最终完成关联查询。这样的原因看似合理，但是仔细推敲，又站不住脚跟。多小的表算小表？如果所谓的小表在内存中放不下怎么办？我用2个只有几条记录的表做关联查询，这应该算是小表了，在查看reduce的执行日志时依然是有...

2013-05-09 10:53:22 118

原创 HIVE 命令行

执行一个查询$HIVE_HOME/bin/hive -e 'select a.col from tab1 a'之后过程中，会在终端上显示mapreduce的进度，执行完毕后，最后把查询结果输出到终端上，接着hive进程退出，不会进入交互模式。使用静音模式执行一个查询$HIVE_HOME/bin/hive -S -e 'select a.col from tab...

2013-05-08 15:39:03 130

原创 sqoop

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。1、下载地址：http://sqoop.apache.org/2、修改SQOOP的文件configure-sqoop，注释掉hbase和...

2013-04-24 18:28:14 70

原创 HBase 增量备份和还原工具

HBase自带的export/import机制可以实现Backup Restore功能。而且可以实现增量备份。下面设增量备份的python脚本在这个脚本中，每天做增量备份，每个月15日做全备份。import time import datetime from datetime import date import sys import os tablename=s...

2013-04-23 10:46:42 180

原创 hadoop集群崩溃恢复记录

一.崩溃原因搭建的是一个hadoop测试集群，所以将数据备份参数设置为dfs.replication=1,这样如果有一台datanode损坏的话，数据就会失去。但不幸的是，刚好就有一台机器由于负载过高，导致数据操坏。进而后面需要重启整个hadoop集群,重启后启动namenode启动不了。报如下错误: FSNamesystem initialization failed saveLease...

2013-04-22 11:24:16 154

原创 mapreduce 操作hbase、mysql

[code="java"]public class MyAction { public static void main(String[] args) { UserGroupInformation ugi = UserGroupInformation.createRemoteUser("hadoop"); ugi.doAs(new PrivilegedAction() ...

2013-04-12 15:09:36 184

原创 hadoop版本总结

hadoop有两个分支：0.20.x 和0.23.x。其中0.20.x是比较稳定的版本，0.23.x中新特性更多，但相对不稳定。其中从0.20.x 分支发展出来的是：hadoop1.0，CDH3从0.23.x 分支发展出来的是：hadoop-alpha，CDH4下面具体说hadoop1.0、2.0 和CDH3、CDH4：Apache Hadoop 2012年10月02...

2013-04-11 17:52:46 100

原创 Hadoop无法处理中文问题解决方案

由于Hadoop默认编码为UTF－8，并且将UTF－8进行了硬编码，所以我们在处理中文时需要重写OutputFormat类。方法为：1、新建类GBKFileOutputFormat，代码如下：import java.io.DataOutputStream; import java.io.IOException; import java.io.UnsupportedEncodingExce...

2013-03-15 10:18:52 344

原创 GC是在什么时候，对什么东西，做了什么事情？

面试题目：地球人都知道，Java有个东西叫垃圾收集器，它让创建的对象不需要像c/cpp那样delete、free掉，你能不能谈谈，GC是在什么时候，对什么东西，做了什么事情？一.回答：什么时候? 1.系统空闲的时候。分析：这种回答大约占30%，遇到的话一般我就会准备转向别的话题，譬如算法、譬如SSH看看能否发掘一些他擅长的其他方面。 2.系统自身决定...

2013-03-15 10:07:08 417

目前在Java中存在两种锁机制：synchronized和Lock，Lock接口及其实现类是JDK5增加的内容，其作者是大名鼎鼎的并发专家Doug Lea。本文并不比较synchronized与Lock孰优孰劣，只是介绍二者的实现原理。数据同步需要依赖锁，那锁的同步又依赖谁？synchronized给出的答案是在软件层面依赖JVM，而Lock给出的方案是在硬件层面依赖特殊的CPU指令，大家可能...

2013-03-15 09:53:15 68

原创如何在本地eclipse运行mapreduce程序

因为不是太复杂，所以只贴代码了，有注释，相信朋友没都能看懂。public static void main(String[] args) { //在本地windows平台eclipse运行mapreduce程序 //创建远程用户，以指定的用户来运行程序 //把要运行的程序代码放到run方法体里 UserGroupInformation ugi = Us...

2013-03-15 09:20:30 483

原创 HBase性能优化方法总结

[url]http://blog.linezing.com/2012/03/hbase-performance-optimization[/url]

2013-03-15 09:20:00 90

原创读写sequenceFile

public class WriteReadSequenceFileTest { /** * @param args */ public static void main(String[] args) { Configuration conf=new Configuration(); conf.set("fs.default.name", "hdfs://172...

2013-03-14 11:33:11 298

原创漫谈重构

因为工作内容的原因，我在前后两家公司中的工作中主持和经历了十余次代码和架构的重构，下面随便说说我对重构的一些经验和想法。　　关于重构　　首先重构面临的背景都是相似的，程序员们为了快速完成需求和上线而写出了最基本的代码，而在功能的不断扩充过程中，以打补丁的方式对代码进行扩充，中间还会面临着开发人员的变更和离职。逐渐的，代码就会越来越臃肿，渐渐的变得难以维护。　　糟糕的架构会有什么样的影响...

2013-03-14 11:29:25 56

原创 Linux常用命令小结1

1. 磁盘使用情况du -h 查看当前用户每个文件的大小，格式化显示df -h 磁盘使用情况iostat -xm 3 磁盘的读写情况2. VI常用命令esc切换文件读写状态，I键插入，O键追加：q! 强制退出：wq 保存后退出：x 保存后退出G 到文件尾部1G到文件首或者 gg0行首$行尾ctrl + f 向文件尾翻一页ctrl +...

2013-03-14 11:26:12 110

原创海量数据处理系列（二）系统过载保护

前言：前段时间在网上看到腾讯后台开发总监bison分享的一篇文章《浅谈过载保护》，读来受益匪浅。刚好自己也在处理系统请求过载的问题，把自己的一些心得体会总结出来拿来与大家一起探讨。在bison的文章中谈到：对于延时敏感的服务，当外部请求超过系统处理能力，如果系统没有做相应保护，可能导致历史累计的超时请求达到一定的规模，像雪球一样形成恶性循环，由于系统处理的每个...

2013-03-14 11:21:33 145

原创海量数据处理系列之（一）Java线程池使用

前言：最近在做分布式海量数据处理项目，使用到了java的线程池，所以搜集了一些资料对它的使用做了一下总结和探究，前面介绍的东西大多都是从网上搜集整理而来。文中最核心的东西在于后面两节无界队列线程池和有界队列线程池的实例使用以及线上问题处理方案。 1. 为什么要用线程池？在Java中...

2013-03-14 11:14:17 175

原创常用排序算法小结（附Java实现）

常用排序算法小记排序算法很多地方都会用到，近期又重新看了一遍算法，并自己简单地实现了一遍，特此记录下来，为以后复习留点材料。废话不多说，下面逐一看看经典的排序算法： 1. 选择排序选择排序的基本思想是遍历数组的过程中，以 i 代表当前需要排序的序号，则需要在剩余的 [i…n-1] 中找出其中的最小值，然后将找到的最小值与 i 指向的值进行交换。因为每...

2012-06-28 16:20:34 50

原创 oracle 语句

用户查询select username,account_status,default_tablespace from user_users/dba_users表空间查询select tablespace_name from user_tablespaces/dba_tablespaces;创建用户create user news identified by news defau...

2012-06-20 17:35:53 79

原创 JAVA 面试32问

第一，谈谈final, finally, finalize的区别。（最常被问到） final修饰符（关键字）如果一个类被声明为final，意味着它不能再派生出新的子类，不能作为父类被继承。因此一个类不能既被声明为abstract，又被声明为final。将变量或方法声明为final，可以保证它们在使用中不被改变。其初始化可以在两个地方：一是其定义处，也就是说在final变量定义时直接给...

2012-06-19 13:16:10 59

原创 HBase

HBase是Hadoop中的一个简单数据库。它与Google的Bigtable特别相似，但也存在许多的不同之处。数据模型 HBase数据库使用了和Bigtable非常相似的数据模型。用户在表格里存储许多数据行。每个数据行都包括一个可排序的关键字，和任意数目的列。表格是稀疏的，所以同一个表格里的行可能有非常不同的列，只要用户喜欢这样做。列名是“:”形式，其中和可以...

2012-06-19 11:26:53 70

原创 Hive常用的SQL命令操作

创建表hive> CREATE TABLE pokes (foo INT, bar STRING); 创建表并创建索引字段dshive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING); 显示所有表hive> SHOW TABLES;按正条件（正则表达式）显示...

2012-06-19 10:39:31 108

大海