2012年06月_IT农夫

12月 11月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Hive Invalid maximum heap size: -Xmx4096m错误解决

在windows下通过cygwin中搭建hadoop(0.1.8.2)和hive(0.6)的环境的时候,遇到如下错误$ hiveCould not create the Java virtual machine.Invalid maximum heap size: -Xmx4096mThe specified size exceeds the maximum represent

2012-06-29 16:11:35 16284

原创 cygwin配置pig发生/bin/java: No such file or directory191: /cygdrive/c/dir 错误解决

在Windows环境下通过cygwin搭建Hadoop和pig的时候,在pig-env.sh可以指定JAVA_HOME如下:export JAVA_HOME=/cygdrive/c/hadoop-0.18.2/jdk1.6.0_24/本人在实际操作中却遇到运行pig命令的时候发生/bin/java: No such file or directory191: /cygdrive/c/h

2012-06-28 13:38:53 5320

原创 Hadoop概述

hadoop是什么:Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算.Hadoop框架中最核心设计就是：HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供了对数据的计算.数据在hadoop中处理的流程可以简单的按照下图来理解:数据通过Hadd

2012-06-27 14:26:44 4193

原创 PLSQL中显示游标使用的4个步骤

本例简单介绍一下游标处理的4个过程中涉及到的加锁,一致性读的问题.显式游标处理需四个 PL/SQL步骤:1 定义/声明游标：就是定义一个游标名，以及与其相对应的SELECT 语句。格式： CURSOR cursor_name[(parameter[, parameter]…)] [RETURN datatype] IS selec

2012-06-20 15:31:35 4850 2

转载 sqlplus中define定义的常量和variable定义的变量已经column给变量赋值的区别

前两天看到有人在pub上问在sqlplus中通过define和variable定义,以及column定义的变量的区别。其实define定义的我理解不是变量而是字符常量，通过define定义之后，在通过&或者&&引用的时候不需要输入了，仅此而已。oracle在执行的时候自动用值进行了替换；而variable定义的是绑定变量。C:>sqlplus xys/managerSQL*Plus: Re

2012-06-20 12:35:55 3644

转载在Windows下利用cygwin搭建hadoop环境.

1、所需软件1.1、Cygwin下载地址：http://www.cygwin.com/setup.exe1.2、JDK 1.6.x1.3、hadoop(本例用的是hadoop-0.18.2)下载地址：http://download.csdn.net/detail/kkdelta/4381822hadoop的官方网站 http://hadoop.apache.org/

2012-06-19 15:56:02 6280

转载大型网站架构演变和知识体系

之前也有一些介绍大型网站架构演变的文章，例如LiveJournal的、ebay的，都是非常值得参考的，不过感觉他们讲的更多的是每次演变的结果，而没有很详细的讲为什么需要做这样的演变，再加上近来感觉有不少同学都很难明白为什么一个网站需要那么复杂的技术，于是有了写这篇文章的想法，在这篇文章中将阐述一个普通的网站发展成大型网站过程中的一种较为典型的架构演变历程和所需掌握的知识体系，希望能给想从事互联网

2012-06-19 12:31:06 2278 1

原创让JAVA代码跑得更快

本文简单介绍一下在写代码过程中用到的一些让JAVA代码更高效的技巧.1,将一些系统资源放在池中,如数据库连接,线程等.在standalone的应用中,数据库连接池可以使用一些开源的连接池实现,如C3P0,proxool和DBCP等,在运行在容器中的应用这可以使用服务器提供的DataSource.线程池可以使用JDK本身就提供的java.util.concurrent.ExecutorServi

2012-06-12 12:56:50 2400

原创如何理解Oracle中"通过角色授权"需要用户重新登陆

我们经常听到在Oracle中,通过角色授予用户权限的时候需要用户重新登陆才能获得授予的权限,这句话到底怎么理解呢?通过下面的步骤我们来理解这句话的含义.1,DBA做如下的操作:create user u1 identified by u1create role r1;grant create session to r1;grant r1 to u1;通过查询 selec

2012-06-08 17:06:18 2305

原创 JAVA集合中删除元素时的java.util.ConcurrentModificationException

在JAVA的集合(LIST,SET)中通过iterator.hasNext() 或者iterator.next()遍历集合中的数据时,如果这时候add或者remove集合中的元素,会发生ConcurrentModificationException异常.本文简单说明一下这种现象和解决方法.如下面的代码,不管是remove还是add都会发生ConcurrentModificationExce

2012-06-08 12:05:12 3588

原创 JAVA类的静态加载和动态加载以及NoClassDefFoundError和ClassNotFoundException

我们都知道JAVA初始化一个类的时候可以用new 操作符来初始化,也可通过Class.forName的方式来得到一个Class类型的实例,然后通过这个Class类型的实例的newInstance来初始化.我们把前者叫做JAVA的静态加载,把后者叫做动态加载.后者在很多框架中经常使用,通过用property文件的方式指定类名称.如我们熟悉的在写JDBC代码的时候加载不同数据库的驱动.静态加载的时

2012-06-06 11:53:20 10803 1

原创 ORA-01555模拟与解释

当执行一个查询时间非常长的时候,可能碰到ora-01555错误,本文来模拟并解释一下原因.013555是因为查询的数据在执行查询的过程中,被修改了,同时在undo表空间中已经找不到了造成的.首先来了解一下Oracle在执行一个查询的时候,在开始查询后其根据条件本该查询出来的数据发生变化的时候,Oracle是将变化之前的数据查询出来的.模拟如下:1,有一张表的数据如下:SQL> se

2012-06-05 17:49:11 1931

转载 Unix调试的瑞士军刀：lsof

这是“你应该知道的Unix和Linux命令”系列的第三篇，在这篇文章中，我会介绍lsof这个工具，如果说netcat是进行网络诊断的瑞士军刀，那么lsof就是Unix调试的瑞士军刀。Lsof是遵从Unix哲学的典范，它只做一件事情，并且做的相当完美——它可以列出某个进程打开的所有文件信息。打开的文件可能是普通的文件，目录，NFS文件，块文件，字符文件，共享库，常规管道，明明管道，符号链接，So

2012-06-05 14:22:24 1141

原创 Oracle中诊断阻塞的session

由于锁的机制,当某一条DML或者DDL SQL语句执行被阻塞的时候,需要找出是什么原因导致这条SQL被阻塞了,下面介绍一下通常的诊断方法:假设有这样一个表: table t(id int primary key,val int);数据为:idval11221,在一个Session,这里把它叫做Session A,做

2012-06-01 15:12:05 2181 1

转载 Linux vmstat命令实战详解

vmstat命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率，内存使用，虚拟内存交换情况,IO读写情况。这个命令是我查看Linux/Unix最喜爱的命令，一个是Linux/Unix都支持，二是相比top，我可以看到整个机器的CPU,内存,IO的使用情况，而不是单单看到各个进程的CPU使用率和内存使用率(使用场景不一样)。一般vmstat

2012-06-01 10:53:18 1225

转载 linux的free命令详解-内存是拿来用的不是拿来看的

我告诉有朋友我一直用linux.他问我了一下我为什么linux使用的内存这么高.他讲他1G的内在free才232M.讲win xp才用200M的样子.其实啊.linux的内存是很说究的.如下显示free是显示的当前内存的使用,-m的意思是M字节来显示内容.我们来一起看看. 123456$ free-m

2012-06-01 10:42:23 1941