2012年08月_冰火两重天

转载 Java Class文件结构

http://caoyaojun1988-163-com.iteye.com/blog/1114420Java class 文件1、Class文件是什么：class文件是java程序二进制文件的精确的定义，每一个class的文件都对应一个类或则接口，class文件是JVM真正能读懂的文件格式。2、Class文件与java的关系：一般的讲class文件由java的类文件编译而来，

2012-08-21 09:55:58 672

转载 Hadoop InputFormat浅析

随着越来越多的公司采用Hadoop，它所处理的问题类型也变得愈发多元化。随着Hadoop适用场景数量的不断膨胀，控制好怎样执行以及何处执行map任务显得至关重要。实现这种控制的方法之一就是自定义InputFormat实现。相关厂商内容百度技术沙龙第二十九期：易维护的前端框架（8月18日周六）现在报名QCon杭州2012大会享8折优惠，团购更多折扣，10月25~27

2012-08-17 23:09:46 3082

转载 Hadoop Outputformat浅析

http://www.infoq.com/cn/articles/HadoopOutputFormatHadoop常常被用作大型数据处理生态系统中的一部分。它的优势在于能够批量地处理大量数据，并将结果以最好的方式与其他系统相集成。从高层次角度来看，整个过程就是Hadoop接收输入文件、使用自定义转换（Map-Reduce步骤）获得内容流，以及将输出文件的结果写回磁盘。上个月InfoQ展

2012-08-17 23:05:02 3265

转载如何远程调试Hadoop代码

转：http://blog.csdn.net/nexus/article/details/6552098通常情况下，我们只是通过已经编译好的Hadoop jar包来运行Hadoop。如果我们更改了Hadoop的源码，希望对更改的代码进行远程调试，可以通过下面的步骤来进行： 1. 下载从Apache社区或者Cloudera网站上下载Hadoop的压缩包2. 在ec

2012-08-17 17:33:35 860

转载 Hadoop的TaskTracker黑名单机制

Note：这里描述的黑名单是指jobtracker网页summary表格中显示的”Blacklisted Nodes"，称之为集群黑名单. 在HADOOP-4305之前，Hadoop中每个job会维护一个TaskTracker黑名单，这里称之为job黑名单。简单来讲就是当一个job中有4个task曾经在某个tasktracker上失败过，则该job就将这个tasktracker加入自

2012-08-17 17:28:25 2576

原创 Java socket阻塞和超时

Socket 的 I/O调用可能会因为多种原因而阻塞: 1)数据输入方法 read()和 receive()在没有数据可读时会阻塞 2)TCP套接字的 write()方法在没有足够的空间缓存传输的数据时可能阻塞 3)ServerSocket的 accept()方法和 Socket 的构造函数都会阻塞等待，直到连接建立。accept(),r

2012-08-17 16:16:46 7392

原创 Java成幀与解析

Java提供了对任意字符集的支持，而且每种实现都必须支持以下至少一种字符集： US-ASCII （ASCII 的另一个名字）， ISO-8859-1， UTF-8， UTF-16BE，UTF-16LE，UTF-16。调用 String 实例的 getBytes()方法，将返回一个字节数组，该数组根据平台默认字符集（default charset）对 String 实例进行了编码，所以发

2012-08-17 14:37:38 2392

转载 Java正则表达式

正则表达式善于处理文本，对匹配、搜索和替换等操作都有意想不到的作用。正因如此，正则表达式现在是作为程序员七种基本技能之一*，因此学习和使用它在工作中都能达到很高的效率。　　正则表达式应用于程序设计语言中，首次是出现在 Perl 语言，这也让 Perl 奠定了正则表达式旗手的地位。现在，它已经深入到了所有的程序设计语言中，在程序设计语言中，正则表达式可以说是标准配置了。　　Java 中从 J

2012-08-16 21:11:49 1689

转载 Java字符编码解码

http://blog.csdn.net/geli_hero字符集基础：Character set（字符集）字符的集合，也就是，带有特殊语义的符号。字母“A”是一个字符。“%”也是一个字符。没有内在数字价值，与 ASC II ，Unicode，甚至是电脑也没有任何的直接联系。在电脑产生前的很长一段时间内，符号就已经存在了。 Coded chara

2012-08-15 22:56:19 2408

原创 JavaTCP/IP笔记之发送和接受数据

在程序中使用套接字是因为需要向其他程序提供信息，或使用其他程序提供的信息。任何要交换信息的程序之间在信息的编码方式上必须达成共识（如将信息表示为位序列），以及哪个程序发送信息，什么时候和怎样接收信息都将影响程序的行为。 TCP/IP 协议以字节的方式传输用户数据，并没有对其进行检查和修改，使得应用程序可以非常灵活地对其传输的信息进行编码。应用程序协议中明确定义了信息的

2012-08-15 18:02:16 1416

原创获取Linux下月的自然天数

linux 下获取某个月的自然天数cal 02 2012 |awk '{if(NR!=1 && NR!=2)print $0}'|awk 'BEGIN{sum=0}{split($0,array," ");for( i in array) if(array[i]!="") print array[i]}'|wc -l

2012-08-15 14:16:56 2710

http://www.imkevinyang.com/2009/08/%E4%BD%BF%E7%94%A8%E6%AD%A3%E5%88%99%E8%A1%A8%E8%BE%BE%E5%BC%8F%E6%89%BE%E5%87%BA%E4%B8%8D%E5%8C%85%E5%90%AB%E7%89%B9%E5%AE%9A%E5%AD%97%E7%AC%A6%E4%B8%B2%E7%9A%84%E6

2012-08-15 13:30:30 4416

转载 Java ant 依赖包一并打包

http://www.cnblogs.com/kingzzm/archive/2012/03/16/2399902.html在ant中将依赖jar包一并打包的方法　　一般jar包里面是不包含jar文件的，如果自己的类有依赖其他jar包，可以通过ant命令将这些jar包解析，然后和自己的class文件打在一起，命令如下： jar basedir="$

2012-08-15 11:07:23 3678

转载 hadoop lzo文件的并行map处理

http://blog.csdn.net/fanshadoop/article/details/7853421Hadoop集群中启用了lzo后，还需要一些配置，才能使集群能够对单个的lzo文件进行并行的map操作，以提升job的执行速度。首先，要为lzo文件创建index。下面的命令对某个目录里的lzo文件创建index：$HADOOP_HOME/bin/hadoop

2012-08-14 22:16:08 1342

转载 JVM基本结构

http://blog.csdn.net/cutesource/article/details/5904501从Java平台的逻辑结构上来看，我们可以从下图来了解JVM：从上图能清晰看到Java平台包含的各个逻辑模块，也能了解到JDK与JRE的区别对于JVM自身的物理结构，我们可以从下图鸟瞰一下：对于JVM的学习，在我看来这么几个部分最重要：

2012-08-14 21:45:45 596

转载 Java代码编译和执行的整个过程

http://blog.csdn.net/cutesource/article/details/5904542Java代码编译是由Java源码编译器来完成，流程图如下所示：Java字节码的执行是由JVM执行引擎来完成，流程图如下所示： Java代码编译和执行的整个过程包含了以下三个重要的机制：Java源码编译机制类加载机制类执行机制Java源码编译机制J

2012-08-14 21:43:33 662

原创 python默认编码

python的默认编码为ascii，如果想改变默认编码是有方法的。 1）reload(sys) 重新装载sys模块 2) sys.setdefaultencoding("utf-8") 这样就可以解决默认编码为ascii与utf-8的问题了。参考：http://blog.csdn.net/samxx8/article/details/6286407

2012-08-13 17:33:55 828

转载浅谈bitmap算法

http://blog.csdn.net/kongzhp/article/details/7525397久闻《编程珠玑》一书中提出的bitmap算法之大名，只是没有深入的去研究，今天下午有兴致研究一番，才知道其中的玄机奥秘，不亚于KMP算法之巧妙，下面就由浅入深的谈谈bitmap算法。一、bitmap算法思想 32位机器上，一个整形，比如int a; 在内存中

2012-08-11 14:43:19 4632 1

原创 hadoop相关博客

俗话说，他山之石，可以攻玉。好好学习别人的blog，长足发展自己。博客：1 http://www.cnblogs.com/dlutxm/category/286837.html2 http://dongxicheng.org/data-mining/hadoop-sampling/3 http://blog.csdn.net/xiejava/article/month/2

2012-08-10 22:56:27 1283

转载 Sequencefile 文件结构

SequenceFile是由二进制键值对组成的扁平文件。SequenceFile提供了writer、reader和sorter三种类来写、读和排序。真实的压缩逻辑是使用指定的合适CompressionCodec对key、value进行处理。 SequenceFile文件格式Header通用头文件格式： SEQ(3bytes) Num(1byte数字)

2012-08-01 21:15:47 1127

原创 Java TCP/IP之UDP 套接字发送和接收信息

使用 UDP 套接字发送和接收信息

2012-08-01 20:03:25 843

原创 Java TCPIP之UDP 服务器端

package network;import java.io.IOException;import java.net.DatagramPacket;import java.net.DatagramSocket;public class UDPEchoServer { private static final int ECHOMAX = 255; public static vo

2012-08-01 18:47:28 1093

原创 Java TCPIP之UDP客户端

package network;import java.io.IOException;import java.io.InterruptedIOException;import java.net.DatagramPacket;import java.net.DatagramSocket;import java.net.InetAddress;public class UDPEchoC

2012-08-01 17:52:35 1530 2

Java&&大数据专栏