- 博客(294)
- 收藏
- 关注
RSS订阅原创 scala def和val变量的不同
jedis使用时发现connection的连接数一直增长，调查后发现：def conn = new JedisCluster(new util.HashSet[HostAndPort](nodes.asJava)) 原因是def是方法每次调用都会new一个新的JedisCluster 改成如下：val conn = new JedisCluster(new util.Ha...
2017-03-22 17:45:15
433
原创 Ubuntu安装ta-lib库
wget http://prdownloads.sourceforge.net/ta-lib/ta-lib-0.4.0-src.tar.gztar -zxvf ta-lib-0.4.0-src.tar.gzcd ta-lib./configuremake &make install sudo pip3.5 install ta-lib 参考：https://...
2017-02-07 23:16:20
1551
原创 巴科斯范式
巴科斯范式(BNF: Backus-Naur Form 的缩写)是由 John Backus 和 Peter Naur 首次引入一种形式化符号来描述给定语言的语法（最早用于描述ALGOL 60 编程语言）。 巴科斯范式的内容在双引号中的字("word")代表着这些字符本身。而double_quote用来代表双引号。在双引号外的字（有可能有下划线）代表着语法部分...
2017-01-18 09:30:23
374
原创 circe Encoding和Decoding
Encoder[A]是将A类型转化成JSON的函数，Decoder[A]是将Json转化成一个A对象或者是exception的函数。 circe提供了scala标准库中类型的的implicit函数，可以方便的对String，Int等基本类型进行处理，同时也提供了List[A]、Option[A]和其他泛型类型的处理，只要是A有对应的Encoder。 可以使用 .asJson 将...
2017-01-16 17:33:52
597
原创 scala学习：try catch 返回值
Scala的行为与Java的差别仅源于Java的try-finally不产生值。Java里，如果finally子句包含一个显式返回语句，或抛出一个异常，这个返回值或异常将“凌驾”于任何之前源于try代码块或某个它的catch子句产生的值或异常之上。如： def f(): Int = try { return 1 } finally { return 2 } 调用f()产生结果值...
2017-01-16 09:23:07
892
原创 eclipse插件列表
MaintainJ 代码分析http://maintainj.com/index.htmllog4emarkdown - http://winterstein.me.uk/projects/tt-update-site/site.xmlgitsvnjunithelperhttps://github.com/seratch/junithelper...
2012-12-16 01:20:30
103
原创 String.getBytes()和new String()
在Java中，String.getBytes(String decode)方法会根据指定的decode编码返回某字符串在该编码下的byte数组表示，如byte[] b_gbk = "中".getBytes("GBK");byte[] b_utf8 = "中".getBytes("UTF-8");byte[] b_iso88591 = "中".getBytes("ISO8859.
2012-11-21 21:44:20
171
原创 java 实现二分查找法
/** * 二分查找又称折半查找，它是一种效率较高的查找方法。 【二分查找要求】：1.必须采用顺序存储结构 2.必须按关键字大小有序排列。 * @author Administrator * */public class BinarySearch { public static void main(String[] args) { int[] src ...
2012-10-11 13:52:20
155
原创 java ascii
import org.junit.Test;public class byte2ascii { public static char convertChar1(byte b) { return (char) b; } public static char convertChar2(byte b) { return (char) ((0xff &...
2012-09-17 14:59:37
129
原创 ubuntu tomcat 报错 StandardServer.await: create[localhost:8005]: java.net.BindExc
严重: StandardServer.await: create[localhost:8005]: java.net.BindException: Cannot assign requested address at java.net.PlainSocketImpl.socketBind(Native Method) at java.net.PlainSocketImpl.bind(P...
2012-09-09 15:39:58
257
原创 hbase 压缩
Hbase有两种压缩策略：minor和major。Minor compactions通常选择几个临近的小的storefiles把他们重写成一个。Minors 不会丢掉已删除或者过期的cells，只有major compactions才会做这些。有时一次Minor compactions将会选择一个store里的全部storefiles，因此，它实际上是一次局部的major compact...
2012-06-14 21:53:07
248
原创 apache hadoop 2
apache hadoop 2.x 是在1.x版本上做了重大的改进。以下是一个关于HDFS和MapReduce的简短的改进概述。 HDFS Federation 为了提升name service 的水平扩展性，federation使用多个独立的Namenodes/Namespaces。Namenodes独立运行且不需要与其他namenode协作运行。datanodes为所有na...
2012-06-14 00:54:06
119
原创 java 纠结的byte和字符串
import java.security.MessageDigest;import java.security.NoSuchAlgorithmException;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.Date;import org.apach...
2012-06-05 11:09:38
113
原创 Java遍历文件夹的2种方法
A.不使用递归的方法： import java.io.File;import java.util.LinkedList;public class FileSystem {public static void main(String[] args) { long a = System.currentTimeMillis(); LinkedLis...
2012-03-13 14:04:22
93
原创 Linux 修改主机名字
修改 /etc/sysconfig/network 里面的主机名 注意看看/etc/hosts里的名字是不是也需要修改 修改完重启机器就可以了
2011-12-16 15:24:02
116
原创 Java中的Constants类
Constants类即常量类是将一些常用的变量集合到一个地方的类，常量应该定义在类中，而不是接口中（见Effective Java 2nd Edition, Item19），如果定义的常量是int类型的，可使用Enum类来代替（见Effective Java 2nd Edition, Item30），然而，有些常量类，比如String类型的常量类，可能不太适合使用Enum类来代替。不像...
2011-12-16 14:48:51
1431
原创 hadoop乱码
文件存入hadoop出现乱码，尤其是在windows下的cygwin环境测试时候 囧 建议使用如下配置，而不是去改hadoop源码： hadoop-env.shexport HADOOP_OPTS="-server -Dfile.encoding=utf-8 -Duser.language=zh" mapred-site.xml<property>...
2011-12-12 14:36:02
136
原创 Partitioner, SortComparator and GroupingComparator in Hadoop
hadoop 0.20.2 api里面，作业被重新定义到了类 org.apache.hadoop.mapreduce.Job。它有3个特别的方法：job.setPartitionerClass(Partitioner p);job.setSortComparatorClass(RawComparator c);job.setGroupingComparatorClass(Raw...
2011-12-12 14:15:05
126
原创 一个多线程例子
class Info { public synchronized void hold() throws InterruptedException { this.wait(); } public synchronized void run() { this.notifyAll(); }}public class TestThread extends Th...
2011-12-07 14:35:09
98
原创 HDFS Federation设计动机与基本原理
HDFS Federation是Hadoop最新发布版本Hadoop-0.23.0中为解决HDFS单点故障而提出的namenode水平扩展方案。该方案允许HDFS创建多个namespace以提高集群的扩展性和隔离性。本篇文章主要介绍了HDFS Federation的设计动机和基本原理。1. 当前HDFS概况1.1 当前HDFS架构当前HDFS包含两层结构：（1） Namespa...
2011-12-06 10:50:08
306
原创 Apache Hadoop 0.23 MapReduce 2.0 (MRv2 or YARN) 介绍
MapReduce 在hadoop 0.23版本中经历了一次大修改。现在叫做MapReduce 2.0 (MRv2) 或者 YARN。JobTracker在MRv2 中被拆分成了两个主要的功能使用守护进程执行：资源管理和任务的调度与监视。这个想法创建一个全局的资源管理（global ResourceManager (RM)）和为每个应用创建一个应用管理（ApplicationMaster (A...
2011-12-05 15:27:14
114
原创 Apache Hadoop 0.23 HDFS Federation介绍
HDFS Federation 为了水平扩展命名服务的规模，federation 使用多个Namenode和命名空间代替过去的单个Namenode的模式。多个Namenode被联合在一起提供服务，但是每个Namenode又是独立的，且每个Namenode不需要与其他Namenode协调工作。而Datenode的存储方式还是和过去一样使用块来存储，但每个Datenode需要注册到集群中...
2011-12-04 23:31:30
104
原创 java 获取linux进程信息
public static String run(String shell) throws IOException{Process process = Runtime.getRuntime().exec(shell);BufferedReader br = new BufferedReader(new InputStreamReader(process.getInputStream()))...
2011-11-28 17:27:44
946
原创 CollectionUtils和ArrayUtils
参考：http://qinya.iteye.com/blog/751335http://blu6e.blog.163.com/blog/static/739953312009528520602/
2011-11-23 17:48:50
141
原创 读hadoop0.23源码(1)：Job
每次配置job的时候，最后一步总是 System.exit(job.waitForCompletion(true) ? 0 : 1); 进入waitForCompletion方法 public boolean waitForCompletion(boolean verbose ) throws IOExce...
2011-11-23 10:47:59
115
原创 String、StringBuffer和StringBuild的区别
String、StringBuffer和StringBuild的区别： public class Test1 { public static void stringReplace (String text) { text = text.replace('j','i') ; System.out.println(text) ; ...
2011-11-21 14:19:02
114
原创 Linux文件查找命令find,xargs详述
目录版权声明前言：关于find命令一、find 命令格式1、find命令的一般形式为；2、find命令的参数；3、find命令选项；4、使用exec或ok来执行shell命令；二、find命令的例子；1、查找当前用户主目录下的所有文件；2、为了在当前目录中文件属主具有读、写权限，并且文件所属组的用户和其他用户具有读权限的文件；3、为了查找系统中所有文件长度为0的普通文...
2011-11-18 10:55:00
83
原创 SQL 左外连接，右外连接，全连接，内连接
连接条件可在FROM或WHERE子句中指定，建议在FROM子句中指定连接条件。WHERE和HAVING子句也可以包含搜索条件，以进一步筛选连接条件所选的行。 连接可分为以下几类： 内连接。（典型的连接运算，使用像 = 或 <> 之类的比较运算符）。包括相等连接和自然连接。 内连接使用比较运...
2011-11-10 10:40:23
78
原创 MapReduce名词解释
在网上收集了一些mapreduce中常用的一些名词的解释，分享一下：Shuffle（洗牌）：当第一个map任务完成后，节点可能还要继续执行更多的map 任务，但这时候也开始把map任务的中间输出交换到需要它们的 reducer那里去，这个移动map输出到 reducer 的过程叫做shuffle。 Partition：每一个reduce节点会分派到中间输出的键集合中的一个不同的子集...
2011-11-08 10:23:24
256
原创 JAVA调用ORACLE PACKAGE 的FUNCTION&PROCEDURE
CREATE OR REPLACE PACKAGE SCOTT.pkg_test as/* 定义ref cursor类型不加return类型，为弱类型，允许动态sql查询，否则为强类型，无法使用动态sql查询;*/type myrctype is ref cursor; --函数申明function get(intID number) return myrct...
2011-11-04 13:45:55
189
原创 hadoop问题汇总
1.系统时钟。zookeeper会根据系统时钟判断两台机器多久没有连接了。所以各系统时钟不能相差太大。最好写个脚本专门同步系统时间。见到一台更变态的机器。两个时钟同步以后，过一段时间时钟又不同步了。 解决办法：使用NTP服务器定时同步各系统时钟。...
2011-11-02 09:39:20
73
原创 Linux 查看CPU信息、机器型号等硬件信息
原文出处：http://www.51testing.com/?uid-225738-action-viewspace-itemid-210333 测试机器的硬件信息： 查看CPU信息（型号） # cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c 8 Intel(R) Xeon(R) CPU E5410 ...
2011-11-02 08:44:58
79
原创 Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceede
一、异常如下：Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded二、解释：JDK6新增错误类型。当GC为释放很小空间占用大量时间时抛出。一般是因为堆太小。导致异常的原因：没有足够的内存。三、解决方案： 1、查看系统是否有使用大内存的代码或死循环。2、可以添加JVM的启...
2011-10-27 17:04:24
276
原创 swt 常用样式
shellSWT.BORDER //建立一个有边框但没有标题栏的窗口SWT.CLOSE //建立一个只有关闭按钮的窗口SWT.MIN //建立一个不能最大化的窗口SWT.MAX, //建立一个可以最大化最小化的窗口SWT.NO_TRIM //建立一个没有任何边界和标题栏的窗口SWT.RESIZE //建立一个可以改变大小的窗口SWT.TITLE //建立一个没有标题栏图标，没有关闭按钮的窗口...
2011-10-26 14:42:02
347
原创 SWT Button
SWT uses Button to represent checkboxes, toggle buttons, and radio buttons.You determine the type by the style constants.You may pass only one of SWT.LEFT, SWT.CENTER, or SWT.RIGHT.You may ...
2011-10-26 09:49:40
99
原创 SWT控件的computeSize方法
/** * 用于SWT控件自动计算自身所需的尺寸 */Point org.eclipse.swt.widgets.Control.computeSize(int wHint, int hHint) 两个参数很有意思，分别是指定一个宽和一个高的值。这两个参数有什么用呢？一般我们都是赋予默认值SWT.DEFAULT就可以得到控件所需的尺寸了。但如果将其变为一个固定的整数，那么...
2011-10-25 11:01:55
306
原创 GridLayout详解
GridLayout GridLayout是一个非常强大的布局管理器,它可以实现很多复杂的布局,名字中暗示它将所有控件放置在类似网格的布局中.^__^GridLayout有两个构造函数. GridLayout的构造函数构造函数 描述 public GridLayout() 建立一个默认的GridLayout布局. public GridLayout(int ...
2011-10-24 15:55:53
423
原创 linux内存cached释放
我们用free命令查看系统内存使用情况的时候会发现：#free -m total used free shared buffers cachedMem: 24359 11240 13119 0 0 10706-/+ buffers/...
2011-10-17 17:37:23
489
原创 java_swing_浏览器
java浏览器源代码1.0版package com.danqing.www;import java.awt.BorderLayout;import java.awt.event.KeyAdapter;import java.awt.event.KeyEvent;import java.io.BufferedReader;import java.io.IOExcepti...
2011-10-14 16:09:51
98
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人