- 博客(47)
- 收藏
- 关注
RSS订阅org.apache.hadoop.conf.Configuration but it is not serializable
spark job 报 org.apache.hadoop.conf.Configuration but it is not serializable解决方案，1、如果是object类把case class 放到main外面 2、发果是在调用trait里的方法报的异常，应把case class放到trait类的外面...
2015-09-09 09:10:24
632
原创 Input length must be multiple of 8 when decrypting with padded cipher
java.lang.RuntimeException: javax.crypto.IllegalBlockSizeException: Input length must be multiple of 8 when decrypting with padded cipher at us.pinguo.flume.hdfs.ext.source.BlobExtHandler.che...
2015-06-04 09:15:56
1183
原创 Ubuntu下安装scikit-learn(sklearn)
按说，这个安装应该也不是很困难，但是官方网站的说明在我看来写的实在是有待改进，所以写文一篇，方便以后安装。背景：Ubuntu 13.04python 2 .7. 4（系统预装）步骤：官方原文见此链接1. 安装支持部分：在terminal里面直接输入以下命令，这个命令会安装sklearn所需要的依赖，主要包括 scipy, nump...
2014-09-14 17:43:20
656
1原创 用linux下常用命令wget进行整站下载（递归下载至本地）
这个命令可以以递归的方式下载整站，并可以将下载的页面中的链接转换为本地链接。wget加上参数之后，即可成为相当强大的下载工具。wget -r -p -np -k http://xxx.com/abc/-r, --recursive（递归） specify recursive download.（指定递归下载）-k, --convert-links（...
2014-04-19 10:30:33
189
原创 GIT - error: Your local changes to the following files would be overwritten by m
When you see :error: Your local changes to the following files would be overwritten by merge:Execute the following :#1 -git reset --hard HEAD^#2 -git pull .git/ yourbranch
2014-01-07 10:44:19
134
原创 System.out.println((int)(char)(byte)-1) 输出为65536
这里有一条简单的规则能够描述从较窄的整形转制钱成较宽的整型时的符号扩展行为：如果最初的数值类型是有符号的，那么就执行符号扩展；如果它是char，那么不管它将要被转换成什么类型，都执行零扩展。 因为byte是一个有符号的类型，所以将byte数值-1转换成char时，会发生符号扩展。作为结果的char数值的１６个位就都被置位（０）了，因此它等于２^16-1,即65536。从char到int的转型...
2014-01-02 14:19:15
1205
原创 mave 中央库
http://www.jfrog.com/confluence/pages/viewpage.action?pageId=25067914
2014-01-02 11:11:26
92
hadoop hbase lzo 安装
[b]安装 LZO 压缩[/b]1、下载LZO并解压http://www.oberhumer.com/opensource/lzo/download/2、安装LZO 进入解压后的目录，执行如下命令 ＃./configure --enable-shared ＃make ＃sudo make install lzo文件被默认安装到了/usr/local/lib3....
2014-01-01 18:18:51
135
原创 Java 动态编译API
对于很多应用系统，常常需要动态装载和执行类和代码片断，这有利于部署的简易性和系统设计上的灵活性。本文给出了一个比较全面的介绍，值得参考。 在Sun JDK 1.2及后续版本中，包含了一组可在程序运行时刻编译和执行Java代码的API。这些API被包含在tools.jar类库中。这个功能允许Java程序在运行时动态编译、执行小的代码块，在有些情况下这个功能会让Java应用程序的架构更加灵活...
2013-11-17 12:00:46
200
原创 hbase 性能测试
１、 hbase org.apache.hadoop.hbase.PerformanceEvaluation sequentialWrite 1详细介绍可以参见《hbase权威指南》１１章２、YCSB
2013-11-17 10:05:21
119
原创 hbase Rolling Restarts
1. Unpack your release, make sure of its configuration, and then rsync it acrossthe cluster. If you are using version 0.90.2, patch it with HBASE-3744 andHBASE-3756.2. Run hbck to ensure the clu...
2013-11-16 22:48:32
107
原创 Jersey Rest Service : Stream Already Closed Error
Jersey Rest Service : Stream Already Closed ErrorCreating File Upload functionality in WebServices using Jersey is very simple , you can go through this post to create file upload functionality in J...
2013-10-17 14:21:34
233
原创 hadoop debug
export HADOOP_JOBTRACKER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=8788,server=y,suspend=y"可使用 Hadoop 脚本中的 daemonlog 命令查看和修改某个类的日志级别,比如,可通过以下命令查看 TaskTracker 类的日志级别:bin/hadoop da...
2013-10-15 16:43:56
113
原创 日志采集
http://flume.apache.org/http://dongxicheng.org/search-engine/scribe-intro/http://sourceforge.net/projects/scribeserver/https://github.com/facebook/scribe
2013-09-25 11:35:08
86
原创 ERROR: ORA-01034:ORACLE not available ORA-27101:shared memory realm does not exi
ERROR: ORA-01034:ORACLE not available ORA-27101:shared memory realm does not exi1 先看oracle的监听和oracle的服务是否都启动了。启动oracle监听：cmd的命令行窗口下，输入lsnrctl start，回车即启动监听。2 查看oracle的sid叫什么，比如创建数据库的时候，实例名叫“...
2013-09-25 10:55:01
120
原创 Installing Oracle 11.2.0.3 on CentOS 6.3 on VMWare Workstation 8.
Installing Oracle 11.2.0.3 on CentOS 6.3 on VMWare Workstation 8.Posted on November 11, 2012 by oraclejedi • Posted in ASM, Linux, Oracle, VMware • Tagged 11.2.0.3, CentOS 6, CentOS 6.3, install...
2013-09-24 11:05:24
127
原创 hbase配置、运行错误总结
一、执行$ hbase hbck 命令时，出现以下提示：Invalid maximum heap size: -Xmx4096mThe specified size exceeds the maximum representable size.Error: Could not create the Java Virtual Machine.Error: A fatal exce...
2013-09-10 12:28:33
474
深入理解java虚拟机学习笔记（九)－－java内存模型与线程
第十二章 java内存模型与线程1、主内存与工作内存java内存模型的主要目标是定义程序中各个变量的访问规则，即在虚拟机中将变量存储到内存和从内存中取出变量这样的底层细节。此处的变量与java编程中所主的变量略有区别，它包括了实例字段、静态字段和构成数组对象的元素，但是不包括局部变量与方法参数，因为后者是线程私有的，不会被共享，自然就不存在竞争问题。java内存模型规定了所有的变量都存储在...
2013-08-25 20:58:48
75
深入理解java虚拟机学习笔记(八)－－晚期（运行期）优化
第十一章 晚期（运行期）优化1、HotSpot同时包含解释器和编译器，HotSpot中内置了两个即时编译器Client Compiler 和 Server Compiler或简称C1和C2编译器（也叫Opto编译器）。用户可以使用-client或-server参数支强制指定虚拟机运行在Client模式还是Server模式。解释器与编译器搭配使用的方式在虚拟机中被称为“混合模式”（Mixed M...
2013-08-25 20:56:56
154
深入理解java虚拟机学习笔记(七)－－早期（编译期）优化
第十章 早期（编译期）优化1、概述java语言的“编译期”是一段“不确定”的操作过程，因为它可能是指一个前端编译器（其实叫“编译器的前端”更准确一些）把*.java转变成*.class文件的过程；也可能是批虚拟机的后端运行期编译器（JIT编译器）把字节码转变成机器码的过程；还可能是指使用静态提前编译器（AOT编译器，Ahead Of Time Compiler)直接把*.java文件编译成...
2013-08-11 16:57:57
84
深入理解java虚拟机学习笔记(六)－－虚拟机字节码执行引擎
第八章 虚拟机字节码执行引擎1、栈帧（Stack Frame)是用于支持虚拟机进行方法调用和方法插的数据结构，它是虚拟机运行时数据区中的虚拟机栈（Virtual Machine Stack)的栈元素。栈帧存储了方法的局部变量表、操作数栈、动态连接和方法返回地址等信息。２、Java虚拟机里面调用字节码指令的方法：invokestatic:调用静态方法。invokespecial:调用...
2013-08-11 16:56:24
96
深入理解java虚拟机学习笔记（五）－－虚拟机类加载机制
第七章 虚拟机类加载机制1、类加载的时机类从被加载到虚拟机内存中开始，到卸载出内存为止，它的整个生命周期包括了：加载（Loading）、验证（Verification）、准备（Preparation）、解析（Resolution）、初始化（Initialization）、使用（Using）和卸载（Unloading）七个阶段。其中验证、准备和解析三个部分统称为连接（Linking）。4...
2013-08-04 17:07:32
68
深入理解java虚拟机学习笔记（四）－－类文件结构
第五章 调优案例分析与实践1、-XX:+PrintGCTimeStamps 打印GC停顿时间第六章 类文件结构1、Class文件是一组以8位字节为基础单位的二进制流，各个数据项目严格按照顺序紧凑地排列在Class文件之中，中间没有添加任何分配符，这使得整个Class文件中存储的内容几乎全部都是程序运行的必要数据，没有空隙存在。当遇到需要占用8位字节以上空间的数据项时，则会按照高位在前的...
2013-08-03 22:04:55
82
深入理解java虚拟机学习笔记（三）－－虚拟机性能监控与故障处理工具
第四章１、jps:虚拟机进程状况工具-q:只输出LVMID,省略主类的名称-m:输出虚拟机进程启动时传递给主类main()函数的参数-l:输出主类的全名，如果进程执行的是Jar包，输出Jar路径-v：输出虚拟机进程启动时JVM参数2、jstat:虚拟机统计信息监视工具jstat:是各种运行状态信息的命令行工具，显示本地和远程虚拟机进程中的类装载、内存、垃圾收集、JTA编...
2013-07-28 16:07:58
115
深入理解java虚拟机学习笔记（二）－－垃圾收集相关的常用参数
UseSerialGC : 虚拟机运行在Client模式下的默认值，打开此形状后，使用Serial + Serial Old 的收集器组合进行内存回收。UseParNewGC : 虚拟机运行在Client模式下的默认值，打开此开关后，使用Serial + Serial Old的收集器组合进行内存回收UseParNewGC : 打开此开关后，使用ParNew + Serial Old的收集器...
2013-07-20 09:02:21
78
深入理解java虚拟机学习笔记（二）
第三章1、GC判断回收的算法a:引用计数算法给对像中添加一个引用计数器，每当一个地方引用它时，计数器值就加1；当引用失效时，计数器就减1；任何时刻计数器都为0的对象就是不可能再被使用的。（缺点：很难解决对象之间的相互循环引用的问题）b:根搜索算法通过一系列的名为“GC Roots“的对象作为起始点，从这些节点开始向下搜索，搜索所走过的路径称为引用链（Reference Chai...
2013-07-20 09:00:13
52
深入理解java虚拟机学习笔记（－）
《深入理解java虚拟机：JVM高级特性与最佳实践》周志明 一书的学习备忘记录第一章、第二章1、JIT（Just In Time)编译器,jdk1.2开始内置。2、jdk1.6在64位的机器上要比在32位的机器上额外增加10％～30％的内存消耗，可以在JDK1.6 Update 14 之后增加 －XX：＋UseCompressedOops3、将堆的最小值-Xms参数与最大值-Xmx...
2013-07-20 08:58:01
67
原创 GC备注
JAVA_OPTS="$JAVA_OPTS -Xms768m -Xmx768m -server -XX:MaxNewSize=224m -XX:NewSize=224m -XX:SurvivorRatio=5 -XX:MaxTenuringThreshold=60"，其中的-Xms, -Xmx是最大最小堆内存，设置成一样是禁止它做自动扩展。 -server这个的含义比较广，主要有两点是和-cl...
2013-07-03 22:20:33
97
原创 ClassNotFoundException 和 NoClassDefError区别
ClassNotFoundException 和 NoClassDefError 两个异常,是在 ClassLoader 加载类出现问题时常常碰到的两个异常,这两个异常的区别在于前者ClassNotFoundException 是指通过 ClassLoader 加载不到所需 要的类,而 后者NoClassDefError 是指通过 ClassLoader 已经找到了所需要的类,但找不到...
2013-06-20 22:47:26
406
原创 Tomcat 7配置Web管理登录
tomcat7的tomcat-users.xml配置文件中的标签中内容如下：完成后保存配置文件，重新启动tomcat服务，使用system用户登录tomcat7的web管理界面了，哈哈，看看有什么不一样的，耳目一新的感觉。...
2013-06-18 14:37:31
96
原创 Linux 的 /tmp 定期的刪除说明
/tmp是Linux 用來放暫存資料的地方，系統有支排程在 /etc/cron.daily/tmpwatch（That depends on your distribution. On some system, it's deleted only when booted, others have cronjobs running deleting items older than n ho...
2013-06-18 09:43:49
136
安装ffmpeg集成mp3
1、到http://www.ffmpeg.org/下载ffmpeg(1.2.1),到http://lame.sourceforge.net下载lame(3.99.5)分别解压到ffmpeg和lame目录2、安装lamecd lame./configure --prefix=/shared --enable-shared --enable-staticmake sudo ma...
2013-06-05 17:47:02
208
原创 com.linkedin.norbert.network.HeavyLoadException
See https://github.com/jhartman/norbert/commits/master 1. If there's a networking exception (opening or writing to a channel), mark the server offline using exponential backoff2. If the server's q...
2013-05-17 23:01:15
104
hbase创建表提示表已经存在而list显示无该表的处理
WARN org.apache.hadoop.hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /hbase/.tmp/t2/.tmp/.tableinfo.0000000001 could only be replicated to 0 ...
2013-05-06 15:44:35
530
原创 Red hat 6.2 下SVN服务器搭建
http://bbsunchen.iteye.com/blog/556242http://www.webzone8.com/article/625.html
2013-05-03 09:54:01
84
原创 Scanning in HBase
In HBASE-5268 I proposed a "prefix delete marker" (a delete marker that would mark a set of columns identified by a column prefix as deleted).As it turns out, I didn't quite think through how scan...
2013-05-03 09:40:31
99
原创 数据库事务
[img]http://dl.iteye.com/upload/attachment/0083/1358/050a44b0-01ef-3cf9-9115-7ff0b3fe8dec.jpg[/img]
2013-04-14 15:22:04
61
原创 批量下载图片
package com.tili.test;import java.io.File;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStream;import java.net.MalformedURLException;import java.net.URL;...
2013-03-28 21:50:26
90
原创 二零一三年学习计划
2013都过去了三个月了，现在来写这个应该是比较晚的了，但是写总比不写好，把一些现在感觉应该学习而没有学习的东记录下来慢慢学习，给后面几个月的学习做一下指导也是比较好的。1、稳固JAVA基础，主要包括IO、NIO、多线程、java.util.concurrent的学习，以前这些都是停在用的层面，没有深入的系统的学习，此次主要是进行深入的学习，并形成相应的成果出来（写出相应的学习博客）。2、...
2013-03-24 00:02:11
89
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人