Shuffle's getMapOutput() fails with EofException, followed by IllegalStateExcept

    在查看tasktracker日志时,发现报错 2013-12-18 15:56:29,527 WARN org.mortbay.log: Committed before 410 getMapOutput(attempt_201311271626_585288_m_000024_0,...

2013-12-18 18:29:47

阅读数 10

评论数 0

pig自定义输出文件名,重写StoreFunc

  需要实现四个方法: getOutputFormat() prepareToWrite(RecordWriter writer) putNext(Tuple tuple) setStoreLocation(String location, Job job)     ...

2013-12-06 17:04:38

阅读数 26

评论数 0

python 使用ConfigParser,ConfigObj读取配置

使用python 从配置文件获取配置: import ConfigParser config = ConfigParser.ConfigParser() #@staticmethod def getValue(keyName): with open('./c...

2013-09-25 16:14:09

阅读数 89

评论数 0

python tarfile-打包解包

  最近项目上有一个ftp上传程序,需要把碎文件打包上传,到服务端再解包。本来已经只能通过shell来搞这个了,无奈打包过程中有一部分业务逻辑,不能把整个目录都打包,惊喜地发现python有tarfile这个东西,太惊喜了,试用完后发现还挺不错,打包一组466M的文件,共778个文件花了1....

2013-09-12 17:20:15

阅读数 163

评论数 0

Linux查看系统资源占用命令

top: ======================================主要参数d:指定更新的间隔,以秒计算。q:没有任何延迟的更新。如果使用者有超级用户,则top命令将会以最高的优先序执行。c:显示进程完整的路径与名称。S:累积模式,会将己完成或消失的子行程的CPU时间累积起...

2013-08-05 10:21:17

阅读数 21

评论数 0

禅道linux安装

组里面用敏捷,初步打算用禅道,打算把禅道部署在Linux服务器上。安装步骤如下: 1、下载 由于是新机器,没有安装Php,mysql,apache之类的,就打算下载一个一键部署包,http://dl.zentao.net/4.1/ZenTaoPMS.4.1.stable.linux.7z ...

2013-07-29 18:08:42

阅读数 39

评论数 0

禅道关联svn

禅道专业版价位 http://www.cnblogs.com/zentaoms/  禅道软件下载及安装地址 http://www.zentao.net/article-view-78950.html 安装完成后需要运行init.sh,生成命令行脚本 http://www.zentao...

2013-07-04 14:44:29

阅读数 165

评论数 0

MYSQL使用Limit限定更新行数

  上下文:想要修改config表,将其中5607行的is_ok改为true。   想通过下面的sql语句实现 UPDATE channel_config set is_adam_pub=1 where channel_id in (select channel_id from c...

2013-04-16 11:34:02

阅读数 190

评论数 0

java volatile关键字

volatile关键字有什么用? 举个例子: private volatile int v; public void func(){ int a=5*v; int b=5*v; .... }      如果v是个普通的变量,编译器很可能会...

2013-04-09 09:18:14

阅读数 8

评论数 0

hadoop job推测执行

  什么是推测执行? 所谓的推测执行,就是当所有task都开始运行之后,Job Tracker会统计所有任务的平均进度,如果某个task所在的task node机器配置比较低或者CPU load很高(原因很多),导致任务执行比总体任务的平均执行要慢,此时Job Tracker会启动一个新的...

2013-04-08 19:32:25

阅读数 37

评论数 0

用Eclipse Memory Analyzer查找内存泄露

     系统上线后,程序报出out of memory错误。一方面先加大程序运行的内存以解燃眉之急,另一方面希望能有个工具能查出内存泄露的原因。       通过查阅资料发现了Memory Analyzer这个eclipse插件,下面讲下怎么用。       首先,获取Heap du...

2013-03-07 10:28:31

阅读数 62

评论数 0

flask-sqlachemy note

between datetime按天查询   Myclass.query.filter(myClass.date.between(_date, _date+timedelta(days = 1)))   filter 和 filter_by的区别   session.query(My...

2012-12-10 17:15:10

阅读数 31

评论数 0

用正则表达式匹配w3c日志,导入hive

用正则表达式匹配w3c日志,导入hive w3c格式建表语句:   CREATE EXTERNAL TABLE w3c( host STRING, ident STRING, username STRING, log_date STRING, method ST...

2012-11-08 17:00:07

阅读数 45

评论数 0

Excel中导入Unix格式时间戳小技巧

简介 Excel中导入Unix格式时间戳小技巧 步骤/方法 Excel默认不支持Unix格式时间戳,这在导入数据时十分不便。可以用以下公式将时间戳转换成Excel格式的时间:=(x+8*3600)/86400+70*365+19  其中x为...

2012-10-25 11:36:44

阅读数 10

评论数 0

ftp传输两种模式--port,pasv

  FTP是File Transfer Protocol(文件传输协议)的缩写,用来在两台计算机之间互相传送文件。相比于HTTP,FTP协议要复杂得多。复杂的原因,是因为FTP协议要用到两个TCP连接,一个是命令链路,用来在FTP客户端与服务器之间传递命令;另一个是数据链路,用来上传或下载数据。...

2012-08-28 09:39:06

阅读数 26

评论数 0

commons-logging log4j org.slf4

  commons-logging log4j org.slf4 日志介绍   日志工具   Log4j Apache的一个开放源代码项目,通过使用Log4j,我们可以: 日志信息输送的目的地是控制台、文件、GUI组件、甚至是套接口服务器、NT的事件记录器、UNIX ...

2012-08-28 09:22:09

阅读数 13

评论数 0

hbase shell commands

list 查看有什么表   list 'tablename'   scan 查看表内数据   scan 'tablename' scan 'tablename' ,{ VERSION =>3 } #控制显示的行数   create 建表   create...

2012-07-30 14:21:53

阅读数 12

评论数 0

Hbase CRUD Operations(Java API)

 Put Method   void put(Put put)throws IOException    Put的构造方法   Put(byte[] row) Put(byte[] row,RowLock rowLock) Put(byte[] row,long ts) Put(...

2012-07-30 09:23:14

阅读数 20

评论数 0

Java中getResourceAsStream的用法

首先,Java中的getResourceAsStream有以下几种: 1. Class.getResourceAsStream(String path) : path 不以’/'开头时默认是从此类所在的包下取资源,以’/'开头则是从 ClassPath根下获取。其只是通过path构造一个绝...

2012-07-18 15:28:45

阅读数 14

评论数 0

Eclipse 实用快捷键

说明:前面带*号的是非常常用的快捷键,希望大家都掌握 编辑 --------------------------- *Ctrl+1(数字1)     快速修复 *Ctrl+D            删除当前行  *Ctrl+Alt+↓        复制当前行到下一行(复制增加...

2012-04-11 14:25:28

阅读数 13

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭