2013年03月_「已注销」

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载【hadoop】用户自定义计数器

一、环境1、hadoop 0.20.22、操作系统Linux二、背景1、最近写MR的代码，总在想统计一些错误的数据出现的次数，发现如果都写在reduce的输出里太难看了，所以想找办法专门输出一些统计数字。2、翻看《hadoop权威指南》第8章第1节的时候发现能够自定义计数器，但都是基于0.19版本写的，好多函数都不对，改动相对较大。3、基

2013-03-31 14:41:34 1105

转载 secureCRT 7.0注册码安装

这几天在玩 ARM 的板子, 视频教程里有这个软件的应用, 看起来蛮不错, 具体有什么用能干啥咋用也还没摸清楚.就急着弄个新版本的. 呵呵.....其实 7.0 的好像没有注册机来着. 我就试着用 6.7 版本的注册机注册, 居然可以用.呵呵......记录下来做笔记, 别忘了. 学生没钱, 唉.....强烈建议大家买正版官网地址. 盗版不好.下载: scrt70-x86

2013-03-25 16:20:33 5290

转载大规模WEB服务之实用算法（一）

http://blog.xiuwz.com/2012/04/04/large-web-algorithms/

2013-03-25 15:35:02 816

转载【python】获取本机的hostname以及外网ip

1 得到外网IP地址import re,urllib2class Getmyip: def getip(self): try: myip = self.visit("http://www.ip138.com/ip2city.asp") return myip except:

2013-03-19 15:05:09 6015 1

转载 Linux查看文件编码格式及文件编码转换

转载：http://blog.chinaunix.net/uid-12924877-id-310408.html如果你需要在Linux 中操作windows下的文件，那么你可能会经常遇到文件编码转换的问题。Windows中默认的文件格式是GBK(gb2312)，而Linux 一般都是UTF-8。下面介绍一下，在Linux 中如何查看文件的编码及如何进行对文件进行编码转换。

2013-03-19 14:12:28 1307

原创【vim配置】secureCRT的vim高亮配置

1. 设置secureCRT，如图所示：2. 修改vimrc文件，如下：

2013-03-14 20:46:54 1027

转载【git】看懂git diff

git diff可以用来比较：1.staging area和working area的文件（无其他参数时）[plain] view plaincopyprint?git diff 2.master分支和working area的文件 (用master参数）[plain] view

2013-03-14 17:15:59 7299

原创【vim】返回到刚刚编辑的地方

`. :返回到刚刚编辑的地方，相当于eclipse中的ctrl+q

2013-03-14 14:01:05 2317

转载【hadoop】浅析Hadoop文件格式的类型与差异

【IT168 技术】Hadoop 作为MR 的开源实现，一直以动态运行解析文件格式并获得比MPP数据库快上几倍的装载速度为优势。不过，MPP数据库社区也一直批评Hadoop由于文件格式并非为特定目的而建，因此序列化和反序列化的成本过高[7]。本文介绍Hadoop目前已有的几种文件格式，分析其特点、开销及使用场景。希望加深读者对Hadoop文件格式及其影响性能的因素的理解。　　Hadoop

2013-03-14 09:43:47 1014

转载【shell】shell代码规范

Shell代码规范前言：随着写的SHELL程序越来越多，发现自己每次写都有不同的习惯或者定义了不同的东西，变量名定义得不一样，整个程序缩进不统一，没有注释等问题，等我回过头看这些程序的时候发现很麻烦。所以想到写个自己的shell代码规范。1 概述1.1 目的定义Shell脚本命名和编码规范，统一管理Shell脚本，便于自己和别人查看，提高代码书写速度和美观，暂时只对

2013-03-12 16:36:37 1107

转载【shell】 shell脚本报错："[: =: unary operator expected"

shell脚本报错："[: =: unary operator expected" 在匹配字符串相等时，我用了类似这样的语句：if [ $STATUS == "OK" ]; then echo "OK"fi 在运行时出现了 [: =: unary operator expected 的错误，就一直找不到原因，尝试了删除等号两侧的空格和括号

2013-03-12 16:35:36 1724 1

转载【notepad++】配置php，python

点评：Notepad++ 是一个开源的文本编辑器，功能强大而且使用方便，一般情况下，Notepad++作为代码查看器，很方便，但是每次要运行的时候，总是需要用右键打开其他的IDE来编译和运行，总有些不方便//网上转载了一篇是讲notepad++编译Python的文章，我一般主要是使用PHP的，其实原理完全一样！ Notepad++ 是一个开源的文本编辑器，功能强大而且使用方

2013-03-11 19:47:27 1892

原创【php】语法碎语

1. bool define ( string $name , mixed $value [, bool $case_insensitive = false ] )2. require_once3. $GLOBALS$GLOBALS — 引用全局作用域中可用的全部变量4.

2013-03-11 16:45:35 746

转载【git】git fetch 与git pull的区别

原文： http://www.tech126.com/git-fetch-pull/ Git中从远程的分支获取最新的版本到本地有这样2个命令：1. git fetch：相当于是从远程获取最新版本到本地，不会自动merge git fetch origin mastergit log -p master..origin/mastergit merge origin/master

2013-03-11 11:11:46 1416

转载【python】获取上一级目录

取文件所在目录的上一级目录os.path.abspath(os.path.join(os.path.dirname('settings.py'),os.path.pardir))os.path.pardir是父目录os.path.abspath是绝对路径

2013-03-11 10:44:08 4603 1

原创【vim】vim和shell命令的交互

1. So if you are editing and you want to check the time or date without exiting vi, youcan enter::!dateThe time and date will appear on your screen; press ENTER to continue editing at thesame

2013-03-07 16:57:57 1253

转载【github】为github添加ssh-key

使用git clone命令从github上同步github上的代码库时，如果使用SSH链接（如我自己的beagleOS项目：git@github.com:DamonDeng/beagleOS.git），而你的SSH key没有添加到github帐号设置中，系统会报下面的错误：Permission denied (publickey).fatal: The remote end hu

2013-03-05 15:01:00 1120

转载【java】正则表达式集锦

正则表达式集锦验证数字：^[0-9]*$验证n位的数字：^\d{n}$验证至少n位数字：^\d{n,}$验证m-n位的数字：^\d{m,n}$验证零和非零开头的数字：^(0|[1-9][0-9]*)$验证有两位小数的正实数：^[0-9]+(.[0-9]{2})?$验证有1-3位小数的正实数：^[0-9]+(.[0-9]{1,3})?$验证非零的正整数：^\+?[

2013-03-05 10:09:50 869

原创【shell】切分字符串

方法1：用awk切分-----------------------------------------------------dbs="idigger,idiggersem,sony,mso"dbarr=`echo $dbs | awk -F"," '{print $0}' | sed "s/,/ /g"`for db in $dbarrdo echo $dbdo

2013-03-04 14:37:49 1656

转载【python】python参数中的星号*, **

分两类。一是作为函数定义时，一类是函数调用时。一个 * 对应一个元组；两个 ** 对应一个字典；-------------------当函数定义时：一个 * 表示此函数接受的参数为一个元组；两个 ** 表示此函数接受的参数是一个字典；举例：def nostar(a): print adef onestar(*a):

2013-03-04 10:03:55 1406

转载【python】crontab调用python的注意事项

1. 删除或编辑 crontab -e 不过crontab默认的编辑器是vi, 而一般系统使用的是vim, 这样.vimrc可能照出vi读取配置文件出错，这样crontab -e显示出来的是空白所以需要把默认的编辑器改成vim, 在.bashrc设置 export EDITOR=vim 至于如果编辑，网上一堆，这里就不写

2013-03-01 13:48:31 3517

转载【linux】 Linux Crontab 定时任务命令详解

一. Crontab 介绍 crontab命令的功能是在一定的时间间隔调度一些命令的执行。 1.1 /etc/crontab 文件在/etc目录下有一个crontab文件，这里存放有系统运行的一些调度程序。每个用户可以建立自己的调度crontab。如：[root@dave ~]# cat /etc/crontabSHEL

2013-03-01 13:28:09 772

转载【python】crontab调用python脚本

用crontab执行一个python脚本，结果总是没反应。原因：python里面有一个打开文本的操作，用的是相对路径，crontab执行路径暂时不知道，所以即使脚本执行用绝对路径，但是打开文本就会有问题。解决方法：1. 最好用sh 再包一层，先cd到脚本所在目录，然后再执行，那么python脚本里面不管是相对路径还是绝对路径都可以。2. 在进

2013-03-01 13:23:08 1642 1

转载【shell】切割字符串

相信编程时，字符串的处理是很频繁被处理的问题，其中大家肯定不陌生各种语言的string.split('sp')将字符串按照某个字符或子串切分成一个数组。同样，我们在用shell处理文本信息时也可以方便地实现该功能。这里主要使用了bash中关于字符串变量的处理和array初始化的能力。如下： Shell代码 #!/bin/bas

2013-03-01 13:21:19 719