- 博客(24)
- 资源 (18)
- 收藏
- 关注
转载 【hadoop】用户自定义计数器
一、环境1、hadoop 0.20.22、操作系统Linux二、背景1、最近写MR的代码,总在想统计一些错误的数据出现的次数,发现如果都写在reduce的输出里太难看了,所以想找办法专门输出一些统计数字。2、翻看《hadoop权威指南》第8章第1节的时候发现能够自定义计数器,但都是基于0.19版本写的,好多函数都不对,改动相对较大。3、基
2013-03-31 14:41:34 1114
转载 secureCRT 7.0注册码安装
这几天在玩 ARM 的板子, 视频教程里有这个软件的应用, 看起来蛮不错, 具体有什么用能干啥咋用也还没摸清楚.就急着弄个新版本的. 呵呵.....其实 7.0 的好像没有注册机来着. 我就试着用 6.7 版本的注册机注册, 居然可以用.呵呵......记录下来做笔记, 别忘了. 学生没钱, 唉.....强烈建议大家买正版 官网地址. 盗版不好.下载: scrt70-x86
2013-03-25 16:20:33 5323
转载 【python】获取本机的hostname以及外网ip
1 得到外网IP地址import re,urllib2class Getmyip: def getip(self): try: myip = self.visit("http://www.ip138.com/ip2city.asp") return myip except:
2013-03-19 15:05:09 6026 1
转载 Linux查看文件编码格式及文件编码转换
转载:http://blog.chinaunix.net/uid-12924877-id-310408.html如果你需要在Linux 中操作windows下的文件 ,那么你可能会经常遇到文件 编码 转换的问题。Windows中默认的文件 格式是GBK(gb2312),而Linux 一般都是UTF-8。下面介绍一下,在Linux 中如何查看 文件 的编码 及如何进行对文件 进行编码 转换。
2013-03-19 14:12:28 1310
转载 【git】看懂git diff
git diff可以用来比较:1.staging area和working area的文件 (无其他参数时)[plain] view plaincopyprint?git diff 2.master分支和working area的文件 (用master参数)[plain] view
2013-03-14 17:15:59 7323
转载 【hadoop】浅析Hadoop文件格式的类型与差异
【IT168 技术】Hadoop 作为MR 的开源实现,一直以动态运行解析文件格式并获得比MPP数据库快上几倍的装载速度为优势。不过,MPP数据库社区也一直批评Hadoop由于文件格式并非为特定目的而建,因此序列化和反序列化的成本过高[7]。本文介绍Hadoop目前已有的几种文件格式,分析其特点、开销及使用场景。希望加深读者对Hadoop文件格式及其影响性能的因素的理解。 Hadoop
2013-03-14 09:43:47 1022
转载 【shell】shell代码规范
Shell代码规范前言:随着写的SHELL程序越来越多,发现自己每次写都有不同的习惯或者定义了不同的东西,变量名定义得不一样,整个程序缩进不统一,没有注释等问题,等我回过头看这些程序的时候发现很麻烦。所以想到写个自己的shell代码规范。1 概述1.1 目的定义Shell脚本命名和编码规范,统一管理Shell脚本,便于自己和别人查看,提高代码书写速度和美观,暂时只对
2013-03-12 16:36:37 1118
转载 【shell】 shell脚本报错:"[: =: unary operator expected"
shell脚本报错:"[: =: unary operator expected" 在匹配字符串相等时,我用了类似这样的语句:if [ $STATUS == "OK" ]; then echo "OK"fi 在运行时出现了 [: =: unary operator expected 的错误,就一直找不到原因,尝试了删除等号两侧的空格和括号
2013-03-12 16:35:36 1732 1
转载 【notepad++】配置php,python
点评:Notepad++ 是一个开源的文本编辑器,功能强大而且使用方便,一般情况下,Notepad++作为代码查看器,很方便,但是每次要运行的时候,总是需要用右键打开其他的IDE来编译和运行,总有些不方便//网上转载了一篇是讲notepad++编译Python的文章,我一般主要是使用PHP的,其实原理完全一样! Notepad++ 是一个开源的文本编辑器,功能强大而且使用方
2013-03-11 19:47:27 1899
原创 【php】语法碎语
1. bool define ( string $name , mixed $value [, bool $case_insensitive = false ] )2. require_once3. $GLOBALS$GLOBALS — 引用全局作用域中可用的全部变量4.
2013-03-11 16:45:35 749
转载 【git】git fetch 与git pull的区别
原文: http://www.tech126.com/git-fetch-pull/ Git中从远程的分支获取最新的版本到本地有这样2个命令:1. git fetch:相当于是从远程获取最新版本到本地,不会自动merge git fetch origin mastergit log -p master..origin/mastergit merge origin/master
2013-03-11 11:11:46 1422
转载 【python】获取上一级目录
取文件所在目录的上一级目录os.path.abspath(os.path.join(os.path.dirname('settings.py'),os.path.pardir))os.path.pardir是父目录os.path.abspath是绝对路径
2013-03-11 10:44:08 4613 1
原创 【vim】vim和shell命令的交互
1. So if you are editing and you want to check the time or date without exiting vi, youcan enter::!dateThe time and date will appear on your screen; press ENTER to continue editing at thesame
2013-03-07 16:57:57 1255
转载 【github】为github添加ssh-key
使用git clone命令从github上同步github上的代码库时,如果使用SSH链接(如我自己的beagleOS项目:git@github.com:DamonDeng/beagleOS.git),而你的SSH key没有添加到github帐号设置中,系统会报下面的错误:Permission denied (publickey).fatal: The remote end hu
2013-03-05 15:01:00 1128
转载 【java】正则表达式集锦
正则表达式集锦 验证数字:^[0-9]*$验证n位的数字:^\d{n}$验证至少n位数字:^\d{n,}$验证m-n位的数字:^\d{m,n}$验证零和非零开头的数字:^(0|[1-9][0-9]*)$验证有两位小数的正实数:^[0-9]+(.[0-9]{2})?$验证有1-3位小数的正实数:^[0-9]+(.[0-9]{1,3})?$验证非零的正整数:^\+?[
2013-03-05 10:09:50 876
原创 【shell】切分字符串
方法1:用awk切分-----------------------------------------------------dbs="idigger,idiggersem,sony,mso"dbarr=`echo $dbs | awk -F"," '{print $0}' | sed "s/,/ /g"`for db in $dbarrdo echo $dbdo
2013-03-04 14:37:49 1666
转载 【python】python参数中的星号*, **
分两类。一是作为函数定义时,一类是函数调用时。一个 * 对应一个元组;两个 ** 对应一个字典;-------------------当函数定义时:一个 * 表示此函数接受的参数为一个元组;两个 ** 表示此函数接受的参数是一个字典;举例:def nostar(a): print adef onestar(*a):
2013-03-04 10:03:55 1409
转载 【python】crontab调用python的注意事项
1. 删除或编辑 crontab -e 不过crontab默认的编辑器是vi, 而一般系统使用的是vim, 这样.vimrc可能照出vi读取配置文件出错, 这样crontab -e显示出来的是空白 所以需要把默认的编辑器改成vim, 在.bashrc设置 export EDITOR=vim 至于如果编辑,网上一堆,这里就不写
2013-03-01 13:48:31 3524
转载 【linux】 Linux Crontab 定时任务 命令详解
一. Crontab 介绍 crontab命令的功能是在一定的时间间隔调度一些命令的执行。 1.1 /etc/crontab 文件 在/etc目录下有一个crontab文件,这里存放有系统运行的一些调度程序。每个用户可以建立自己的调度crontab。 如:[root@dave ~]# cat /etc/crontabSHEL
2013-03-01 13:28:09 777
转载 【python】crontab调用python脚本
用crontab执行一个python脚本,结果总是没反应。原因:python里面有一个打开文本的操作,用的是相对路径,crontab执行路径暂时不知道,所以即使脚本执行用绝对路径,但是打开文本就会有问题。解决方法:1. 最好用sh 再包一层,先cd到脚本所在目录,然后再执行,那么python脚本里面不管是相对路径还是绝对路径都可以。2. 在进
2013-03-01 13:23:08 1654 1
转载 【shell】切割字符串
相信编程时,字符串的处理是很频繁被处理的问题,其中大家肯定不陌生各种语言的string.split('sp')将字符串按照某个字符或子串切分成一个数组。同样,我们在用shell处理文本信息时也可以方便地实现该功能。这里主要使用了bash中关于字符串变量的处理和array初始化的能力。 如下: Shell代码 #!/bin/bas
2013-03-01 13:21:19 724
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人