2015年06月_tomjourney

12月 11月 10月 09月 08月 07月 06月

转载文本替换sed+字段处理cut,join+awk重新编排字段

【1】ｓｅｄ工具(Stream Editor)——流编辑器sed 本身也是一个管线（管道）命令，可以分析 standard input 的啦！而且 sed 还可以将数据进行取代、删除、新增、截取特定行等等的功能呢！ 1.1）以行为单位的新增／删除功能【玩玩荔枝呢】【输出不是输出是　删除，删除】 1.2）以行为单位的取代与显示功能 1.3）部分数据的搜索并取代的功能（g=g

2015-06-16 09:57:57 1377

转载正则表达式总结之查找

【0】、写在前面以下内容总结于shell脚本学习指南【1】我们说查找文本要用到三种文本匹配程序：1.1）grep 使用的是基本正则表达式（basic regular expression，BRE）1.2）扩展式grep 使用 egrep（extended regular express， ERE）；用grep -E 取代 egrep1.3）快速grep （fast grep），主要用于匹配固定字符

2015-06-14 11:49:41 1239

原创使用MRUnit，Mockito和PowerMock进行Hadoop MapReduce作业的单元测试

0、preliminary 环境搭建Setup development environmentDownload the latest version of MRUnit jar from Apache website: https://repository.apache.org/content/repositories/releases/org/apache/mrunit/mrunit/. For

2015-06-14 08:52:25 1103

原创 how to build a paper's architecture?

1. problem? what’s the problem? then do some extension of the problem.2. related works ,which means doing literature surveys.3. model , you can refer to existing models or build your new model4. infer

2015-06-13 16:02:44 803

原创 What are definitions of Model, Inference and Algorithm and its associations ?

1、拿初中的二元一次方程来说明： 1.1）说model就好比一元二次方程，它是个方程模型； 1.2）再说inference是求解该方程的某种方法——加减消元法（重在推理）； 1.3）最后说algorithm是我们具体的求解步骤。 2、一篇完整的学术论文阐述内容顺序为： 2.1）模型Model（你建立的，the most important and difficult） 2.2）推理Inference

2015-06-13 15:56:35 700

原创如何撰写论文

摘要，即是引言的总结研究现状，即出现的问题解决方法结论（方法得出的结论，以数字进行说明）意义所在引言，即是摘要的详细阐述阐述国内外相关研究及其缺点并阐述自己的解决方案及其优点；同时不建议在引言中对国内外别人的研究展开大篇幅阐述引言中主要还是要写自己的研究方法；当然，别人的研究成果也要看，如果相关研究太多了的话，可以另见一个章节——相关工作；结论（将三段融为一段）用了什么实验方法，

2015-06-13 15:48:41 1051

原创 hadoop2.6.0+eclipse配置

【0】安装前的声明0.1）所用节点2个master : 192.168.119.105 hadoop5 slave : 192.168.119.101 hadoop1 （先用一个slave，跑成功后，在从master分别scp到各个slaves即可】）0.2）每个机子的那些个文件需要一样（或者直接从master直接scp到各个slaves即可）vim /etc/hosts（主机名和ip

2015-06-06 19:16:02 991

原创如何导入hadoop源码到eclipse

需要进一步学习hadoop、需要看看内部源码实现，因此需要将hadoop源码导入都eclipse中。简单总结一下，具体步骤如下：首先确保已经安装了git、maven3、protobuf2.5、如果没有安装需要提前安装一下0、preliminarylinux distribution(我的是 centos) Eclipse 4.3 JDK1.6.0_45 Maven 3.0.4 Protoco

2015-06-06 18:57:46 1034