- 博客(3)
- 收藏
- 关注
RSS订阅转载 Hadoop Streaming原理及实践
Hadoop Streaming提供了一个便于进行MapReduce编程的工具包，使用它可以基于一些可执行命令、脚本语言或其他编程语言来实现Mapper和 Reducer，从而充分利用Hadoop并行计算框架的优势和能力，来处理大数据。需要注意的是，Streaming方式是基于Unix系统的标准输入输出来进行MapReduce Job的运行，它区别与Pipes的地方主要是通信协议，Pipes使用的
2016-11-22 13:02:37
594
转载 linux sort命令用法
本原创文章属于《Linux大棚》博客，博客地址为http://roclinux.cn。文章作者为rocrocket。为了防止某些网站的恶性转载，特在每篇文章前加入此信息，还望读者体谅。===好久没写技术文章了，对不住大家。今天送上sort帮你排序，以资共享。:)[正文开始]sort是在Linux里非常常用的一个命令，管排序的，集中精力，五分钟搞定sort，现在开始！1
2016-11-16 15:35:35
263
转载 LINUX下按key合并——join命令
join命令功能：“将两个文件里指定栏位同样的行连接起来”，即依照两个文件里共有的某一列，将相应的行拼接成一行。join [options] file1 file2注：这两个文件必须在已经在此列上是依照同样的规则进行了排序。join选项-a FILENUM：除了显示匹配好的行另外将指定序号（1或2）文件里部匹配的行显示出来-e EMPTY：将须要显示可是文件里不存在的域用此
2016-11-11 12:17:26
8229
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人