2016年10月_武睿傲雪

11月 10月 09月 08月 07月 06月 05月 04月 03月 02月

转载 [ubuntu入门手册]-17-使用vnc与ssh远程管理

引言这篇文章给大家介绍ubuntu下三种远程管理的方法，两种vnc远程图形化接入管理方式，一种ssh终端远程接入管理方式。文章目录0×1.使用vino-preferences开启远程桌面共享0×2.使用vncserver开启远程桌面服务0×3.如何让vncserver随机启动0×4.安装openssh-server实现远程终端ssh登陆0×1.使用vino-preference

2016-10-18 21:30:43 3660

转载 Hadoop Streaming 常见错误（不断更新ing）

1、streaming默认的情况下，mapper和reducer的返回值不是0，被认为异常任务，将被再次执行，默认尝试4次都不是0，整个job都将失败java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed wi th code 1 at org.apache.hadoop.stream

2016-10-10 21:02:26 1303

转载 Linux系统下如何查看及修改文件读写权限

查看文件权限的语句：　　在终端输入:ls -l xxx.xxx （xxx.xxx是文件名）　　那么就会出现相类似的信息，主要都是这些：-rw-rw-r--　　一共有10位数　　其中：最前面那个 - 代表的是类型　　中间那三个 rw- 代表的是所有者（user）　　然后那三个 rw- 代表的是组群（group）　　最后那三个 r-- 代表的是其他人（other）

2016-10-10 20:49:23 674

转载 Linux Bash Shell入门教程

BASH 的基本语法最简单的例子 —— Hello World! 关于输入、输出和错误输出 BASH 中对变量的规定（与 C 语言的异同） BASH 中的基本流程控制语法函数的使用 2.1 最简单的例子 —— Hello World!几乎所有的讲解编程的书给读者的第一个例子都是 Hello World 程序，那么我们今天也就从这个例

2016-10-10 20:06:14 305

转载 streaming常见计算任务失败原因

常见计算任务失败原因1）子进程返回错误1java.lang.RuntimeException: PipeMapRed?.waitOutputThreads(): subprocess failed with code 1at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed?.java:320)

2016-10-08 00:43:57 6079

原创 Hadoop流实现WordCount程序样例

Hadoop提供了一个API，允许用户使用任何脚本语言写Map函数或Reduce函数。Hadoop流的关键时，它使用UNIX函数标准作为程序与Hadoop之间的接口。因此，任何程序只要可以从标准输入流中读取数据并且可以写入数据到标准输出流，那么就可以通过Hadoop流使用其他语言编写MapReduce程序的Map函数或Reduce函数。下面使用一个简单的例子（本例子运行的环境：Ubuntu 16

2016-10-07 22:20:20 1500

原创使用命令shell和MyEclipse两种方式执行Hadoop的WordCount程序

大家初次接触编程时学习的无论时哪种语言，看到的第一个示例程序都是“Hello World”。在Hadoop中也有一个类似于Hello World的程序。这就是WordCount.下文会结合这个程序通过两种方式具体讲解与MapReduce程序有关的所有类。（关于WordCount的程序网上已经有很多了，我这里说一些网上没有的。）通过MyEclipse调用Hadoop的JAR类库实现WordCount

2016-10-05 01:16:29 3001

转载 HDFS 常用文件操作命令

前言HDFS命令基本格式：hadoop fs -cmd ls 命令hadoop fs -ls /列出hdfs文件系统根目录下的目录和文件hadoop fs -ls -R /列出hdfs文件系统所有的目录和文件put 命令hadoop fs -put hdfs file的父目录一定要存在，否则命令不会执行hadoop fs -put ...

2016-10-04 20:45:49 613

转载 Hadoop Shell命令

FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认sche

2016-10-04 19:56:37 310

翻译 hadoop ：mkdir: 'input': No such file or directory问题

初接触hadoop，遇到的问题真不少。在执行bin/hadoop fs -mkdir input时，出错了。测试发现，bin/hadoop fs -ls也不行。排查了一会才发现是版本的原因：2.x以前的版本这个命令，2.x之后的版本命令改成了：bin/hdfs dfs -mkdir -p 文件名 input目录创建完成之后，开始上传本地目录：bin/hdfs dfs -put /root/data

2016-10-04 19:04:52 20379 2

轻量级网络请求框架MKNetworkKit

使用苹果提供的NSURL和NSURLRequest网络请求API固然能解决我们的大部分的WebService请求，但是使用起来不是很简洁，又不是很方便。因此我们使用第三方框架主流的框架MKNetworkKit.具有以下优点：1.支持IOS和MacOSX 2.支持ARC 3.断电续传 4.只支持异步 5.图片缓存到内存 6.后台下载 7.下载进度 8.缓存离线请求 9.不支持Cookie 10.支持Https

2016-07-09