2017年04月_KirogiYi

10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Hadoop渐进四：MapRaduce流程简述

一、MapRaduce介绍MapReduce是一种编程模型，具有在多节点上并行处理大数据的能力。MapReduce算法包含两个重要的事务，分别是Map和Reduce：1、Map：把大量复杂任务分解成多个少量简单任务；2、Reduce：将多个少量任务结果进行归类汇总。二、Map/Reduce步骤 1、Map：负责数据的过滤分发(1)、Splitting：从数

2017-04-29 20:40:28 983

翻译 vim自动配置(YouCompleteMe)

An automatic configuration program for vim https://github.com/chxuan/vimplusIntroI usually use vim to write a C++ program, so in order to allow me to write C++ more enjoyable, I made some vim

2017-04-26 21:49:13 3287

原创 Hadoop渐进三：流的Bash实例

一、简介：Hadoop提供了API来运行MapReduce，可以使用java以外的语言编写map和raduce函数。Hadoop流使用Unix标准输入输出流作为Hadoop和程序之间的接口，可以使用任何支持标准输入输出的语言，方便了已有程序向Hadoop平台的移植。原理：输入数据把标准输入流传输到map函数，先是一行一行的传输，然后把行写入标准输出；而Reduce具有相同的格式，从标准输入流读

2017-04-25 20:02:09 500

原创 Hadoop渐进二：自动与手动实例wordcount运行

hadoop fs是调用文件系统的命令(bin/hadoop fs )1、创建输入文件（数据块）(1)、hadoop fs -mkdir /input (2)、删除文件块hadoop fs -rm -r /filename/(文件夹)hadoop fs -rm /filename(文件)3、查看创建的文件块hdfs dfs -ls / 4、本地文件导

2017-04-25 12:20:23 539

原创 Hadoop渐进一：Hadoop2.8.0虚拟机集群配置

Hadoop虚拟机集群配置一、下载工具VMWare Fusion: https://www.vmware.com/products/fusion.html 二、下载操作系统Ubuntu：https://www.ubuntu.com/download 三、在VirtualBox中安装一台Ubuntu系统虚拟机后(Master)，clone出另外两台虚拟机(Slave)

2017-04-24 20:17:37 1303

原创 Mac使用ssh无密码登录Ubuntu

1、在mac命令行下创建公钥私钥对 kirogi$ ssh-keygen2、进入mac .ssh文件，若无config文件，则创建kirogi$ touch config3、配置config文件Host xxx.xx.xxx.xx #服务端IP地址 Port xx

2017-04-20 17:59:43 2471

原创 Mac admin用户sudo权限失效

在用sudo安装文件的时候，出现如下错误提示：sudo: /etc/sudoers is world writablesudo: no valid sudoers sources found, quittingsudo: unable to initialize policy plugin1、首先想到修改/etc/suders来修改用户权限，但是很遗憾的是问题依

2017-04-20 11:09:08 8125 2

原创 The version of CocoaPods used to generate the lockfile

Lin-MacBoo$ pod installAnalyzing dependencies[!] The version of CocoaPods used to generate the lockfile (1.2.0) is higher than the version of the current executable (1.0.1). Incompatibility is

2017-04-14 10:06:05 5753 1