Row Row Row your boat

第二章：安装Hadoop(下)集群版Hadoop一、环境配置本地环境：window7 x64青云服务器：      由于我自己没有这么多服务器，虚拟机更带不动这么多个，所以最后使用青云服务器，开通了四台服务器，整个使用流程还是很简单的，可以配置公网ip，给其中一台服务器连上公网。一天大概几块钱的样子，不用的时候关掉服务器和ip可以省些钱。名称

参考自官方文档 http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.htmlFS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件

进入和退出安全模式[root@localhost bin]# ./hdfs dfsadmin -safemode enter15/08/03 07:26:24 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes wher

来自 小象科技 董西成Part 1 概念介绍Part 2 安装部署解压# tar zxvf flume-ng-1.5.0-cdh5.4.4.tar.gz进入文件夹# cd apache-flume-1.5.0-cdh5.4.4-bin复制配置文件# cp conf/flume-env.sh.template conf/

pig

暂留

安装：解压tar zxvf hbase-1.0.0-cdh5.4.4.tar.gz进入文件夹编辑 conf/hbase-site.xml 去配置hbase.rootdir，来选择Hbase将数据写到哪个目录 .        hbase.rootdir      file:///home/frank/hbase  启动Hbase:[roo

来着 小象科技 董西成Part 1 概念理论

课件来自：小象科技Hadoop1.0与2.0架构的不同

PPT来自 小象科技，讲师：董西成

Hadoop单机版安装过程一、搭建环境虚拟机：VMware WorkStation 9操作系统：CentOS 6.6_64位IP：192.168.140.130二、搭建过程1.创建新用户我们不使用root用户来安装Hadoop，推荐新建一个用户。[root@localhost ~]# useradd frank[root@localhost ~]# pas

来自小象科技  讲师：董西成

Redis使用参考 ：http://www.jb51.net/article/56448.htm一、介绍redis是一个开源的、使用C语言编写的、支持网络交互的、可基于内存也可持久化的Key-Value数据库。二、.安装下载地址：http://redis.io/download在Linux中可以使用$ wget http://downlo

来自小象科技 讲师董西成

MapReduce2.0编程实践(下)实践一、运行实例假设hdfs文件系统中什么都没有，这里我先清空以前的东西。注意不能使用[frank@localhost bin]$ ./hdfs dfs -rm -r -f /home/*来清空hdfs系统中/home目录下全部内容，因为shell会将/home/*解读为本地/home/目录下全部文件和文件夹，但是在hdfs

来自小象科技  讲师：董西成

Hadoop文件分布式管理命令强烈推荐直接看官网 这里我试验几个命令，基本都跟linux shell用法差不多。进入bin目录（或者将bin目录添加进环境变量，参考java环境变量的配置）[frank@localhost hadoop-2.6.0-cdh5.4.4]$ cd binmkdir命令[frank@localhost bin]$ ./hdfs dfs -m

Hadoop回收站trash，默认是关闭的。 习惯了window的同学，建议最好还是把它提前开开，否则误操作的时候，就欲哭无泪了 1. 修改conf/core-site.xml增加 <property> <name>fs.trash.interval</name> <value>1440</value> <description>Number of minutes bet