hadoop上路
小飞侠-2
我的github地址https://github.com/liujiekasini 欢迎大家分享讨论
展开
-
Hadoop上路_10-分布式Hadoop集群搭建
目录[-]1.创建模板系统: 1)解压jdk、hadoop,配置bin到环境变量: 2)配置%hadoop%/conf/hadoop-env.sh: 3)安装openssh,尚不配置无密码登陆: 4)配置网卡静态IP、hostname、hosts:转载 2016-02-16 14:40:23 · 905 阅读 · 1 评论 -
windows下eclipse调试hadoop详解
1)下载Eclipsehttp://www.eclipse.org/downloads/Eclipse Standard 4.3.2 64位 2) 下载hadoop版本对应的eclipse插件我的hadoop是1.0.4,因此下载hadoop-eclipse-plugin-1.0.4.jar下载地址:http://download.csdn.net/转载 2016-02-18 10:07:15 · 456 阅读 · 0 评论 -
Hadoop上路_05-HDFS中的文件操作
目录[-]1.Hadoop操作:1)查看Hadoop版本:2)自动开启Hadoop:3)手动开启Hadoop:2.HDFS操作:1)查看HDFS上的文件:2)向HDFS上传文件:3)从HDFS下载文件:4)删除HDFS上的文件:5)HDFS的更多命令:3.MapReduce示例操作-统计字符1)在HDFS上执行jar程序:2)查看统计结果转载 2016-02-16 14:47:02 · 614 阅读 · 1 评论 -
Hadoop上路_06-在Ubuntu中使用eclipse操作HDFS
目录[-]1.解压eclipse:2.安装hadoop开发插件: 3.执行快捷方式: 4.配置Hadoop视图: 1)window -> preferences -> Hadoop Map/Reduce, 2)打开Hadoop视图, 3)新建Hadoop Location连接,转载 2016-02-16 14:46:24 · 1028 阅读 · 3 评论 -
Hadoop上路_07-使用Java操作HDFS
目录[-]1.HDFS操作-查: 1)遍历HDFS文件,基于hadoop-0.20.2: 2)Run on Hadoop: 3)遍历HDFS文件,基于Hadoop-1.1.2一: 4)遍历HDFS文件,基于Hadoop-1.1.2二: 5)判断HDFS中指定名称的目录或文件:转载 2016-02-16 14:45:52 · 552 阅读 · 1 评论 -
Hadoop上路_08-在win7中配置eclipse连接Ubuntu内的hadoop
目录[-]1.设置Ubuntu静态IP: 1)配置网卡参数到interfaces文件: 2)重启网卡: 2.配置Ubuntu的hosts: 3.配置VirtualBox虚拟机的网络连接: 4.配置Win7的hosts: 5.在Win7的eclipse中配置Map/Reduce连接: 1)基本模式:转载 2016-02-16 14:45:04 · 421 阅读 · 1 评论 -
Hadoop上路_09-在Win7中操作Ubuntu的HDFS
目录[-]1.查询: 1)方式一-指定HDFS的URI: 2)方式二-指定HDFS的配置文件: 3)判断HDFS中指定名称的目录或文件: 4)查看HDFS文件的最后修改时间: 5)查看HDFS中指定文件的状态: 6)读取HDFS中txt文件的内转载 2016-02-16 14:44:30 · 1369 阅读 · 1 评论 -
Hadoop上路_11-HDFS流程演示
目录[-]1. namenode节点-Master节点: 2. datanode节点-Slave节点: 3. HDFS文件系统的工作流程: 4. HDFS数据安全机制: 一个HDFS集群(简单理解我们搭建的Hadoop集群)即一个namenode与N个datanode的组合。1. namenode节点-Master节点: (1)nam转载 2016-02-16 14:43:30 · 602 阅读 · 1 评论 -
Hadoop上路_12-MapReduce流程演示
目录[-]1. jobstracker节点-Master节点: 2. tasktracker节点-Slave节点: 3. MapReduce分布式运算工作流程: MapReduce是单个jobstracker和多个tasktracker的组合。一般jobstracker和HDFS中的namenode在同一个节点,也可配置为单独节点;tasktracker和转载 2016-02-16 14:42:51 · 720 阅读 · 1 评论 -
Hadoop上路_14-Hadoop2.3.0的分布式集群搭建
目录[-]一。配置虚拟机软件1.虚拟机软件设定1)进入全集设定2)常规设定2.Linux安装配置1)名称类型2)内存3)磁盘选择4)磁盘文件5)磁盘空间6)磁盘位置7)数据传输8)软驱9)Linux镜像10)网络二。安装模板Linux1.一般安装过程2.初始化用户三。配置Linux1.在桌面显示终端2.在桌转载 2016-02-16 14:42:19 · 852 阅读 · 1 评论 -
Hadoop上路_15-HBase0.98.0入门
目录[-]一。分布式环境搭建1.在master主控机安装HBase1)解压2)配置环境变量3)修改%HBASE%/conf/hbase-env.sh4)修改$HBASE_HOME/conf/hbase-site.xml5)$HBASE_HOME/conf/regionservers 文件增加2.把HBase复制到slave从属机3.启动HBase集群转载 2016-02-16 14:41:07 · 773 阅读 · 1 评论 -
Windows下使用Hadoop2.6.0-eclipse-plugin插件
摘要 经历过痛苦的过程,在windows下终于可以使用eclipse的hadoop2.6.0插件进行远程调试Mapreduce了,本文大部分内容是摘自其余的博客,但是后续也有补充完整自己在整个过程中遇到的其余问题,希望本文能够比较完善的解决hadoop2.6.0在eclipse运行的问题。本人没有经过重新编译,都是在网上找的现成的,但是也把编译过程整理在这里。Hadoop eclipse 插件转载 2016-02-18 10:08:33 · 3881 阅读 · 1 评论