Hadoop
拾毅者
长期关注机器学习,数据挖掘和人工智能领域。
展开
-
Hadoop学习笔记0004——eclipse安装hadoop插件
Hadoop学习笔记0004——eclipse安装hadoop插件1、下载hadoop-1.2.1.tar.gz,解压到win7下hadoop-1.2.1; 2、如果hadoop-1.2.1中没有hadoop-eclipse-plugin-1.2.1.jar包,就到网上下载下来; 3、关闭eclipse,然后将hadoop-eclipse-plugin-1.2.1.jar拷原创 2015-04-22 12:45:47 · 1676 阅读 · 0 评论 -
Hadoop学习笔记0001——Hadoop安装配置
Hadoop配置主要事项1、 保证Master和Slave能够ping通;2、 配置/etc/hosts文件;3、 能够ssh无密码切换各台主机;4、 安装sun公司的jdk,在/etc/profile中设置好环境变量;5、 下载Hadoop,安装、配置、搭建Hadoop集群;1.Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。原创 2015-03-28 15:56:11 · 1701 阅读 · 0 评论 -
Hadoop学习笔记0003——从Hadoop URL读取数据
Hadoop学习笔记0003——从Hadoop URL读取数据从HadoopURL读取数据 要从Hadoop文件系统中读取文件,一个最简单的方法是使用java.net.URL对象来打开一个数据流,从而从中读取数据。一般的格式如下:InputStream in = null; try { in = new URL("hdfs://host/path").op原创 2015-04-11 12:39:14 · 2881 阅读 · 0 评论 -
Hadoop学习笔记0002——HDFS文件操作
Hadoop学习笔记0002——HDFS文件操作 说明:Hadoop之HDFS文件操作常有两种方式,命令行方式和JavaAPI方式。方式一:命令行方式Hadoop文件操作命令形式为:hadoop fs -cmd 说明:cmd是具体的文件操作命令,是一组数目可变的参数。Hadoop最常用的文件操作命令,包括添加文件和目录、获取文件、删除文件等。 1 添加文件和目录原创 2015-04-10 22:33:40 · 1256 阅读 · 0 评论 -
Hadoop学习笔记0005——centos下运行Hadoop实例
前提: *确保Hadoop安装成功*1、复制Hadoop自带的源码实例cp /usr/hadoop/src/examples/org/apache/hadoop/examples/WordCount.java /usr/hadoop/test2、创建一个classes文件夹,方便编译mkdir classes3、编译WordCount.java文件javac -classpath /usr/hado原创 2015-05-12 09:12:59 · 1266 阅读 · 1 评论