hadoop
文章平均质量分 74
绛门人
静水深流
展开
-
客户端对HDFS的操作
package cn.itcast.bigdata.hdfs;import java.net.URI;import java.util.Iterator;import java.util.Map.Entry;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;impor转载 2016-12-01 16:44:34 · 810 阅读 · 0 评论 -
MAPREDUCE使用(整理)
copy by: czbk papermapreduce是hadoop中的分布式运算编程框架,只要按照其编程规范,只需要编写少量的业务逻辑代码即可实现一个强大的海量数据并发处理程序。import java.io.IOException;import java.util.HashMap;import org.apache.hadoop.io.IntWritable;import or原创 2017-06-29 17:37:37 · 273 阅读 · 0 评论 -
HADOOP高可用机制
HA运作机制什么是HAHADOOP如何实现HAHDFS-HA详解HA集群搭建 目标:掌握分布式系统中HA机制的思想掌握HADOOP内置HA的运作机制掌握HADOOP2.x的HA集群机制配置 1 Hadoop的HA机制前言:正式引入HA机制是从hadoop转载 2017-05-21 12:17:12 · 2710 阅读 · 0 评论 -
hadoop中hdfs对文件的操作Api
package hdfstest;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStream;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataOutputS转载 2016-11-23 15:16:47 · 623 阅读 · 0 评论 -
Hadoop API 使用介绍
----------------Hadoop API 使用介绍---------------------Hadoop API被分成(divide into)如下几种主要的包(package)org.apache.hadoop.conf 定义了系统参数的配置文件处理API。org.apache.hadoop.fs 定义了抽象的文件系统API。org.apac转载 2016-11-23 09:48:37 · 5390 阅读 · 0 评论 -
Hadoop中hdfs的操作:
Hadoop中hdfs的操作:HDFS命令示例:hadoop fs -mkdir /user/trunkhadoop fs -ls /userhadoop fs -lsr /user (递归的)hadoop fs -put test.txt /user/trunkhadoop fs -put test.txt . (复制到hdfs当前目录下,首先要创建当前目录)hadoop转载 2016-11-23 08:34:49 · 723 阅读 · 0 评论 -
Eclipse中运行MapReduce程序
转:http://phz50.iteye.com/blog/932373操作系统:在windows下使用wubi安装了ubuntu 10.10 hadoop版本:hadoop-0.20.2.tar.gzEclipse版本:eclipse-jee-helios-SR1-linux-gtk.tar.gz为了学习方便这个例子在“伪分布式模式”Hadoop安装方式下开发。第转载 2016-11-22 17:23:36 · 410 阅读 · 0 评论 -
hadoop伪分布式安装
hadoop伪分布式安装准备工作 1.修改IP yum -y install net-tools cd /etc/sysconfig/network-scripts/ifcfg-eno*** 2.修改主机名 使用root账户 ------修改主机名称 hostnamectl --static set-hostname n1 3.----修改/etc/host原创 2016-11-22 14:37:52 · 361 阅读 · 0 评论 -
第一个MapReduce程序
1.jar包拷贝到集群上2.执行 hadoop jar wordcount.jar shizhan.WordcountDriver /wordcount/input /wordcount/outputMapper类package cn.itcast.bigdata.mr.wcdemo;import java.io.IOException;import org.apache.ha转载 2016-12-04 00:55:18 · 568 阅读 · 0 评论 -
单机版hadoop部署
单机版hadoop部署卸载自带的jdk,安装自己的jdk1.tar -zxf /tmp/hadoop-2.6.5.tar.gz -C /usr/local # 解压到/usr/local中2.cd /usr/local/3.mv ./hadoop-2.6.0/ ./hadoop # 将文件夹名改为hadoop4.chown -R hadoop ./h原创 2016-11-21 17:26:00 · 276 阅读 · 0 评论 -
用流的方式来操作hdfs上的文件
package cn.itcast.bigdata.hdfs;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.IOException;import java.net.URI;import org.apache.commons.io.IOUtils;import org.apa转载 2016-12-03 17:22:10 · 4971 阅读 · 0 评论 -
CDH参考文档
参考:http://www.cnblogs.com/zlslch/p/6675024.html原创 2017-06-30 09:32:03 · 529 阅读 · 0 评论