Hdfs 初学实验笔记

最新推荐文章于 2023-06-28 17:36:14 发布
最新推荐文章于 2023-06-28 17:36:14 发布
阅读量423 收藏
点赞数
文章标签： hadoop mapreduce 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vanni01/article/details/106265768
版权

Hdfs 实验

Hdfs 实验

本篇文章为Hdfs基础实验整体流程，中间如有不详处，或因环境所致踩坑，请自行baidu解决

1、windows 单机 安装hadoop272

（hadoop3.2暂时没有windows环境）
在D盘安装Jdk1.7 配置环境变量
在D盘解压hadoop272（路径中不要带符号包括空格）
用hadooponwindows-master 的bin 覆盖 hadoop272的bin
设置D盘的hadoop272
etc/hadoop /
core-site.xml
hdfs-site.xml
mapreduce-site.xml
yarn-site.xml
slavers
hadoop-env.cmd

关闭防火墙
systemctl disable firewalld.service
systemctl stop firewalld

格式化hdfs
hadoop namenode -format
启动 hadoop
d:/hadoop272/sbin/start-all.cmd
使用jps 查看启动情况

2、linux 安装hadoop

2.1 使用Vmware12 安装centos7 安装前开启并设置网络 固定ip
1/ /etc/hosts
192.168.198.128 lining01
192.168.198.129 lining02
2.2 安装JAVA
1/ 上传 jdk-7u79-linux-x64.tar.gz 至 /opt
2/ tar -zxvf jdk-7u79-linux-x64.tar.gz
3/ /etc/profile
5/ export JAVA_HOME=/opt/jdk1.7.0_79
export JRE_HOME= J A V A H O M E / j r e e x p o r t C L A S S P A T H = JAVA_HOME/jre export CLASSPATH= JAVAH​OME/jreexportCLASSPATH=JAVA_HOME/lib: J R E H O M E / l i b : JRE_HOME/lib: JREH​OME/lib:CLASSPATH
export PATH= J A V A H O M E / b i n : JAVA_HOME/bin: JAVAH​OME/bin:JRE_HOME/bin:$PATH
6/ source /etc/profile

2.3 安装配置Hadoop
1/ 上传 hadoop-2.5.0-cdh5.3.6.tar.gz 至 /opt
2/ cd /opt
3/ tar -zxvf hadoop-2.5.0-cdh5.3.6.tar.gz
4/ 新建tmp var hdfs hdfs/data hdfs/name
5/ 修改 core-site.xml hdfs-site.xml yarn-site.xml mapreduce-site.xml slavers hadoop-env.sh
在这里插入图片描述

core-site.xml

<configuration>
        <!--指定namenode的地址-->
    <property>
                <name>fs.defaultFS</name>
                <value>hdfs://lining01:9000</value>
    </property>
    <!--用来指定使用hadoop时产生文件的存放目录-->
    <property>
             <name>hadoop.tmp.dir</name>
             <value>file:///opt/hadoop-2.5.0-cdh5.3.6/tmp</value> 
    </property>
    <property>
        <!--用来设置检查点备份日志的最长时间-->
        <name>fs.checkpoint.period</name> 
        <value>3600</value>
    </property>
 </configuration>

hdfs-site.xml

<configuration>
    <!--指定hdfs保存数据的副本数量-->
    <property>
            <name>dfs.replication</name>
            <value>2</value>
    </property>
    <!--指定hdfs中namenode的存储位置-->
    <property>
             <name>dfs.namenode.name.dir</name> 
             <value>file:///opt/hadoop-2.5.0-cdh5.3.6/hdfs/name</value>
    </property>
    <!--指定hdfs中datanode的存储位置-->
    <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:///opt/hadoop-2.5.0-cdh5.3.6/hdfs/data</value>
    </property>

</configuration>

mapred-site.xml



<configuration>
<!--告诉hadoop以后MR(Map/Reduce)运行在YARN上-->
        <property>
              <name>mapreduce.framework.name</name>
              <value>yarn</value>
       </property>
</configuration>

yarn-site.xml


<configuration>
    <!--nomenodeManager获取数据的方式是shuffle-->
    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
    </property>
    <!--指定Yarn的老大(ResourceManager)的地址-->     
    <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>lining01</value>
    </property> 
    <!--Yarn打印工作日志-->    
    <property>    
        <name>yarn.log-aggregation-enable</name> 
        <value>true</value>    
    </property>

<configuration>

2.4生成master和slaver秘钥并把master公钥追加到两台slaver slaver公钥追加到master
1/ 修改 /etc/ssh/sshd_config
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
2/ ssh-keygen -t rsa -P ‘’
复制 /root/.ssh/id_rsa.pub 改名为 authorized_keys
把lining01的pub 追加到 lining02 lining03 的 root/.ssh/authorized_keys
把lining02的pub 追加到 lining01 的 root/.ssh/authorized_keys
把lining03的pub 追加到 lining01 的 root/.ssh/authorized_keys

3/ 测试 ssh lining02

2.5 格式化hdfs
1/ 关闭防火墙
systemctl disable firewalld.service
systemctl stop firewalld
2/ 格式化hadoop磁盘
hadoop namenode -format
3/ 启动 /opt/hadoop-2.5.0-cdh5.3.6/sbin/start-dfs.sh
启动 /opt/hadoop-2.5.0-cdh5.3.6/sbin/start-yarn.sh
4/ jps (如权限不够 chmod +x /opt/jdk1.7.0_79/bin/jps
5/ hadoop fs -ls
hadoop fs -mkdir
hadoop fs -put

3、JAVA操作WINDOWS上的HDFS

3.1 安装windows hadoop（因为是在window下编程，所以需要在windows上装hadoop和eclipse）–》1.1已安装
3.2 把eclipse-hadoop-2.7.2插件 放入eclipse\dropins里面 打开eclipse 配置location和dfs视图
3.3 新建 --> java 项目 testwinhdfs
新建文件夹lib,将hadoop272下的所有jar包复制到lib下面，BuildPath
将windows下的hadoop272配置文件coresite.xml hdfs-site.xml复制到src目录
3.4 新建java类 winhdfs

import java.io.*;
import org.apache.commons.io.*;
import org.apache.hadoop.conf.*;
import org.apache.hadoop.fs.*;

public class WinHdfs {
	
   static String hdfsroot = "hdfs://localhost:9000";
   public static void main(String[] args) throws IOException{
       put(args);
   }
   
   
   public static void get(String[] args) throws IOException
   {

	   Configuration conf=new Configuration();
	   FileSystem fs = FileSystem.get(conf);

	   Path src = new Path(hdfsroot+args[0]);
	   FSDataInputStream in = fs.open(src);
       FileOutputStream os = new FileOutputStream(args[1]);
       IOUtils.copy(in, os);
       System.out.println("get success");
   }
   
   public static void put(String[] args) throws IOException
   {
	   
	   Configuration conf = new Configuration();

	   FileSystem fs = FileSystem.get(conf);
	   //String src = "G:/hello.txt";
	   FileInputStream in = new FileInputStream(args[0]);

	   Path outpath = new Path(hdfsroot+args[1]);
	   FSDataOutputStream out = fs.create(outpath);

	   IOUtils.copy(in, out);

	   System.out.println("put success");
   }
   
}

4、JAVA操作Linux上的HDFS

4.1 步骤与windowshdfs的操作相同，但需要将用户指定为root
Properties properties = System.getProperties();
properties.setProperty(“HADOOP_USER_NAME”, “root”);

import java.io.*;
import java.util.*;
import org.apache.commons.io.*;
import org.apache.hadoop.conf.*;
import org.apache.hadoop.fs.*;

public class LinuxHdfs {
   public static void main(String[] args) throws IOException{
       
	   Properties properties = System.getProperties();
       properties.setProperty("HADOOP_USER_NAME", "root");

	   put(args);
   }
   
   
   public static void get(String[] args) throws IOException
   {
	   Configuration conf=new Configuration();
	   FileSystem fs = FileSystem.get(conf);

	   Path src = new Path("hdfs://192.168.92.129:9000/wordcount/phoneflow.csv");
	   FSDataInputStream in = fs.open(src);
       FileOutputStream os = new FileOutputStream("G:/phoneflow.csv");
       IOUtils.copy(in, os);
       System.out.println("get success");
   }
   
   public static void put(String[] args) throws IOException
   {
	   Configuration conf = new Configuration();

	   FileSystem fs = FileSystem.get(conf);
	   String src = "G:/hello.txt";
	   Path outpath = new Path("hdfs://192.168.92.129:9000/wordcount/wordcount32d21.txt");
	   FileInputStream in = new FileInputStream(src);

	   FSDataOutputStream out = fs.create(outpath);

	   IOUtils.copy(in, out);

	   System.out.println("put success");
   }
   
   
}

5、MapReduce WordCount 项目

aim：统计word.txt文件中的单词个数

5.1 Map过程
在这里插入图片描述
5.1 Reduce过程
在这里插入图片描述
5.3 Shuffle过程
在这里插入图片描述
5.4 MapReduce 整体流程
在这里插入图片描述
5.5 代码

public class WordCount {

    public static class WordMapper extends Mapper<Object, Text, Text, LongWritable> {

        private final static LongWritable one = new LongWritable(1);
        private Text word = new Text();

        public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
            
            StringTokenizer itr = new StringTokenizer(value.toString());
            
            while (itr.hasMoreTokens()) {
                word.set(itr.nextToken());
                context.write(word, one);    
            }
        }
    }
    
    public static class WordReducer extends Reducer<Text, LongWritable, Text, LongWritable> {
        private LongWritable result = new LongWritable();

        public void reduce(Text key, Iterable<LongWritable> values, Context context)
                throws IOException, InterruptedException {

            int sum = 0; 
            
           
            for (LongWritable val : values) {

                sum += val.get();        
            }
            result.set(sum);
            context.write(key, result);
        }
    }
    
    public static void main(String[] args) throws Exception {
        
        //Properties properties = System.getProperties();
        //properties.setProperty("HADOOP_USER_NAME", "root");
        
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, WordCount.class.getSimpleName());
        conf.set("mapreduce.job.jar", "G:/wordcount.jar");
        
        job.setJarByClass(wordcount.WordCount.class);
        
        String src = "hdfs://localhost:9000/wordcount/wordcount1.txt";
        //数据在哪里？
        //FileInputFormat.setInputPaths(job, new Path(args[0]));
        FileInputFormat.setInputPaths(job, new Path(src));
        //使用哪个mapper处理输入的数据？
        job.setMapperClass(WordMapper.class);
        //map输出的数据类型是什么？
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(LongWritable.class);
        
        //使用哪个reducer处理输入的数据？
        job.setReducerClass(WordReducer.class);
        //reduce输出的数据类型是什么？
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(LongWritable.class);
        
        String out = "hdfs://localhost:9000/wordcount/wordcountout12.txt";
        

		FileSystem fs = FileSystem.get(conf);
		if(fs.exists(new Path(out) )){
			fs.delete(new Path(out), true);
		}

        
        //数据输出到哪里？
        //FileOutputFormat.setOutputPath(job, new Path(args[1]));
        FileOutputFormat.setOutputPath(job, new Path(out));
        //交给yarn去执行，直到执行结束才退出本程序
        job.waitForCompletion(true);

    }

}

5.6 运行JAR包

hadoop jar g:/wordcount.jar wordcount.WordCount

6、MapReduce PhoneFlow 项目

aim1: 计算phoneflow.csv中每个手机号的上行，下行及流量总和，实现手机号分区
文件格式：分隔符：\t
13443245065 231 4243
13523421234 4321 142
13443245065 421 3243
…

aim2: 对输出结果phoneflowsum.csv 按流量总和进行排序
文件格式：分隔符：\t
13443245065 652 7486 8138
13523421234 4321 142 4463
…

6.1 制作FlowBean 实现 writableComparable 接口

package FlowSum;

import java.io.*;

import org.apache.hadoop.io.*;

public class FlowBean implements WritableComparable<FlowBean> {

	private String phonenum;
	
	private long upflow;
	private long downflow;
	private long sumflow;
	
	
	
	public FlowBean(String phonenum, long upflow, long downflow) {
		super();
		this.phonenum = phonenum;
		this.upflow = upflow;
		this.downflow = downflow;
		this.sumflow = upflow+downflow;
	}

	public void set(long upLink,long downLink){
        this.upflow=upLink;
        this.downflow=downLink;
        this.sumflow=upLink+downLink;
    }
	
	
	public FlowBean() {
		super();
	}


	public String getPhonenum() {
		return phonenum;
	}

	public void setPhonenum(String phonenum) {
		this.phonenum = phonenum;
	}

	public long getUpflow() {
		return upflow;
	}

	public void setUpflow(long upflow) {
		this.upflow = upflow;
	}

	public long getDownflow() {
		return downflow;
	}

	public void setDownflow(long downflow) {
		this.downflow = downflow;
	}

	public long getSumflow() {
		return upflow + downflow;
	}

	@Override
	public void readFields(DataInput arg0) throws IOException
	{
        phonenum = arg0.readUTF();
        upflow = arg0.readLong();
        downflow = arg0.readLong();
        sumflow = arg0.readLong();
	}
	

	@Override
	public void write(DataOutput arg0) throws IOException
	{
		arg0.writeUTF(phonenum);
		arg0.writeLong(upflow);
		arg0.writeLong(downflow);
		arg0.writeLong(sumflow);
	}
	
	@Override
	public String toString()
	{
		return upflow+"\t"+downflow+"\t"+sumflow;
	}


    public int compareTo(FlowBean o) {

        return this.getSumflow() > o.getSumflow()?-1:1;
    }
}

6.2 Mapper

package FlowSum;

import java.io.IOException;

import org.apache.hadoop.io.*;

import org.apache.hadoop.mapreduce.*;

import org.apache.commons.lang.StringUtils;


public class FlowSumMapper extends Mapper<LongWritable,Text,Text,FlowBean> 
{
	protected void map(LongWritable key,Text value,Context context)
			throws IOException,InterruptedException
	{

		String line = value.toString();
	    String[] fields =  StringUtils.split(line,'\t');
		String phonenum = fields[0].toString();
		Long upflow = Long.parseLong(fields[1]);
		Long downflow = Long.parseLong(fields[2]);

		
		context.write(new Text(phonenum),new FlowBean(phonenum,upflow,downflow));
	}

    
}

6.3 Reducer

package FlowSum;

import java.io.IOException;

import org.apache.hadoop.io.*;
import org.apache.hadoop.mapreduce.Reducer;

public class FlowSumReduce extends Reducer<Text,FlowBean,Text,FlowBean>{

	@Override
	protected void reduce(Text key, Iterable<FlowBean> values, Context context)
			throws IOException, InterruptedException {
		
		long upflow_count = 0;
		long downflow_count = 0;
		for(FlowBean flowBean :values)
		{
			upflow_count += flowBean.getUpflow();
			downflow_count += flowBean.getDownflow(); 
		}
		context.write(key,new FlowBean(key.toString(),upflow_count,downflow_count));
		
	}

}

6.4 Partitioner

package FlowSum;

import java.util.HashMap;

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.*;


public class FlowPartioner extends Partitioner<Text, FlowBean> {
	private static HashMap<String,Integer> map = new HashMap<>();
	static {
		map.put("135", 0);
		map.put("136", 1);
		map.put("137", 2);
		map.put("138", 3);
		map.put("139", 4);
	}
	@Override
	public int getPartition(Text key, FlowBean flowBean, int partitionnum) {
		return map.get(key.toString().substring(0,3)==null?5:key.toString().substring(0,3));
	}
}

6.5 Runner

package FlowSum;

import org.apache.hadoop.conf.*;
import org.apache.hadoop.fs.*;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.lib.input.*;
import org.apache.hadoop.mapreduce.lib.output.*;

import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

import org.apache.hadoop.io.Text;


public class FlowSumRunner extends Configured implements Tool {

	static String hdfsroot = "hdfs://localhost:9000";
	
	@Override
	public int run(String[] arg0) throws Exception {
		
		Configuration conf = new Configuration();
		
        Job job = Job.getInstance(conf, FlowSumRunner.class.getSimpleName());
        conf.set("mapreduce.job.jar", "G:/phoneflow.jar");
		
		job.setJarByClass(FlowSumRunner.class);
		job.setMapperClass(FlowSumMapper.class);
		job.setReducerClass(FlowSumReduce.class);
		
		job.setPartitionerClass(FlowPartioner.class);
		job.setNumReduceTasks(6);//设置reduce的任务并发数
		
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(FlowBean.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(FlowBean.class);

		FileInputFormat.setInputPaths(job, new Path(hdfsroot+arg0[0]));
		
		FileSystem fs = FileSystem.get(conf);
		if(fs.exists(new Path(hdfsroot+arg0[1]) )){
			fs.delete(new Path(hdfsroot+arg0[1]), true);
		}
		
		FileOutputFormat.setOutputPath(job, new Path(hdfsroot+arg0[1]));
		
		return job.waitForCompletion(true)?0:1;
	}

    public static void main(String[] args) throws Exception
    {
    	int res = ToolRunner.run(new Configuration(), new FlowSumRunner(),args);
        System.exit(res);
    }

}

6.6 打包运行：

hadoop jar g:/phoneflow.jar flowsum.FlowSumRunner /phoneflow.csv /phonesum

6.7 二次Map --》对第一次Mapreduce的结果进行排序

Mapper

package floworder;

import java.io.IOException;

import org.apache.hadoop.io.*;

import org.apache.hadoop.mapreduce.*;

import org.apache.commons.lang.StringUtils;


public class FlowSumMapper extends Mapper<LongWritable, Text, FlowBean, NullWritable> 
{
	protected void map(LongWritable key,Text value,Context context)
			throws IOException,InterruptedException
	{

		String line = value.toString();
	    String[] fields =  StringUtils.split(line,'\t');
		String phonenum = fields[0].toString();
		Long upflow = Long.parseLong(fields[1]);
		Long downflow = Long.parseLong(fields[2]);

		//使用shuffle对键进行排序，把flowbean设为键，并重写comareTo方法
		context.write(new FlowBean(phonenum,upflow,downflow),NullWritable.get());
	}

    
}

Reducer

package floworder;
import java.io.IOException;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapreduce.Reducer;

public class FlowSumReduce extends Reducer<FlowBean,NullWritable,Text,FlowBean>{
	@Override
	protected void reduce(FlowBean bean, Iterable<NullWritable> values,
			Reducer<FlowBean, NullWritable, Text, FlowBean>.Context context) throws IOException, InterruptedException {
		context.write(new Text(bean.getPhonenum()), bean);
	}
}

打包运行：

hadoop jar g:/phoneflow.jar flowsum.FlowSumRunner /phoneflow.csv /phonesum

MapReduce作业链结束。

vanni01
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
HDFS学习笔记
shui2104的博客
09-22 3228
HDFS简介 HDFS要实现以下目标： 1.兼容廉价的硬件设备 2.流数据读写 3.大数据集 4.简单的文件模型 5.强大的跨平台兼容性 块 HDFS默认一个块64MB，一个文件被分成多个块，以块作为存储单位，块的大小远远大于普通的文件系统，可以减少寻址开销 HDFS采用抽象的块概念可以带来以下几个明显的好处： 1.支持大规模文件存储：文件以块为单位进行存储
HDFS实验手册.pdf
10-22
HDFS实验手册，适合想要了解大数据的人群。
熟悉常用的HDFS操作
Qianhuawei0707的博客
04-25 694
编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同任务： 1.在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词. cd /usr/local/hadoop 　　　　touch test.txt 　　 2.在本地查看文件位置（ls） ls 　　 3.在本地显示文件内容 ...
Hadoop HDFS常用文件操作命令
onlyyou0516的博客
05-15 838
hadoop HDFS常用文件操作命令
HDFS实验之一：机架感知
mmicky的hadoop、Spark世界
05-13 2561
1：背景      缺省情况下，hadoop的replication为3，3个副本的存放策略为：第一个block副本放在和client所在的datanode里（如果client不在集群范围内，则这第一个node是随机选取的）。第二个副本放置在与第一个节点不同的机架中的datanode中（随机选择）。 第三个副本放置在与第二个副本所在节点同一机架的另一个节点上。如果还有更多的副本就随机放在集群的da
HDFS基本操作实验
Dragon_qing的博客
05-03 3089
HDFS基本操作实验HDFS的基本命令格式列出当前目录下的文件在HDFS创建文件夹级联创建一个文件夹，类似这样一个目录：/mybook/input上传文件至HDFS从HDFS上下载文件查看HDFS上某个文件的内容统计目录下各文件的大小（单位：字节B）删除HDFS上某个文件或者文件夹使用help命令寻求帮助。 HDFS的基本命令格式 hdfs dfs -cmd <args> 注意：需要事先将HADOOP_HOME/bin目录配置进入环境变量。 列出当前目录下的文件 hdfs dfs -ls 在
安装和配置Hadoop和HDFS以及模拟生成新能源车辆数据并写入HDFS
最新发布
qq_67990297的博客
06-28 739
在本篇博客中，将介绍如何使用Python模拟生成新能源车辆数据，并将数据写入HDFS（Hadoop分布式文件系统）中。这样的数据生成和存储过程可以用于各种数据分析和机器学习任务。
初学Hadoop之图解MapReduce与WordCount示例分析
02-01
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce则为海量的数据提供了计算...1、Hadoop示例程序WordCount详解及实例2、hadoop学习笔记：mapreduce框架详解3、hadoop示例程序wo
实验项目 实战 HDFS 实验报告
04-18
一、实验目的 1. 理解 HDFS 体系架构。 2. 理解 HDFS 文件存储原理和数据读写过程。 3. 熟练掌握 HDFS Web UI 界面的使用。 4. 熟练掌握 HDFS Shell 常用命令的使用。 5. 熟练掌握 HDFS 项目开发环境的搭建。 6. 掌握使用 HDFS Java API 编写 HDFS 文件操作程序。 二、实验环境 本实验所需的软件环境包括全分布模式 Hadoop 集群、Eclipse。 三、实验内容 1. 启 动 全 分 布 模 式 Hadoop 集 群 ， 守护进程 包 括 NameNode 、 DataNode 、 SecondaryNameNode、ResourceManager、NodeManager 和 JobHistoryServer。 2. 查看 HDFS Web 界面。 3. 练习 HDFS Shell 文件系统命令和系统管理命令。 4. 在 Hadoop 集群主节点上搭建 HDFS 开发环境 Eclipse。 5. 使用 HDFS Java API 编写 HDFS 文件操作程序，实现上传本地文件到 HDFS 的功能。。。。。
实验二、HDFS shell操作及HDFS Java API编程
04-10
适合刚接触hadoop的学生或小白，内容包括HDFS shell操作及HDFS Java API编程 有图片有代码
Hadoop配置文件.txt
06-05
Hadoop的4个xml配置文件core-site.xml、hdfs-site.xml配置、mapred-site.xml配置、yarn-site.xml配置
native(hadoop-2.5.0-cdh5.2.0).tar
10-19
native(hadoop-2.5.0-cdh5.2.0).tar 已经编译过的本地库文件
大数据实验总结_全部
11-30
大数据实验总结_全部 大数据实验总结_全部 大数据实验总结_全部
尚硅谷，flink 笔记.zip
07-20
5. **丰富的数据连接器和转换操作**：Flink提供了多种数据源和接收器，如Kafka、HDFS等，以及各种转换操作，如map、filter、join等，方便开发者构建复杂的流处理应用。 在学习《尚硅谷Flink笔记》的过程中，你会...
hadoop1.0\2.0学习笔记及
04-17
对于初学者，通过实际的Java开发实例可以更好地理解和掌握Hadoop。例如，编写MapReduce程序来处理大规模数据，理解Mapper和Reducer的工作原理，以及如何处理键值对。此外，学习使用Hadoop命令行工具进行数据的上传、...
大数据技术基础实验三：HDFS实验——部署HDFS
北天的博客
09-13 4969
大数据技术基础实验三，学习如何在虚拟机群部署HDFS并设置一键启动。
大数据处理实验（三）HDFS基本操作实验
qq_46147238的博客
04-28 5640
HDFS基本操作实验一、Hadoop配置环境变量列出当前目录下的文件级联创建一个文件夹，类似这样一个目录：/mybook/input上传文件至HDFS从HDFS上下载文件查看HDFS上某个文件的内容统计目录下各文件的大小（单位：字节B）删除HDFS上某个文件或者文件夹使用help命令寻求帮助。 HDFS的基本命令格式:hdfs dfs -cmd <args> 注意：需要事先将HADOOP_HOME/bin目录配置进入环境变量。 一、Hadoop配置环境变量 进入实验二创建的master容器 su
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值