Hadoop MR InputFormat/OutputFormat

最新推荐文章于 2024-03-17 20:13:26 发布
最新推荐文章于 2024-03-17 20:13:26 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/F_TimeOk/article/details/80916060
版权

 

常见的InputFormat&OutputFormat

 

InputFormat作用是为MapTask任务（第一阶段 归类/分析）阶段准备需要分类的数据信息。

InputFormat的核心作用1、计算任务切片2、读取切片数据RecordReader。

     InputForamt：

                 ① FileIputFormat　（负责读取HDFS数据）

                          a）TextInputForamt  （处理文本文件） 

                                     ★  切片计算方式 文件单位 按照splitSize

                                     ★  RecordReader读取方式 - LongWritable、Text

                           b）CombineTextInputFormat（处理小文件）

                                      ★  切片计算方式 按照splitSize

                                      ★  RecordReader读取方式 - LongWritable、Text

                           c）MultipleInputs（处理不同格式类型文件） 

                           d）NLineInputFormat （处理不同格式类型文件） （处理不同格式类型文件） 

                                      ★  切片方式 文件单位，按照N行Split

                                      ★  RecordReader读取方式 - LongWritable、Text

                           e）KeyValueTextInputFormat （处理不同格式类型文件） （处理不同格式类型文件） 

                 ② DBInputForamt （负责读取RDBMS 数据，不常用！）

                 ③ CompositeInputFormat

 

OutputFormat作为ReduceTask任务（第二阶段 汇总）阶段，主要对Reducer的输出结果写入到目标文件系统或者数据库！

 

     OutputFormat:：

                 ① FileoutputFormat    （负责将结果写入HDFS中） 

                          a）TextInputForamt  （处理文本文件） 

                                     ★  TextOutputFormat （将结果以文本的形式写入HDFS中） 

                 ② DBOutputFormat  （负责将数据写入到RDBMS数据库） 

                 ③ Multipleoutputs

 

 

以下案例均基于本地仿真

案例1：现有文本数据分别代表订单项编号，商品名称，商品价格，商品数量，购买的用户id

001,香蕉,1.5,10,10001
002,苹果,1.2,5,10001
003,西瓜,2,5,10002
004,葡萄,3,10,10002
005,橘子,1,3,10002

需要统计出每个用户购买的商品列表和花费的总价钱并写入数据库中。

示意结果：如下所示

mysql> select * from t_total;
+---------+--------------------+-------+
| user_id | items              | total |
+---------+--------------------+-------+
| 10001   | [苹果, 香蕉]        |    21 |
| 10002   | [橘子, 葡萄, 西瓜]  |    43 |
+---------+--------------------+-------+
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.db.DBConfiguration;
import org.apache.hadoop.mapreduce.lib.db.DBOutputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

public class TestToDBCount {
    public static void main(String[] args) throws Exception {

        Configuration conf = new Configuration();
        //通过conf创建数据库配置信息
        DBConfiguration.configureDB(conf, "com.mysql.jdbc.Driver", "jdbc:mysql://localhost:3306/test?characterEncoding=UTF-8","root","root");
        //1.创建job
        Job job = Job.getInstance(conf);

        //2.设置数据的格式类型 决定读入和写出的数据的方式
        job.setInputFormatClass(TextInputFormat.class);
        job.setOutputFormatClass(DBOutputFormat.class);

        TextInputFormat.addInputPath(job, new Path("file:///E:\\hadoop_test\\db\\dbs"));
        DBOutputFormat.setOutput(job, "t_total", "user_id","items","total");

        //4.设置数据的处理规则
        job.setMapperClass(MyMapper.class);
        job.setReducerClass(MyReduce.class);

        //5.设置Mapper和Reducer的key,value类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(Text.class);

        job.setOutputKeyClass(MyDBOutputWritable.class);
        job.setOutputValueClass(NullWritable.class);

        //6.提交任务job
        job.waitForCompletion(true);

    }

    static class MyMapper extends Mapper<LongWritable,Text,Text,Text> {
        @Override
        protected void map(LongWritable key, Text values, Context context) throws IOException, InterruptedException {
            String[] split = values.toString().split(",");
            String name = split[1];
            double price = Double.parseDouble(split[2]);
            int count = Integer.parseInt(split[3]);
            String user_id = split[4];
            context.write(new Text(user_id), new Text(name+","+price+","+count));
        }
    }

    static class MyReduce extends Reducer<Text,Text,MyDBOutputWritable,NullWritable> {
        @Override
        protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
            double total =0;
            List<String> items = new ArrayList();
            for (Text value : values) {
                String[] split = value.toString().split(",");
                total += Double.parseDouble(split[1]) * Integer.parseInt(split[2]);
                items.add(split[0]);
            }
            MyDBOutputWritable myOutputWritable = new MyDBOutputWritable();
            myOutputWritable.setUser_id(key.toString());
            myOutputWritable.setItems(items.toString());
            System.out.println(items);
            myOutputWritable.setTotal(total);
            context.write(myOutputWritable, NullWritable.get());
        }
    }
}

import org.apache.hadoop.mapreduce.lib.db.DBWritable;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;

public class MyDBOutputWritable implements DBWritable {

    private String user_id;
    private String items;
    private Double total;

    @Override
    public void write(PreparedStatement statement) throws SQLException {
        statement.setString(1, user_id);
        statement.setString(2, items);
        statement.setDouble(3, total);
    }

    @Override
    public void readFields(ResultSet resultSet) throws SQLException {

    }

    public String getUser_id() {
        return user_id;
    }

    public void setUser_id(String user_id) {
        this.user_id = user_id;
    }

    public String getItems() {
        return items;
    }

    public void setItems(String items) {
        this.items = items;
    }

    public Double getTotal() {
        return total;
    }

    public void setTotal(Double total) {
        this.total = total;
    }
}

 

 

 

案例2：现有数据库数据分别代表订单项编号，商品名称，商品价格，商品数量，购买的用户id

mysql> select * from t_item;
+-----+------+-------+-------+---------+
| id  | name | price | count | user_id |
+-----+------+-------+-------+---------+
| 001 | 香蕉 |  1.50 |    10 | 10001   |
| 002 | 苹果 |  1.20 |     5 | 10001   |
| 003 | 西瓜 |  2.00 |     5 | 10002   |
| 004 | 葡萄 |  3.00 |    10 | 10002   |
| 005 | 橘子 |  1.00 |     3 | 10002   |
+-----+------+-------+-------+---------+

需要统计出每个用户购买的商品列表和花费的总价钱并写入本地文件中。

示意图如下：

10001	[苹果, 香蕉]	21.0
10002	[橘子, 葡萄, 西瓜]	43.0
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.db.DBConfiguration;
import org.apache.hadoop.mapreduce.lib.db.DBInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

public class FromDBDatas {
    public static void main(String[] args) throws Exception {

        Configuration conf = new Configuration();
        //通过conf创建数据库配置信息
        DBConfiguration.configureDB(conf, "com.mysql.jdbc.Driver", "jdbc:mysql://localhost:3306/test?characterEncoding=UTF-8","root","root");

        //1.创建job
        Job job = Job.getInstance(conf);

        //2.设置数据的格式类型 决定读入和写出的数据的方式
        job.setInputFormatClass(DBInputFormat.class);
        job.setOutputFormatClass(TextOutputFormat.class);

        //3.指定数据的读入和写入位置
        String query = "select name,price,count,user_id from t_item";
        String countQuery = "select count(*) from t_item";

        DBInputFormat.setInput(job, MyDBInputWritable.class, query, countQuery);
        Path path = new Path("file:///E:\\hadoop_test\\db\\res");
        
        //如果生成结果文件的目录存在则删除
        FileSystem fileSystem = FileSystem.get(conf);
        if(fileSystem.exists(path)){
            fileSystem.delete(path, true);
        }
        TextOutputFormat.setOutputPath(job, path);

        //4.设置数据的处理规则
        job.setMapperClass(MyMapper.class);
        job.setReducerClass(MyReduce.class);

        //5.设置Mapper和Reducer的key,value类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(MyDBInputWritable.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);

        //6.提交任务job
        job.waitForCompletion(true);

    }

    static class MyMapper extends Mapper<LongWritable,MyDBInputWritable,Text,MyDBInputWritable> {
        @Override
        protected void map(LongWritable key, MyDBInputWritable value, Context context) throws IOException, InterruptedException {
            context.write(new Text(value.getUser_id()), value);
        }
    }

    static class MyReduce extends Reducer<Text,MyDBInputWritable,Text,Text>{
        @Override
        protected void reduce(Text key, Iterable<MyDBInputWritable> values, Context context) throws IOException, InterruptedException {
            double total=0;
            List<String> items=new ArrayList<String>();
            for (MyDBInputWritable value : values) {
                total+=value.getTotal();
                items.add(value.getName());
            }
            context.write(key,new Text(items+"\t"+total));
        }
    }
}
import org.apache.hadoop.io.Writable;
import org.apache.hadoop.mapred.lib.db.DBWritable;
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;

public class MyDBInputWritable implements DBWritable,Writable{

    //从数据库读属性
    private String user_id;
    private String name;
    private double total;

    @Override
    public void write(PreparedStatement statement) throws SQLException {

    }

    @Override
    public void readFields(ResultSet resultSet) throws SQLException {
        user_id = resultSet.getString("user_id");
        name = resultSet.getString("name");
        total = resultSet.getDouble("price")*resultSet.getInt("count");
    }

    @Override
    public void write(DataOutput out) throws IOException {
        out.writeUTF(name);
        out.writeDouble(total);
    }

    @Override
    public void readFields(DataInput in) throws IOException {
        name = in.readUTF();
        total = in.readDouble();
    }

    public String getUser_id() {
        return user_id;
    }

    public void setUser_id(String user_id) {
        this.user_id = user_id;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public double getTotal() {
        return total;
    }

    public void setTotal(double total) {
        this.total = total;
    }
}

 

案例3：现有数据库数据分别代表订单项编号，商品名称，商品价格，商品数量，购买的用户id

 

mysql> select * from t_item;
+-----+------+-------+-------+---------+
| id  | name | price | count | user_id |
+-----+------+-------+-------+---------+
| 001 | 香蕉 |  1.50 |    10 | 10001   |
| 002 | 苹果 |  1.20 |     5 | 10001   |
| 003 | 西瓜 |  2.00 |     5 | 10002   |
| 004 | 葡萄 |  3.00 |    10 | 10002   |
| 005 | 橘子 |  1.00 |     3 | 10002   |
+-----+------+-------+-------+---------+

 

需要统计出每个用户购买的商品列表和花费的总价钱并写入数据库中。

示意结果：如下所示

mysql> select * from t_total;
+---------+--------------------+-------+
| user_id | items              | total |
+---------+--------------------+-------+
| 10001   | [苹果, 香蕉]        |    21 |
| 10002   | [橘子, 葡萄, 西瓜]  |    43 |
+---------+--------------------+-------+
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.db.DBConfiguration;
import org.apache.hadoop.mapreduce.lib.db.DBInputFormat;
import org.apache.hadoop.mapreduce.lib.db.DBOutputFormat;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

public class TestFromDBToDBCount {
    public static void main(String[] args) throws Exception {

        Configuration conf = new Configuration();
        //通过conf创建数据库配置信息
        DBConfiguration.configureDB(conf, "com.mysql.jdbc.Driver", "jdbc:mysql://localhost:3306/test?characterEncoding=UTF-8","root","root");
        //1.创建job
        Job job = Job.getInstance(conf);

        //2.设置数据的格式类型 决定读入和写出的数据的方式
        job.setInputFormatClass(DBInputFormat.class);
        job.setOutputFormatClass(DBOutputFormat.class);

        String query = "select name,price,count,user_id from t_item";
        String countQuery = "select count(*) from t_item";

        DBInputFormat.setInput(job, MyDBWritable.class, query, countQuery);
        DBOutputFormat.setOutput(job, "t_total", "user_id","items","total");

        //4.设置数据的处理规则
        job.setMapperClass(MyMapper.class);
        job.setReducerClass(MyReduce.class);

        //5.设置Mapper和Reducer的key,value类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(MyDBWritable.class);

        job.setOutputKeyClass(MyDBWritable.class);
        job.setOutputValueClass(NullWritable.class);

        //6.提交任务job
        job.waitForCompletion(true);

    }

    static class MyMapper extends Mapper<LongWritable,MyDBWritable,Text,MyDBWritable> {
        @Override
        protected void map(LongWritable key, MyDBWritable value, Context context) throws IOException, InterruptedException {
            context.write(new Text(value.getUser_id()), value);
        }
    }

    static class MyReduce extends Reducer<Text,MyDBWritable,MyDBWritable,NullWritable> {
        @Override
        protected void reduce(Text key, Iterable<MyDBWritable> values, Context context) throws IOException, InterruptedException {
            double total = 0;
            List<String> items = new ArrayList();
            for (MyDBWritable value : values) {
                total += value.getTotal();
                items.add(value.getName());
            }
            MyDBWritable myDBWritable = new MyDBWritable();
            myDBWritable.setUser_id(key.toString());
            myDBWritable.setItems(items.toString());
            myDBWritable.setTotal(total);
            context.write(myDBWritable, NullWritable.get());
        }
    }
}
import org.apache.hadoop.io.Writable;
import org.apache.hadoop.mapred.lib.db.DBWritable;
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;

public class MyDBWritable implements DBWritable,Writable{

    private String user_id;
    private String name;
    private double total;
    private String items;

    @Override
    public void write(PreparedStatement statement) throws SQLException {
        statement.setString(1, user_id);
        statement.setString(2, items);
        statement.setDouble(3, total);
    }

    @Override
    public void readFields(ResultSet resultSet) throws SQLException {
        user_id = resultSet.getString("user_id");
        name = resultSet.getString("name");
        total = resultSet.getDouble("price")*resultSet.getInt("count");
    }

    @Override
    public void write(DataOutput out) throws IOException {
        out.writeUTF(name);
        out.writeDouble(total);
    }

    @Override
    public void readFields(DataInput in) throws IOException {
        name = in.readUTF();
        total = in.readDouble();
    }

    public String getUser_id() {
        return user_id;
    }

    public void setUser_id(String user_id) {
        this.user_id = user_id;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public double getTotal() {
        return total;
    }

    public void setTotal(double total) {
        this.total = total;
    }

    public String getItems() {
        return items;
    }

    public void setItems(String items) {
        this.items = items;
    }
}
别等时光非礼了梦想z
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
InputFormat和OutputFormat
weixin_45216439的博客
06-28 521
InputFormat的作用： 切片 把切片打散成< K ，V > 主要分为下面这几种不同的数据输入的方式： FileInputFormat 按照文件的块大小进行切片 该类没有实现 TextInputFormat 按照文件的块大小进行切片 LineLineRecordReader，key是偏移量，value是一行的内容 KeyValueInputForm...
Hadoop系列之InputFormat,OutputFormat用法
u011734144的专栏
03-07 1496
首先看下表该接口的代码 public interface InputFormat { InputSplit[] getSplits(JobConf var1, int var2) throws IOException; RecordReader getRecordReader(InputSplit var1, JobConf var2, Reporter var3) throw
InputFormat接口实现类
最新发布
qq_15304885的博客
03-17 868
输入的文件格式包括：基于行的日志文件、二进制格式文件等。很明显，键并不是行号。一般情况下，很难取得行号，因为文件按字节而不是按行切分为分片。值是这行的内容，不包括任何行终止符（换行符和回车符）。MapReduce任务的输入文件一般是存储在。类型，存储该行在整个文件中的字节偏移量。以下是一个示例，比如，一个分片包含了如下。此时的键是每行排在制表符之前的。以下是一个示例，输入是一个包含。表示一个（水平方向的）制表符。，则每个输入分片包含两行。以下是一个示例，仍然以上面的。每条记录是一行输入。
InputFormat简析
后知后觉的it路
11-30 858
  0 引子：   hadoop把处理的文件读取到并解析成键值对，这个操作是通过InputFormat类的子类实现的。 在执行一个Job的时候,Hadoop会将处理的数据(存放在hdfs中)划分成N个Split,然后启动相应的N个Map程序来分别处理它们,默认下hdfs中的一个block就会被划分为一个Split, 现在的问题是：a）被处理的hdfs数据如何被划分b）Split对应的...
Hadoop权威指南: InputFormat,RecordReader,OutputFormat和RecordWriter
weixin_30371875的博客
08-02 99
InputFormat和RecordReader Hadoop提出了InputFormat的概念 org.apache.hadoop.mapreduce包里的InputFormat抽象类提供了如下列代码所示的两个方法 public abstract class InputFormat<K, V> { public abstract List<InputSplit> ...
Hadoop提交Job执行MR程序代码.zip
10-02
2. **设置InputFormat和OutputFormat**：指定输入数据如何被分割和读取（InputFormat），以及输出数据如何被写入（OutputFormat）。 3. **设置Mapper和Reducer**：通过`job.setMapperClass()`和`job.setReducerClass...
hadoop编写MR和运行测试共12页.pdf.zip
10-29
除此之外，还需要一个`Partitioner`来决定哪些键值对应该被送到哪个Reducer，以及`InputFormat`和`OutputFormat`来定义数据的输入和输出格式。 在运行测试方面，Hadoop提供了一套测试框架，允许开发者对MapReduce...
DataStatistics:hadoop MR算法模型demo
05-29
3. **InputFormat与OutputFormat**：这些类定义了数据的输入和输出格式，使得Hadoop能够正确地读取和写入数据。例如，可能使用`TextInputFormat`读取文本文件，而`TextOutputFormat`则将处理结果写回为文本文件。 4...
Map-Reduce:Hadoop MR 程序
06-01
此外，Hadoop的`InputFormat`和`OutputFormat`接口用于指定输入数据的格式和输出数据的格式，使得MapReduce程序能够处理各种不同类型的数据源。 在实际应用中，Hadoop MapReduce通常与Hadoop Distributed File ...
elasticsearch-hadoop-5.2.1
03-03
9. **RESTful接口**：除了传统的MapReduce和Spark支持，Elasticsearch-Hadoop还支持通过Hadoop的InputFormat和OutputFormat使用Hadoop的通用工具（如Hive和Pig）来与Elasticsearch交互，这些工具可以直接利用Elastic...
MR的inputFormat总结
Baron_ND的博客
08-31 1206
inputFormat hadoop虽然内置了很多个inputFormat但是，有时候还是不满足我们的一些需求，所以我们需要重写一个类，来实现我们对数据的读取。 例如WC我们制定几行一起读取： 所有InputFormat都要直接或间接的继承InputFormat抽象类。 InputFormat接 口中主要定义了如下两个方法: /** 生产InputSplit集合的方法 ...
Hadoop 之 InputFormat
乄浅醉的专栏
05-31 5040
splits and records一个输入split就是一个由单个map来处理的输入块。每一个map只处理一个split。每个分片被切分成若干 records，每个record就是一个键/值对，map循环处理记录。split和record都是逻辑性概念。/** * <code>InputSplit</code> represents the data to be processed by an
Kafka的优点
Lestat.Z.的博客
04-27 4443
Kafka的优点前言Kafka的优点多个生产者多个消费者基于磁盘的保留可扩展性高性能参考资料 前言 现在市场上的有很多发布/订阅消息传递系统，那么是什么让Apache Kafka成为一个不错的选择呢？或者说Kafka它有什么优势呢？ Kafka的优点 多个生产者 无论这些客户是使用多个主题还是相同主题，Kafka都能够无缝地处理多个生产者。 这使得该系统非常适合聚合来自许多前端系统的数据并使其保持...
菜鸟先飞之Hadoop数据模型
望、本归心的博客
07-23 475
一、Hadoop常用数据模型（文件存储格式） 1、Text：文本文件通常采用CSV、JSON等固度长度的纯文本格式 优点： （1）、便于与其他应用程序（生成或读取分隔文件）或脚本进行数据交换 （2）、易读性好，便于理解 缺点： （1）、数据存储量非常庞大 （2）、查询效率不高 （3）、不支持块压缩 2、SequenceFile： （1）SequenceFile按行存储二进制键值对数据，HDFS自带 1）二进制文件直接将<Key,Value>序列化到文件中 2）...
org.apache.hadoop.mapred.FileInputFormat 与org.apache.hadoop.mapreduce.lib.input.FileInputFormat
weixin_30256505的博客
04-17 1599
Hadoop中mapred包和mapreduce包的区别就是 mapred代表的是hadoop旧API，而mapreduce代表的是hadoop新的API。 具体可以参考网址https://blog.csdn.net/u014470581/article/details/51488008 对比 ： 　　hadoop旧api如何初始化job？ hadoop新api使用那个函...
自定义InputFormat
weixin_42898914的博客
12-08 388
自定义InputFormat     需求：将多个小文件合并为SequenceFile（存储了多个小文件）     存储的格式：文件路径+文件的内容     public class FuncFileInputFormat extends FileInputFormat&lt;NullWritable,BytesWritable&gt;{         @Override         pr...
hadoop初读--setInputFormatClass
巴氏旅人的专栏
06-01 3876
鉴于平时的hadoop实践问题或粗读hadoop源码而记录形成”hadoop初读”系列部分。每篇主要以问题-解答两部分组成:问题是实践中的异常或疑惑；解答部分为源码的粗读理解(以注释形式给出说明)。问题代码(主要实现多输入,报No input paths specified in job):import java.io.IOException; import java.net.URI; import
关于hadoop job中job.setOutputFormatClass和FileOutputFormat.setOutputPath容易报错的问题
vicleev的博客
09-28 3913
1. job.setOutputFormatClass(TextOutputFormat.class) # TextOutputFormat的为新的API中org.apache.hadoop.mapreduce.lib.output.TextOutputFormat job.setOutputFormatClass(TextOutputFormat.class); 2.FileOutputFo...
【十八掌●武功篇】第十掌：Hive之高级知识
鸣宇淳的专栏
11-17 782
这一篇博文是【大数据技术●降龙十八掌】系列文章的其中一篇，点击查看目录：大数据技术●降龙十八掌 一、 Hive文件格式 1、 常见文件格式 Hive中的文件格式常见的有：textfile文件格式、sequencefile二进制序列化文件格式、rcfile、orc、parquet。hive表的文件格式一般是在创建表时用stored as语句声明，如： create table de
分割cd /root cp hadoop-huaweicloud-2.8.3-hw-39.jar /home/modules/hadoop- 2.8.3/share/hadoop/common/lib/ cp hadoop-huaweicloud-2.8.3-hw-39.jar /home/modules/hadoop-2.8.3/share/hadoop/tools/lib cp hadoop-huaweicloud-2.8.3-hw-39.jar /home/modules/hadoop2.8.3/share/hadoop/hƩ pfs/tomcat/webapps/webhdfs/WEB-INF/lib/ cp hadoop-huaweicloud-2.8.3-hw-39.jar /home/modules/hadoop-2.8.3/share/hadoop/hdfs/lib/
06-05
1. cd /root 2. cp hadoop-huaweicloud-2.8.3-hw-39.jar /home/modules/hadoop-2.8.3/share/hadoop/common/lib/ 3. cp hadoop-huaweicloud-2.8.3-hw-39.jar /home/modules/hadoop-2.8.3/share/hadoop/tools/lib 4. cp hadoop-huaweicloud-2.8.3-hw-39.jar /home/modules/hadoop2.8.3/share/hadoop/hdfs/tomcat/webapps/webhdfs/WEB-INF/lib/ 5. cp hadoop-huaweicloud-2.8.3-hw-39.jar /home/modules/hadoop-2.8.3/share/hadoop/hdfs/lib/ 这里将这段代码分割成了5行，每行代表一个命令。第一行是定位到根目录 /root；接下来四行是复制 hadoop-huaweicloud-2.8.3-hw-39.jar 文件到不同的目录下，分别是 common/lib、tools/lib、webhdfs/WEB-INF/lib 和 hdfs/lib。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值