第十七天 -- IDEA -- MAVEN -- AWK -- MapReduce简单案例

最新推荐文章于 2023-06-06 14:18:38 发布
最新推荐文章于 2023-06-06 14:18:38 发布
阅读量562 收藏 1
点赞数 1
分类专栏： 学习 文章标签： idea awk maven mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cry970795248/article/details/83040250
版权

第十七天 – IDEA – MAVEN – AWK – MapReduce简单案例

文章目录

一、IDEA

安装

下载地址 点击进入

分为旗舰版和社区版，旗舰版需要付费，可以破解，社区版完全免费，它们在一些功能支持上有所差异。推荐使用旗舰版。

下载后直接一路下一步安装即可，可以修改安装路径等配置。

破解

旗舰版安装完成后需要破解，破解过程 点击进入 按照该网页提示的过程即可破解。

简单配置

设置位置：File – Settings

  • 字体大小、颜色等：Editor – Font / Color Scheme

  • 代码提示：Editor – General – Code Completion，建议选择首字母匹配

    1539065614924

  • 编码设置：Editor – File Encodings，将下图三处改为UTF-8

    1539065710566

  • 修改jdk版本：Build,Execution,Deployment – Compiler – Java Compiler

    1539065857128

  • 项目中修改Modules的jdk：File – Project Structure，选中Modules

    1539057987226

常用快捷键
  1. Ctrl+Shift + Enter，语句补全
  2. Ctrl+Alt+L，格式化代码(与qq快捷键冲突)
  3. Ctrl+Enter，导入包，自动修正
  4. Ctrl+Alt+T，把代码包在一个块内，例如：if、if/else、try/catch等
  5. Ctrl+Alt+V，引入变量。例如：输入new ArrayList(); 会自动补全为ArrayList<Object> objects = new ArrayList<>();
  6. Ctrl+X，删除当前行
  7. Ctrl+D，复制当前行到下一行
  8. Ctrl+/或Ctrl+Shift+/，注释（//或者/**/）
  9. Shift+Enter，向下插入新行
  10. Ctrl+O，重写方法
  11. Ctrl+I，实现方法

二、Maven

简介

Apache Maven是一个软件项目管理和综合工具。基于项目对象模型（POM）的概念，Maven可以从一个中心资料片管理项目构建，报告和文件。

下载

推荐使用3.3.9版本，通过官网下载 apache-maven-3.3.9-bin.tar.gz

解压安装

直接使用解压缩软件解压至某个安装目录下，如D:\software\apache-maven-3.3.9

配置环境变量

右键此电脑 – 属性 – 高级系统设置 – 环境变量

  1. 在系统变量中新建MVN_HOME，值D:\software\apache-maven-3.3.9
  2. 编辑Path变量，新增%MVN_HOME%\bin
测试

打开cmd，输入mvn -version，出现以下信息，代表安装、配置环境变量成功

1539066633879

配置maven本地仓库

打开maven安装目录comf文件夹下的settings.xml，默认配置是将本地仓库存放在该用户家目录的.m2文件夹下的repository下，但考虑到用户目录一般在C盘，下载的jar包多了之后占用系统盘空间，所以自行配置将存放位置配置到其他盘中

D:\m2\repository

1539056586783

Idea中配置Maven

File – Settings --Build,Execution,Deployment – Maven

配置Maven home directory为本地安装目录(idea自带两个maven，但是不利于进行配置，所以使用自己安装的maven)

配置User settings file，将Override打上勾，选择自己的配置文件settings.xml，选中后Local repository会自动变为settings.xml上一步配置的本地仓库目录

1539056559677

**注意：**settings只是设置当前项目，需要选择other settings --> default settings(或者是settings for new projects)再设置一遍。这样新建项目后设置项也不会变回默认了

1539057050469

Maven依赖查询

maven依赖查询网址

三、IDEA项目

新建Maven项目

File – New – Project，选择Maven，选择sdk版本，可以New本机jdk安装目录

1539057178906

1539057223993

pom.xml

新建maven项目时，会自动生成pom.xml，此文件中可以配置依赖、打包选项等功能。

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.szbd</groupId>
    <artifactId>sz_hadoop</artifactId>
    <version>1.0</version>

    <!--配置项目所依赖的jar包-->
    <dependencies>
	
     
    </dependencies>

</project>

配置jar包依赖，在maven依赖查询网址中查到对应的配置项后，复制粘贴到标签中

四、awk命令

简介

awk其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。实际上 AWK 的确拥有自己的语言： AWK 程序设计语言 ， 三位创建者已将它正式定义为“样式扫描和处理语言”。它允许您创建简短的程序，这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表，还有无数其他的功能。

awk基本命令格式

数据源|awk -F “” ‘BEGIN{} {}… END{}’
awk -F “” ‘BEGIN{} {}… END{}’ 数据源
awk -F “” ‘{}… END{}’ 数据源
awk -F “” '{}… ’ 数据源

BEGIN{}类似于MapReduce中的setup()函数，在{}之前执行且仅执行一次

END{}类似于MapReduce中的clean()函数，在{}之后执行且仅执行一次

awk案例

  1. 过滤(获得用户中用户组id大于500的信息)

    cat /etc/passwd | awk -F “:” ‘{if($3>500)print $1,$2,$3}’

  2. 分段统计、百分比

    数据

    a 300 200 300
    b 800 900 200
    c 500 800 900
    d 900 900 300

    命令

    cat ./pc | awk -F “\t” ’
    BEGIN{
    ge0lt1000=0
    ge1000lt1500=0
    ge1500lt2000=0
    ge2000=0
    print “zone\tcount\tpercent”
    }

    {
    if(($2+$3+$4) < 1000){
    ge0lt1000++
    } else if(($2+$3+$4) < 1500){
    ge1000lt1500++
    } else if(($2+$3+$4) < 2000){
    ge1500lt2000++
    } else {
    ge2000++
    }
    }

    END{
    print “ge0lt1000”,ge0lt1000,ge0lt1000/NR100.0"%"
    print “ge1000lt1500”,ge1000lt1500,ge1000lt1500/NR    100.0"%"
    print “ge1500lt2000”,ge1500lt2000,ge1500lt2000/NR100.0"%"
    print “ge2000”,ge2000,ge2000/NR    100.0"%"
    }
    ’

    结果

    zone count percent
    ge0lt1000 1 25%
    ge1000lt1500 0 0%
    ge1500lt2000 1 25%
    ge2000 2 50%

五、简单的MapReduce案例

解析json字符串

需求：

输入数据：
{"add":"183.160.122.237|20171030080000015","ods":{"hed":"20171030075958865|011001103233576|60427fbe7d66,60427f8b733b|NewTV02SkyworthNews|192.168.1.6|4|6|60000185|3","dt":"20171030075958865|4|7,3404304,19458158,0,1,60000,0,2430|"}}

输出：
183.160.122.237|20171030080000015	20171030075958865|011001103233576|60427fbe7d66,60427f8b733b|NewTV02SkyworthNews|192.168.1.6|4|6|60000185|3	20171030075958865|4|7,3404304,19458158,0,1,60000,0,2430|

代码：

import com.alibaba.fastjson.JSONObject;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.FloatWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;
import java.util.Map;

public class JSONanalysis{
    public static class MyMapper extends Mapper<LongWritable, Text, Text, NullWritable>{
        public static Text k = new Text();
        public static FloatWritable v = new FloatWritable();
        @Override
        protected void map(LongWritable key, Text value, Context context)
                throws IOException, InterruptedException {

            Map<String, Object> map = JSONObject.parseObject(value.toString(), Map.class);
            Map<String, String> ods = JSONObject.parseObject(map.get("ods").toString(), Map.class);

            String result = map.get("add") + "\t" + ods.get("hed") + "\t" + ods.get("dt");
            context.write(new Text(result), NullWritable.get());

        }

    }
    public static class MyReducer extends Reducer<Text, NullWritable, Text, NullWritable>{


        /*@Override
        protected void reduce(Text key, Iterable<NullWritable> values, Context context) throws IOException, InterruptedException {
            context.write(key, null);
        }*/
    }
    // 驱动
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        // 1.获取配置对象信息
        Configuration conf = new Configuration();
        // 2.对conf进行设置(没有就不用)
        conf.set("fs.defaultFS", "hdfs://sz01:8020/");
        // 3.获取job对象
        Job job = Job.getInstance(conf, "jsonanalysis");
        // 4.设置job的运行主类
        job.setJarByClass(JSONanalysis.class);

        // 5.对map阶段进行设置
        job.setMapperClass(MyMapper.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(NullWritable.class);

        setArgs(job, args);
        // 7.提交job并打印信息
        int isok = job.waitForCompletion(true) ? 0 : 1;

        // 退出整个job
        System.exit(isok);
    }
    /**
     * 作业参数处理
     * @param job
     * @param args
     */
    public static void setArgs(Job job , String[] args){
        try {
            if(args.length != 2){
                System.out.println("argments size is not enough!!!");
                System.out.println("Useage :yarn jar *.jar wordcount /inputdata /outputdata");
            }
            //设置输入文件路径
            FileInputFormat.addInputPath(job, new Path(args[0]));
            //判断输出目录是否存在
            FileSystem fs = FileSystem.get(job.getConfiguration());
            System.out.println(fs);
            Path op = new Path(args[1]);
            if(fs.exists(op)){
                fs.delete(op, true);
            }
            //设置输出数据目录
            FileOutputFormat.setOutputPath(job, new Path(args[1]));
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}
多文件输出

需求

数据：
hello qianfeng qianfeng world heloo
Hello Hi Hello World
QF QQ
163.com
15900001111 17900001111
@163.com
@189.com
$1100000
*[a-z]
输出：
part-r-00000
hello	1
heloo	1
qianfeng	2
world	1

part-r-00001
Hello	2
Hi	1
QF	1
QQ	1

part-r-00002
163.com 1
15900001111 1
17900001111 1

part-r-00003
@163.com 1
@189.com 1
$1100000 1
*[a-z] 1

代码：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Partitioner;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class Partition {
    public static class MyMapper extends Mapper<LongWritable, Text, Text, Text>{
        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            String[] words = value.toString().split(" ");
            for (String s : words){
                context.write(new Text(s), new Text(1 + ""));
            }
        }
    }

    public static class MyReducer extends Reducer<Text, Text, Text, Text>{
        @Override
        protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
            int count = 0;
            for(Text t : values){
                count += Integer.parseInt(t.toString());
            }
            context.write(key, new Text(count + ""));
        }
    }

    public static class MyPartitioner extends Partitioner<Text, Text>{
        @Override
        public int getPartition(Text key, Text value, int numPartitions) {
            String firstChar = key.toString().substring(0, 1);
            if(firstChar.matches("^[a-z]")) {
                return 0;
            }else if(firstChar.matches("^[A-Z]")) {
                return 1;
            }else if(firstChar.matches("^[0-9]")) {
                return 2;
            }else {
                return 3;
            }
        }
    }

    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        // 1.获取配置对象信息
        Configuration conf = new Configuration();
        // 2.对conf进行设置(没有就不用)
        conf.set("fs.defaultFS", "hdfs://sz01:8020/");
        // 3.获取job对象
        Job job = Job.getInstance(conf, "jsonanalysis");
        // 4.设置job的运行主类
        job.setJarByClass(Partition.class);

        // 5.对map阶段进行设置
        job.setMapperClass(MyMapper.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(Text.class);

        // 设置分区
        job.setPartitionerClass(MyPartitioner.class);
        job.setNumReduceTasks(4);

        // 6.对reduce阶段设置
        job.setReducerClass(MyReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);

        setArgs(job, args);
        // 7.提交job并打印信息
        int isok = job.waitForCompletion(true) ? 0 : 1;

        // 退出整个job
        System.exit(isok);
    }
    /**
     * 作业参数处理
     * @param job
     * @param args
     */
    public static void setArgs(Job job , String[] args){
        try {
            if(args.length != 2){
                System.out.println("argments size is not enough!!!");
                System.out.println("Useage :yarn jar *.jar wordcount /inputdata /outputdata");
            }
            //设置输入文件路径
            FileInputFormat.addInputPath(job, new Path(args[0]));
            //判断输出目录是否存在
            FileSystem fs = FileSystem.get(job.getConfiguration());
            Path op = new Path(args[1]);
            if(fs.exists(op)){
                fs.delete(op, true);
            }
            //设置输出数据目录
            FileOutputFormat.setOutputPath(job, new Path(args[1]));
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}
倒序索引

需求：

数据：
index.html
hadoop hadoop hadoop is nice is good hadoop hadoop
hadoop-info.html
hadoop hadoop hadoop is better
spark-info.html
spark spark spark hadoop is nice nice nice

输出数据：
better hadoop-info.html:1
good hadoop-info.html:1
hadoop index.html:5;hadoop-info.html:3;spark-info.html:1
....
spark spark-info.html:3

代码：

DescIndex.java

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.InputSplit;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class DescIndex {
    public static class MyMapper extends Mapper<LongWritable, Text, Text, Text>{
        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            InputSplit is = context.getInputSplit();
            String fileName = ((FileSplit)is).getPath().getName();

            String line = value.toString();
            String[] words = line.split(" ");
            for (String s : words) {
                context.write(new Text(s + "_" + fileName), new Text(1 + ""));
            }
        }
    }

    public static class MyReducer extends Reducer<Text, Text, Text, Text> {

        @Override
        protected void setup(Context context) throws IOException, InterruptedException {

        }

        @Override
        protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {


            String str = "";
            for (Text t : values) {

                str += t.toString() + ";";
            }
            context.write(key, new Text(str.substring(0, str.length() - 1)));
        }
    }


    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        // 1.获取配置对象信息
        Configuration conf = new Configuration();
        // 2.对conf进行设置(没有就不用)
        conf.set("fs.defaultFS", "hdfs://sz01:8020/");
        // 3.获取job对象
        Job job = Job.getInstance(conf, "descindex");
        // 4.设置job的运行主类
        job.setJarByClass(DescIndex.class);

        // 5.对map阶段进行设置
        job.setMapperClass(MyMapper.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(Text.class);

        // 设置combiner
        job.setCombinerClass(MyCombiner.class);

        // 6.对reduce阶段设置
        job.setReducerClass(MyReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);


        setArgs(job, args);
        // 7.提交job并打印信息
        int isok = job.waitForCompletion(true) ? 0 : 1;

        // 退出整个job
        System.exit(isok);
    }
    /**
     * 作业参数处理
     * @param job
     * @param args
     */
    public static void setArgs(Job job , String[] args){
        try {
            if(args.length != 2){
                System.out.println("argments size is not enough!!!");
                System.out.println("Useage :yarn jar *.jar wordcount /inputdata /outputdata");
            }
            //设置输入文件路径
            FileInputFormat.addInputPath(job, new Path(args[0]));
            //判断输出目录是否存在
            FileSystem fs = FileSystem.get(job.getConfiguration());
            Path op = new Path(args[1]);
            if(fs.exists(op)){
                fs.delete(op, true);
            }
            //设置输出数据目录
            FileOutputFormat.setOutputPath(job, new Path(args[1]));
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

MyCombiner.java:

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;
import java.util.*;

public class MyCombiner extends Reducer<Text, Text, Text, Text> {

    Map<Text, Integer> reduceMap = new HashMap<>();
    ValueComparator bvc = new ValueComparator(reduceMap);
    TreeMap<Text, Integer> sorted_map = new TreeMap<>(bvc);


    @Override
    protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
        String[] str = key.toString().split("_");
        int counter = 0;
        for (Text t : values) {
            counter += Integer.parseInt(t.toString());
        }
        //context.write(new Text(str[0]), new Text(str[1] + ":" + counter));
        sorted_map.put(new Text(str[0] + "_" + str[1]), counter);
    }

    @Override
    protected void cleanup(Context context) throws IOException, InterruptedException {
        System.out.println(reduceMap);
        for(Text in : reduceMap.keySet()){
            context.write(new Text(in.toString().split("_")[0]), new Text(in.toString().split("_")[1] + reduceMap.get(in)));
        }
    }
}
去重

需求：

2017-11-28	北京-天津
2017-11-29	北京-天津
2017-11-27	北京-天津
2017-11-27	北京-天津
2017-11-28	北京-天津
2017-11-26	北京-天津
2017-11-26	北京-哈尔滨
2017-11-29	北京-天津
2017-11-26	北京-三亚

输出：
2017-11-28	北京-天津
2017-11-29	北京-天津
2017-11-27	北京-天津
2017-11-26	北京-天津
2017-11-26	北京-哈尔滨
2017-11-26	北京-三亚

代码：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

/**
 * 去重
 */
public class Distinct {
    public static class MyMapper extends Mapper<LongWritable, Text, Text, NullWritable> {

        @Override
        protected void map(LongWritable key, Text value, Context context)
                throws IOException, InterruptedException {
            String line = value.toString();
            context.write(new Text(line),NullWritable.get());
        }

    }
    public static class MyReducer extends Reducer<Text, NullWritable, Text, NullWritable> {


        @Override
        protected void reduce(Text key, Iterable<NullWritable> values, Context context) throws IOException, InterruptedException {
            context.write(key, NullWritable.get());
        }
    }
    // 驱动
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        // 1.获取配置对象信息
        Configuration conf = new Configuration();
        // 2.对conf进行设置(没有就不用)
        conf.set("fs.defaultFS", "hdfs://sz01:8020/");
        // 3.获取job对象
        Job job = Job.getInstance(conf, "distinct");
        // 4.设置job的运行主类
        job.setJarByClass(Distinct.class);

        // 5.对map阶段进行设置
        job.setMapperClass(MyMapper.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(NullWritable.class);

        // 6.对reduce阶段设置
        job.setReducerClass(MyReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(NullWritable.class);

        setArgs(job, args);
        // 7.提交job并打印信息
        int isok = job.waitForCompletion(true) ? 0 : 1;

        // 退出整个job
        System.exit(isok);
    }
    /**
     * 作业参数处理
     * @param job
     * @param args
     */
    public static void setArgs(Job job , String[] args){
        try {
            if(args.length != 2){
                System.out.println("argments size is not enough!!!");
                System.out.println("Useage :yarn jar *.jar wordcount /inputdata /outputdata");
            }
            //设置输入文件路径
            FileInputFormat.addInputPath(job, new Path(args[0]));
            //判断输出目录是否存在
            FileSystem fs = FileSystem.get(job.getConfiguration());
            System.out.println(fs);
            Path op = new Path(args[1]);
            if(fs.exists(op)){
                fs.delete(op, true);
            }
            //设置输出数据目录
            FileOutputFormat.setOutputPath(job, new Path(args[1]));
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}
cry970795248
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
intellij-awk:[WiP] AWK缺少的IntelliJ IDEA语言支持插件
04-01
智商 [WiP] 缺少的IntelliJ IDEA语言支持插件 动机 目前没有IDEA的AWK插件，这很遗憾。 有兴趣提高我的Java技能并学习一些IDEA内部知识。 目标v0.0.1 支持基本的AWK代码突出显示 支持基本的AWK代码导航（转到声明，显示结构） 仅支持POSIX子集（又名BWK），不添加Gawk（可在以后添加） 目标v0.0.2 显示内置功能的文档 显示内置变量的文档（ NR / NF / etc。） 目标v0.0.3 重构支持 重命名变量 重命名功能 强制执行变量命名约定 全球Name 本地name 未来的想法 通过gawk --pretty-print自动格式化代码 有用的链接 BWK 语法： 其他一些语言插件
apache-maven-3.8.6.zip
08-15
apache-maven-3.8.6-bin.zip apache-maven-3.8.6-bin.zip apache-maven-3.8.6-bin.zip apache-maven-3.8.6-bin.zip apache-maven-3.8.6-bin.zip apache-maven-3.8.6-bin.zip apache-maven-3.8.6-bin.zip apache-...
Idea插件Cloud Toolkit使用教程_xffjs.com
小飞技术
12-10 1473
文章目录Cloud Toolkit插件:简介传统部署方式产品功能Cloud Toolkit 部署方式创建SpringBoot项目安装Cloud Toolkit插件有阿里服务器没有阿里服务器连接服务器配置ECSsh脚本：一键部署查看日志部署结果 Cloud Toolkit插件: 简介 Alibaba Cloud Toolkit （后文简称 Cloud Toolkit）可以帮助开发者更高效地部署、测...
【知识学习】IDEA开发Hadoop MapReduce程序
cls1277的博客
06-26 1172
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.10.1/ （1）首先注意SDK的配置 （2）加入Hadoop的jar包依赖 （3）打包配置 根据自己需求写代码，下面附代码样本。 （1）mapper代码： （2）reduce代码片断： （3）run/main代码： 5、配置编译器右上角： 注意：第三个框里只需添入输入路径和输出路径即可6、将数据导入到你的程序中 注意：不要创建output目录，系统会自
【Shell案例】【awk map计数&sort按指定列排序】9、统计每个单词出现的个数
USTSD的博客
05-03 926
描述写一个 bash脚本以统计一个文本文件 nowcoder.txt 中每个单词出现的个数。 为了简单起见，你可以假设：nowcoder.txt只包括小写字母和空格。每个单词只由小写字母组成。单词间由一个或多个空格字符分隔。 示例:假设 nowcoder.txt 内容如下：welcome nowcoderwelcome to nowcodernowcoder你的脚本应当输出(以词频升序排列)：t...
awk命令笔记
yinminsumeng的博客
06-06 548
（2）字符串函数：gsub, sub, substr, index, length, match, split, tolower, toupper, sprintf, strtonum。（5）其他函数：close, flush, exit, delete, getline, next, nextfile, return system。（4）位操作函数：and, or, xor, compl, lshift, rshift。（1）数学函数：sin, cos, log, sqrt, int, rand。
基于Java的smart-doc-maven-plugin官方maven插件设计源码
05-26
本项目是基于Java的smart-doc-maven-plugin官方maven插件设计源码，包含43个文件，其中包括27个Java源文件、7个Markdown文档、2个JSON文件、1个gitignore文件、1个LICENSE文件、1个NOTICE文件、1个PNG图片文件、1个...
apache-maven-3.8.8.zip
08-04
apache-maven-3.8.8.zip压缩包内容： apache-maven-3.8.8-bin.tar.gz apache-maven-3.8.8-bin.zip apache-maven-3.8.8-src.tar.gz apache-maven-3.8.8-src.zip
apache-maven-3.9.4.zip
08-04
apache-maven-3.9.4.zip压缩包内容： apache-maven-3.9.4-bin.tar.gz apache-maven-3.9.4-bin.zip apache-maven-3.9.4-src.tar.gz apache-maven-3.9.4-src.zip
IDEA插件推荐之Maven-Helper的教程图解
08-18
Maven-Helper 插件是 IntelliJ IDEA 中的一款功能强大且实用的插件，旨在帮助开发者更好地管理 Maven 项目的依赖关系。下面是 Maven-Helper 插件的主要知识点： 1. 依赖关系查看：Maven-Helper 插件提供了一个简洁...
大数据MapReduce Ubuntu Linux上的Hadoop Scala by Maven intellj Idea
04-11
本文是从头到尾有关大数据的最完整的文章。
awk指令简介
ximi_xuexi的专栏
03-02 807
什么是awk? gawk - pattern scanning and processing language 查看帮助手册，可以发现它是模式扫描和处理语言。主要用途是用来处理文件的。 语法： awk -f program-file file awk program-text file .. 语法详解： -f可以指定传入相应的awk脚本文件； 不指定-f时，就是直接写的编程文本。 由于awk是做扫描工作的，所以它必须要有输入。一般这个输入可以是文件，也可以是管道的输入，awk常与管道连.
linux awk
超电磁手炮的博客
11-12 88
awk 语法：awk -F ‘{pattern + action}’ {filenames} 支持自定义分隔符 –支持正则表达式匹配 –支持自定义变量，数组 a[1] a[tom] map(key) –支持内置变量 •ARGC 命令行参数个数 •ARGV 命令行参数排列 •ENVIRON 支持队列中系统环境变量的使用 •FILENAME awk浏览的文件名 •FNR 浏览文件的记录数 •FS 设置输入域分隔符，等价于命令行 -F选
IDEA 下使用maven 创建 MapReduce(配置环境 Mac OS)
kong
12-05 5701
第一次使用 maven 创建项目，第一次碰到的坑不少，但是 maven 的确好用啊！！看别的好多博客写的教程不清楚，并且好多都是复制的，期间遇到了好多坑也没解释。简单说下步骤，和我遇到的坑~~~~环境：IDEA JDK1.8（已配置）maven（官网下载的没使用 IDEA 自带的）第一步：maven 搭建 1. 官网下载 http://maven.apache.org/download.cgi
（一）maven的引入和MapReduce初次接触
hr786250678的博客
05-04 2485
一、Maven的引入 想用MapReduce编程，需要引入hadoop的jar包 Maven的作用：导包的新技术，包和包之间是有依赖关系的，帮助我们管理依赖(即导包)，是一款项目构建工具，帮助我们标准化项目结构，帮我们打包 Maven的使用： ①安装maven：不用安装，IDEA和新版本的Eclipse已经集成maven了，而且IDEA...
如何在maven项目里面编写mapreduce程序以及一个maven项目里面管理多个mapreduce程序...
weixin_30258901的博客
08-17 568
我们平时创建普通的mapreduce项目，在遍代码当你需要导包使用一些工具类的时候， 你需要自己找到对应的架包，再导进项目里面其实这样做非常不方便，我建议我们还是用maven项目来得方便多了 话不多说了，我们就开始吧 首先你在eclipse里把你本地安装的maven导进来 选择你本地安装的maven路径 勾选中你添加进来的m...
IDEA+Maven运行调试MapReduce程序
qq_42582489的博客
12-03 1380
IDEA+MAven运行调试MapReduce程序 文章目录IDEA+MAven运行调试MapReduce程序新建java类配置输入文件路径修改level参数添加Application配置运行调试常见报错Error:java: 不支持发行版本 5Windows下的权限问题参考博客 新建java类 在项目的左侧文件目录中，选择 srcsrcsrc -> mainmainmain -> j...
40、shell编程—awk之数组
LiuWei
06-23 196
文章目录1.数组2.实例 1.数组 用go语言解释，就是可以即当map，还可以当切片 2.实例 实例1：切片 # 创建example.awk 文件，内容如下，现在就是切片 BEGIN{ str="allen kangkang michel haha zhangshan" split(str,arr) for(i=1;i<=length(arr);i++) print arr[i] } awk -f example.awk 示例二：map # 创建expa
shell变量传递到awk语句中，shell中map使用
zhanglu_1024的博客
11-11 1927
1、shell变量传递到awk语句中使用。 单引号 双引号 变量 双引号 单引号。例 '"$serid"' 双引号 单引号 变量 单引号 双引号。例 "'$serid'" serverid=100 servername="server" grep aaa filetest.log | awk -...
intellij-idea使用maven
最新发布
07-01
IntelliJ IDEA 是一个强大的集成开发环境（IDE），常用于Java开发，其中包括对Maven的支持。Maven 是一个项目管理工具，用于构建、依赖管理和自动化构建流程。在 IntelliJ IDEA 中使用 Maven，你可以按照以下步骤...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值