【待写】ubuntu 16.04 大数据开发之：第一个MR实战开发&SPARK程序开发&STORM程序开发

最新推荐文章于 2022-10-05 15:47:20 发布
最新推荐文章于 2022-10-05 15:47:20 发布
阅读量203 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fdsjzs1/article/details/100979017
版权

我认为，实战开发肯定是包括三个部分：

  1. 数据抓取，用python
  2. 数据存储，用hdfs
  3. 数据处理，用MR, Spark, Storm

python数据抓取

HDFS数据存储

数据处理

MR程序开发
入门小程序

环境准备
IDE：IntelliJ Idea
参见教程：
远程联调：
https://blog.csdn.net/a_bang/article/details/83820022
自己打JAR包上去运行：
https://www.cnblogs.com/liaojie970/p/7920860.html
这里有一个地方和不一样，他说是build on make，其实应该是在这里插入图片描述
之后就可以看到想要的jar包了；
在这里插入图片描述

接下来跑个wordcount程序练练手：
https://blog.csdn.net/l1394049664/article/details/82563637
pom.xml:


<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>wordcount-test</groupId>
  <artifactId>wordcount</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <packaging>jar</packaging>
      <dependencies>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.21</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flume</groupId>
            <artifactId>flume-ng-core</artifactId>
            <version>1.9.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flume.flume-ng-clients</groupId>
            <artifactId>flume-ng-log4jappender</artifactId>
            <version>1.6.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.7</version>
        </dependency>

        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.11</version>
        </dependency>




    </dependencies>
  <build>
    <plugins>
      <plugin>
        <artifactId>maven-war-plugin</artifactId>
        <version>2.6</version>
        <configuration>
          <warSourceDirectory>WebContent</warSourceDirectory>
          <failOnMissingWebXml>false</failOnMissingWebXml>
        </configuration>
      </plugin>
      <plugin>
        <artifactId>maven-compiler-plugin</artifactId>
        <version>3.5</version>
        <configuration>
          <source>1.8</source>
          <target>1.8</target>
        </configuration>
      </plugin>

	    <plugin>
		<groupId>org.apache.maven.plugins</groupId>
		<artifactId>maven-jar-plugin</artifactId>
		<configuration>

		    <archive>
		        <manifest>
		            <mainClass>ls.wordcount.WordCount</mainClass>
		            <addClasspath>true</addClasspath>
		            <classpathPrefix>lib/</classpathPrefix>
		        </manifest>

		    </archive>
		    <classesDirectory>
		    </classesDirectory>
		</configuration>
	    </plugin>


    </plugins>
  </build>
</project>

tree:
在这里插入图片描述
WordCount.java:(注意大写)

package ls.wordcount;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.NLineInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
 
import java.io.IOException;
import java.util.StringTokenizer;
 
public class WordCount {
	
	public static class TokenizerMapper extends  Mapper<Object, Text, Text, IntWritable> {
 
		private final static IntWritable one = new IntWritable(1);
		private Text word = new Text();
		
		public void map(Object key, Text value, Context context)
		        throws IOException, InterruptedException {
		    StringTokenizer itr = new StringTokenizer(value.toString());
		    while (itr.hasMoreTokens()) {
		        word.set(itr.nextToken());
		        context.write(word, one);
		    }
		}
	}
	 public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
		 private IntWritable result = new IntWritable();
		
		 public void reduce(Text key, Iterable<IntWritable> values,
		         Context context) throws IOException, InterruptedException {
		     int sum = 0;
		     for (IntWritable val : values) {
		         sum += val.get();
		     }
		     result.set(sum);
		     context.write(key, result);
		 }
	 }
	
	 public static void main(String[] args) throws Exception {
		if (args == null || args.length < 3) {
			args[0] = "wordcount";
			args[1] = "/hadoop/input/wordcount.txt";
			args[2] = "/hadoop/output/wordcnd2";
		}


	        Configuration conf = new Configuration();
	        Job job = Job.getInstance(conf, args[0]);
	        job.setJarByClass(WordCount.class);
	        job.setMapperClass(TokenizerMapper.class);
	        job.setCombinerClass(IntSumReducer.class);
	        job.setReducerClass(IntSumReducer.class);
	        job.setOutputKeyClass(Text.class);
	        job.setOutputValueClass(IntWritable.class);
	        job.setInputFormatClass(NLineInputFormat.class);
	        // 输入文件路径
	        FileInputFormat.addInputPath(job, new Path(args[1]));
	        // 输出文件路径
	        FileOutputFormat.setOutputPath(job, new Path(args[2]));
	        System.exit(job.waitForCompletion(true) ? 0 : 1);
	    }

}

参考https://www.cnblogs.com/hd-zg/p/5911447.html 这里有不少样例教程，我们就先拿第一个练练手

2.2.2问题1：求各个部门的总工资
  1. 准备好dept数据和emp数据

emp:

19/09/23 04:21:46 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
7369,SMITH,CLERK,7902,17-12月-80,800,,20
7499,ALLEN,SALESMAN,7698,20-2月-81,1600,300,30
7521,WARD,SALESMAN,7698,22-2月-81,1250,500,30
7566,JONES,MANAGER,7839,02-4月-81,2975,,20
7654,MARTIN,SALESMAN,7698,28-9月-81,1250,1400,30
7698,BLAKE,MANAGER,7839,01-5月-81,2850,,30
7782,CLARK,MANAGER,7839,09-6月-81,2450,,10
7839,KING,PRESIDENT,,17-11月-81,5000,,10
7844,TURNER,SALESMAN,7698,08-9月-81,1500,0,30
7900,JAMES,CLERK,7698,03-12月-81,950,,30
7902,FORD,ANALYST,7566,03-12月-81,3000,,20
7934,MILLER,CLERK,7782,23-1月-82,1300,,10

dept

10,ACCOUNTING,NEW YORK
20,RESEARCH,DALLAS
30,SALES,CHICAGO
40,OPERATIONS,BOSTON
  1. 准备程序
    pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>wordcount-test</groupId>
  <artifactId>wordcount</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <packaging>jar</packaging>
      <dependencies>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.21</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flume</groupId>
            <artifactId>flume-ng-core</artifactId>
            <version>1.9.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flume.flume-ng-clients</groupId>
            <artifactId>flume-ng-log4jappender</artifactId>
            <version>1.6.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.7</version>
        </dependency>

        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.11</version>
        </dependency>




    </dependencies>
  <build>
    <plugins>
      <plugin>
        <artifactId>maven-war-plugin</artifactId>
        <version>2.6</version>
        <configuration>
          <warSourceDirectory>WebContent</warSourceDirectory>
          <failOnMissingWebXml>false</failOnMissingWebXml>
        </configuration>
      </plugin>
      <plugin>
        <artifactId>maven-compiler-plugin</artifactId>
        <version>3.5</version>
        <configuration>
          <source>1.8</source>
          <target>1.8</target>
        </configuration>
      </plugin>

	    <plugin>
		<groupId>org.apache.maven.plugins</groupId>
		<artifactId>maven-jar-plugin</artifactId>
		<configuration>

		    <archive>
		        <manifest>
		            <mainClass>ls.wordcount.WordCount</mainClass>
		            <addClasspath>true</addClasspath>
		            <classpathPrefix>lib/</classpathPrefix>
		        </manifest>

		    </archive>
		    <classesDirectory>
		    </classesDirectory>
		</configuration>
	    </plugin>


    </plugins>
  </build>
</project>

WordCount.java:(名字懒得改了，从wordcount那边目录复制过来的，class名字也改了)

package ls.wordcount;

import java.io.BufferedReader;

import java.io.FileReader;

import java.io.IOException;

import java.util.HashMap;

import java.util.Map;

 

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.conf.Configured;

import org.apache.hadoop.filecache.DistributedCache;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

import org.apache.hadoop.util.GenericOptionsParser;

import org.apache.hadoop.util.Tool;

import org.apache.hadoop.util.ToolRunner;

 

public class WordCount extends Configured implements Tool {

 

    public static class MapClass extends Mapper<LongWritable, Text, Text, Text> {

 

        // 用于缓存 dept文件中的数据

        private Map<String, String> deptMap = new HashMap<String, String>();

        private String[] kv;

 

        // 此方法会在Map方法执行之前执行且执行一次

        @Override

        protected void setup(Context context) throws IOException, InterruptedException {

            BufferedReader in = null;

            try {

 

                // 从当前作业中获取要缓存的文件

                Path[] paths = DistributedCache.getLocalCacheFiles(context.getConfiguration());

                String deptIdName = null;

                for (Path path : paths) {

 

                    // 对部门文件字段进行拆分并缓存到deptMap中

                    if (path.toString().contains("dept")) {

                        in = new BufferedReader(new FileReader(path.toString()));

                        while (null != (deptIdName = in.readLine())) {

                           

                            // 对部门文件字段进行拆分并缓存到deptMap中

                            // 其中Map中key为部门编号，value为所在部门名称

                            deptMap.put(deptIdName.split(",")[0], deptIdName.split(",")[1]);

                        }

                    }

                }

            } catch (IOException e) {

                e.printStackTrace();

            } finally {

                try {

                    if (in != null) {

                        in.close();

                    }

                } catch (IOException e) {

                    e.printStackTrace();

                }

            }

        }

 

public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

 

            // 对员工文件字段进行拆分

            kv = value.toString().split(",");

 
		if (kv.length < 3) {
			return;
		}
            // map join: 在map阶段过滤掉不需要的数据，输出key为部门名称和value为员工工资

            if (deptMap.containsKey(kv[7])) {

                if (null != kv[5] && !"".equals(kv[5].toString())) {

                    context.write(new Text(deptMap.get(kv[7].trim())), new Text(kv[5].trim()));

                }

            }

        }

    }

 

    public static class Reduce extends Reducer<Text, Text, Text, LongWritable> {

 

public void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {

 

            // 对同一部门的员工工资进行求和

            long sumSalary = 0;

            for (Text val : values) {

                sumSalary += Long.parseLong(val.toString());

            }

 

            // 输出key为部门名称和value为该部门员工工资总和

            context.write(key, new LongWritable(sumSalary));

        }

    }

 

    @Override

    public int run(String[] args) throws Exception {

 

        // 实例化作业对象，设置作业名称、Mapper和Reduce类

        Job job = new Job(getConf(), "WordCount");

        job.setJobName("WordCount");

        job.setJarByClass(WordCount.class);

        job.setMapperClass(MapClass.class);

        job.setReducerClass(Reduce.class);

 

        // 设置输入格式类

        job.setInputFormatClass(TextInputFormat.class);

 

        // 设置输出格式

        job.setOutputFormatClass(TextOutputFormat.class);

        job.setOutputKeyClass(Text.class);

        job.setOutputValueClass(Text.class);

 

        // 第1个参数为缓存的部门数据路径、第2个参数为员工数据路径和第3个参数为输出路径

       String[] otherArgs = new GenericOptionsParser(job.getConfiguration(), args).getRemainingArgs();

       DistributedCache.addCacheFile(new Path(otherArgs[0]).toUri(), job.getConfiguration());

        FileInputFormat.addInputPath(job, new Path(otherArgs[1]));

        FileOutputFormat.setOutputPath(job, new Path(otherArgs[2]));

 

        job.waitForCompletion(true);

        return job.isSuccessful() ? 0 : 1;

    }

 

    /**

     * 主方法，执行入口

     * @param args 输入参数

     */

    public static void main(String[] args) throws Exception {

        int res = ToolRunner.run(new Configuration(), new WordCount(), args);

        System.exit(res);

    }

}
  1. 调试，运行
    在这里插入图片描述
  2. 遗留问题
    为什么输出目录每次都必须修改，能否改成修改的时候连续跟着上一次的输出结果继续输出？还是说每次都必须得换新的目录名？
    更多的题目：
    https://www.cnblogs.com/ManchesterCityCoder/p/10799511.html
Spark
Storm
Rosendal
关注
专栏目录
Ubuntu大数据学习
weixin_43232746的博客
09-22 408
虚拟机：VMware workstation 15.5 PRO Linux系统：Ubuntu-20.04.1-desktop-amd64 jdk版本：jdk-8u172-linux-x64.tar hadoop版本：hadoop-3.1.3.tar（伪分布式） eclipse版本：eclipse-4.7.0-linux.gtk.x86_64.tar 系统内用命令安装 mysql mysql jdbc版本：mysql-connector-java-5.1.40.tar hive版本：apache-hive-3
如何在Ubuntu上搭建Spark独立集群管理器（Spark快速大数据分析）
liuyushuang_csdn的博客
03-05 839
1、要启动一个独立集群管理器们首先要在Ubuntu上配置好SSH无密码登录，同时设置好PATH环境变量网上教程很多，我就不赘述了。（记住spark要在同一个目录下哦） 2、登录master 进入conf目录，修改slaves.template跟spark-env.sh.template文件。（记得要将template文件复制成没有后缀名的文件再修改） 在slaves（无后缀名哦）文件
ubuntu 16.04 大数据开发之：第一个MR程序的编写
fdsjzs1的博客
09-18 221
MR程序是基于hadoop开发的mapreduce程序，主要的操作对象是HDFS，话不多说，我们先来个小实例： 实例1
【Ubuntu+大数据】Linux中大数据开发（Hadoop、MySQL、Idea、jdk、Hive）
许多仙的博客
10-05 2042
提示：在虚拟机里其实不建议一个虚拟机设置第二个用户来进行大数据开发，因为如果系统一崩，其他用户也用不了了，所以还是建议自己新开一个系统来独立进行大数据开发。#将所有数据库的所有表的所有权限赋给hive用户，后面的hive是配置hive-site.xml中配置的连接密码。用户之间是相互独立的，就像不同的分身系统一样，创建新用户方便我们独立进行开发工作。（1）、首先当然是百度idea，然后进入官网，下载社区版（这就不用我多说了吧）然后重启虚拟机，选择我们的新创建的用户，进入新用户（就像一个新的系统一样）
ubuntu16.04 安装Hadoop大数据平台CDH 5.14.1
05-01
ubuntu16.04 安装Hadoop大数据平台CDH 5.14.1，通过虚拟机VMware安装Ubuntu之后，安装Hadoop大数据平台，使用CDH5.14.1
ubuntu 16.04下大数据开发环境搭建
qq_38336738的博客
03-28 878
jdk安装（略） 安装zookeeper 环境变量 conf目录下： cp zoo_sample.cfg zoo.cfg 修改zoo.cfg dataDir=/home/tellhow-iot2/doc/zookeeper-3.4.13/tmp dataLogDir=/home/tellhow-iot2/doc/zookeeper-3.4.13/logs 创建tmp和logs bin下./z...
Ubuntu16.04下配置VScode的C/C++开发环境
08-19
在Ubuntu 16.04操作系统中，配置Visual Studio Code（VScode）为C/C++开发环境是一项重要的任务，这将使程序员能够高效地编写、编译和调试代码。以下是一份详细的步骤指南： 首先，我们需要安装VScode。可以通过两...
ubuntu16.04制作vim和python3的开发环境
01-01
1. 安装vim: # apt-get install -y vim-gnome 2. 安装ctags，ctags用于支持taglist # apt-get install ctags 3. 安装taglist # apt-get install vim-scripts vim-addon-manager # vim-addons install ...
Win10+Ubuntu16.04双系统安装：删除UEFI引导与重装
Ubuntu 16.04 LTS（长期支持版本）是Ubuntu的一个稳定版本，尤其适合开发环境，因为它会提供长达五年的官方支持。用户可以从Ubuntu官方网站下载64位的桌面版本。 为了将ISO文件安装到计算机，需要制作一个Ubuntu...
Ubuntu 16.04 64位中搭建Node.js开发环境教程
01-20
首先说下本文的系统环境是：Ubuntu 16.04 64位，本文内容亲测可用， 大家可以请放心借鉴参考，下面来一起看看详细的步骤。 使用淘宝镜像 淘宝镜像官网是https://npm.taobao.org/ 使用淘宝镜像前请自行安装好 npm 和 ...
storm 示例demo
01-05
简单的storm入门示例，从0到1让你清楚的理解storm.下面是代码示例： import backtype.storm.topology.BasicOutputCollector; import backtype.storm.topology.OutputFieldsDeclarer; import backtype.storm.topology.base.BaseBasicBolt; import backtype.storm.tuple.Fields; import backtype.storm.tuple.Tuple; import backtype.storm.tuple.Values; public class WordNormalizer extends BaseBasicBolt { public void cleanup() {} /** * The bolt will receive the line from the * words file and process it to Normalize this line * * The normalize will be put the words in lower case * and split the line to get all words in this */ public void execute(Tuple input, BasicOutputCollector collector) { String sentence = input.getString(0); String[] words = sentence.split(" "); for(String word : words){ word = word.trim(); if(!word.isEmpty()){ word = word.toLowerCase(); collector.emit(new Values(word)); } } } /** * The bolt will only emit the field "word" */ public void declareOutputFields(OutputFieldsDeclarer declarer) { declarer.declare(new Fields("word")); } }
大数据常用的ubuntu系统命令
duduhonghong的博客
03-15 339
小白大数据之三台腾讯云（ubuntu）搭建大数据分布式系统
半壁江山009的博客
08-27 441
1.建立一个用户： 申请腾讯云的时候如果已经有用户了 就直接用 如果只有一个root用户就再申请一个操作用户，我这里叫他hadoop 说明 ubuntu初始阶段root用户是没有密码的 要用sudo su 切换进入 所以最好 一开始就设置好密码：sudo passwd root(假设root的密码设为root) 好，然后切换到root目录下： 输入：useradd -r -m ...
ubuntu 使用
安静的码农
03-05 128
增加用户 ubuntu 直接sudo -i sudo visudo 在最后添加 luoye ALL=(ALL:ALL) NOPASSWD:ALL rc.local生成 https://blog.csdn.net/qq_41204464/article/details/90168590 桌面安装 vncserver https://www.jianshu.com/p/f58fe5cdeb5f 远...
Linux Ubuntu 22 大数据集成环境部署与应用指南（2022.05.21）
Codoge
05-21 3172
使用 VMware 15 虚拟机软件，在 Linux Ubuntu 22 或 CentOS 7 环境下，部署 Hadoop + Zookeeper + Hbase + Spark + Phoenix + Kafka，实现具体业务
Ubuntu18.04安装hadoop
热门推荐
小妖666个人笔记
10-03 1万+
一、虚拟机中Linux的安装 hadoop-0.20.2.tar.gz只能在Linux中安装。 Hadoop相当于一个服务器，类似于Apache服务器的角色。我们可以在Linux上运行hadoop0.20.2。 二、Java的安装 Hadoop是基于Java开发的，，在Linux配置好Java环境。 https://blog.csdn.net/weixin_38883338/articl...
（真）手把手教你配置Ubuntu大数据Hadoop环境
weixin_44495941的博客
03-06 7203
一、前期准备 基本配置 打开终端 桌面右击点击open in terminal或者ctrl+shift+t打开终端 查看自己版本号 cat /proc/version 修改提示主机名 hostname hadoop root配置 修改root密码（如果开始没有创建的话） sudo passwd root 切换为root用户方便后面操作，最后一个符号由$变为#则代表切换为了root用户（新手建议使用普通用户用sudo提权） su .
Ubuntu16.04_64下搭建数据仓库和大数据实验平台[3]配置所需文件下载链接
_icrazy_的博客
03-27 621
选择Ubuntu16.04 64位 server版本，3台主机搭建集群，配置依赖软件优先选择 最新&amp;最稳定 index item file name download page link 1 jdk jdk-8u161-linux-x64.tar.gz http://www.oracle.com/technetwork/java/javase/...
Ubuntu16.04安装OpenCV教程：配合Qt创建开发环境
在Linux系统中，特别是Ubuntu 16.04环境下，结合OpenCV和Qt进行图像处理和图形用户界面（GUI）开发是一个常见的需求。本教程详细讲解了这两个组件的安装与配置过程。 首先，针对OpenCV的安装与配置，主要步骤如下：...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值