学习hadoop时老师布置的一个作业

最新推荐文章于 2023-06-11 20:04:22 发布
最新推荐文章于 2023-06-11 20:04:22 发布
阅读量637 收藏
点赞数 1
分类专栏： 学习笔记 文章标签： Hadoop MapperReduce python画图 作业
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vpqtxzmzezeqjj9977/article/details/80094934
版权

要求：
（1）找出每个IP的访问的次数
（2）找出每一种浏览器访问的次数
（3）把浏览器的访问次数进行图形可视化
要处理的文本（共60多万行，这里就显示前45行）：

117.135.212.67 - - [08/Mar/2018:22:35:42 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36" -
221.13.7.73 - - [08/Mar/2018:22:35:48 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
117.135.212.67 - - [08/Mar/2018:22:35:52 +0800] "GET /favicon.ico HTTP/1.1" 404 564 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36" -
221.13.7.73 - - [08/Mar/2018:22:35:54 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
221.13.7.73 - - [08/Mar/2018:22:35:58 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
221.13.7.73 - - [08/Mar/2018:22:35:59 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
221.13.7.73 - - [08/Mar/2018:22:36:00 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
221.13.7.73 - - [08/Mar/2018:22:36:01 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
221.13.7.73 - - [08/Mar/2018:22:36:10 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
221.13.7.73 - - [08/Mar/2018:22:36:15 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
117.135.212.67 - - [08/Mar/2018:22:36:19 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36" -
221.13.7.73 - - [08/Mar/2018:22:36:21 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
216.126.58.188 - - [08/Mar/2018:22:36:22 +0800] "GET /09/top.php HTTP/1.1" 302 0 "http://google.com" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.2.8) Gecko/20100722 Firefox/3.6.8 GTB7.1 (.NET CLR 3.5.30729)" -
221.13.7.73 - - [08/Mar/2018:22:36:24 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
221.13.7.73 - - [08/Mar/2018:22:36:28 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
221.13.7.73 - - [08/Mar/2018:22:36:32 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
221.13.7.73 - - [08/Mar/2018:22:36:33 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
221.13.7.73 - - [08/Mar/2018:22:36:33 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
221.13.7.73 - - [08/Mar/2018:22:36:34 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
221.13.7.73 - - [08/Mar/2018:22:36:35 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
221.13.7.73 - - [08/Mar/2018:22:36:35 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
221.13.7.73 - - [08/Mar/2018:22:36:36 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
221.13.7.73 - - [08/Mar/2018:22:36:36 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
221.13.7.73 - - [08/Mar/2018:22:36:37 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
221.13.7.73 - - [08/Mar/2018:22:36:39 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
221.13.7.73 - - [08/Mar/2018:22:36:40 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
221.13.7.73 - - [08/Mar/2018:22:36:40 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
221.13.7.73 - - [08/Mar/2018:22:36:43 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
221.13.7.73 - - [08/Mar/2018:22:36:44 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
221.13.7.73 - - [08/Mar/2018:22:36:44 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
221.13.7.73 - - [08/Mar/2018:22:36:45 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
221.13.7.73 - - [08/Mar/2018:22:36:45 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
221.13.7.79 - - [08/Mar/2018:22:37:18 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:58.0) Gecko/20100101 Firefox/58.0" -
221.13.7.73 - - [08/Mar/2018:22:37:21 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
221.13.7.73 - - [08/Mar/2018:22:37:22 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
221.13.7.73 - - [08/Mar/2018:22:37:22 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
221.13.7.77 - - [08/Mar/2018:22:37:36 +0800] "GET / HTTP/1.1" 200 4365 "http://www.cnlaoxiang.com/main.html" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36" -
117.135.212.67 - - [08/Mar/2018:22:37:37 +0800] "GET / HTTP/1.1" 200 4365 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36" -
221.13.7.79 - - [08/Mar/2018:22:37:51 +0800] "GET / HTTP/1.1" 200 4365 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:58.0) Gecko/20100101 Firefox/58.0" -
221.13.7.77 - - [08/Mar/2018:22:37:57 +0800] "GET / HTTP/1.1" 200 4365 "http://www.cnlaoxiang.com/main.html" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36" -
221.13.7.79 - - [08/Mar/2018:22:37:59 +0800] "GET / HTTP/1.1" 200 4365 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:58.0) Gecko/20100101 Firefox/58.0" -
221.13.7.77 - - [08/Mar/2018:22:38:01 +0800] "GET / HTTP/1.1" 200 4365 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36" -
221.13.7.79 - - [08/Mar/2018:22:38:02 +0800] "GET / HTTP/1.1" 200 4365 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:58.0) Gecko/20100101 Firefox/58.0" -
221.13.7.77 - - [08/Mar/2018:22:38:04 +0800] "GET / HTTP/1.1" 200 4365 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36" -
221.13.7.79 - - [08/Mar/2018:22:38:05 +0800] "GET / HTTP/1.1" 200 4365 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:58.0) Gecko/20100101 Firefox/58.0" -
一、找出每个ip的访问次数

类似于wordcount实例，观察发现，ip都在每行的第一个空格之前，可以直接用java的spilt函数进行切割，我们只要截取第一个词就可以了。

//拿到一行文本内容，转换成String 类型  
String line = value.toString();  
//将这行文本切分成单词  
String[] words=line.split(" ");  
//ip地址为每行第一个空格第一个单词
String ipString = words[0];
//输出<ip，1>  
context.write(new Text(ipString), new IntWritable(1));
二、找出每一种浏览器访问的次数

laoshi给我们的定义是最后出现的那个浏览器进程就是这个浏览器名称，前面的是浏览器内核，先不管这个是什么逻辑吧，不过只要是最后一个给我们的难度就降低了很多。
思路：
（1）最后一次出现的
（2）可以列个匹配字符数组，浏览器总共就那么几个

//存储所有浏览器的字符数组
String[] browser_list = {"Safari","Mozilla","Firefox","QQBrowser","Opera","IEXPLORE","Chrome","Sogou","360SE","Netscape"}; //Netscape网景浏览器

int flage = 0; //标记，如果找到了就不要再找了
for(int i=words.length-1;i>=0;i--){//从后面开始找起，只要靠近行末的那个，那个是什么就是什么浏览器
    for(int j=0;j<browser_list.length;j++){ //遍历浏览器
        if(words[i].contains(browser_list[j])){ //contains()包含函数， 如果切片的字符中包含浏览器那么这个浏览器就是我们要找的
            //输出<浏览器，1>  
            context.write(new Text(browser_list[j]), new IntWritable(1)); 
            flage = 1; //找到了，标记为1
            break;
        }
    }
    if(flage==1){ //找到了就结束了
        break;
    }
}
三、把浏览器的访问次数进行图形可视化

是用命令讲计算结果文件下载下来：我将它存放在/home/hadoop/result/中

[root@master myjar]# hadoop fs -get /user/hadoop/output4/part-r-00000 /home/hadoop/result/

计算的结果共有2674行，这里截取最后50行显示：

66.102.7.29 3
66.102.7.30 4
66.240.205.34   4
66.249.83.222   3
66.249.88.67    11
66.249.88.70    3
66.249.88.72    7
67.21.36.2  1
68.71.57.172    16
69.28.88.23 1
69.30.226.234   3
69.58.178.56    5
69.58.178.58    5
69.58.178.59    5
70.42.131.170   22
71.6.202.198    1
71.6.202.204    8
72.13.36.80 14
74.82.47.2  2
74.82.47.3  3
74.82.47.4  1
74.82.47.5  1
75.149.221.170  2
77.72.85.108    7
80.82.77.139    10
80.82.77.33 9
83.41.145.129   1
84.54.232.182   6
89.111.177.210  2
89.234.68.89    4
91.200.12.151   1
91.240.208.14   5
93.179.69.161   1
94.102.49.193   2
95.181.179.32   1
95.211.226.185  4
95.213.130.90   6
95.24.206.186   1
95.27.143.72    1
96.127.158.234  1
96.127.158.237  1
Chrome  125
Firefox 68774
IEXPLORE    5
Mozilla 54481
Netscape    1
Opera   1
QQBrowser   39626
Safari  473669
Sogou   214

然后我想用python来进行数据可视化，做一个饼状图。
直接上代码，都有注释说明：

import matplotlib.pyplot as plt

#(每一块)饼图外侧显示的说明文字
labels=['Chrome','Firefox','IEXPLORE','Mozilla','Netscape','QQBrowser','OppoBrowser','Opera','Safari','Sogou','VivoBrowser','UCBrowser']    
#每一块的比例
sizes=[125,68774,5,54329,1,39626,2299,1,469773,214,1552,213]
#设置颜色（循环显示）    
colors  = ['blue','red','coral','green','yellow','orange','yellowgreen','gold']  
#explode=[0,0.1,0.2,0,0.1,0.2,0,0.1,0.2,0,0.1,0.2] #(每一块)离开中心的距离
explode=[0,0,0,0,0,0,0,0,0,0,0,0] #(每一块)离开中心的距离
plt.pie(sizes,explode=explode,labels=labels,colors=colors,autopct='%1.2f%%',shadow=True,startangle=90)
#shadow，饼是否有阴影
#startangle，起始角度，0，表示从0开始逆时针转，为第一块。一般选择从90度开始比较好看
plt.axis('equal')
plt.show()

运行结果如下：
这里写图片描述

附录——完整代码

CountJob 类：

package com.gznc_pcc.hadoop;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;  
import org.apache.hadoop.io.*;  
import org.apache.hadoop.mapreduce.*;  
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
public class CountJob {
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {  
        Configuration conf = new Configuration();  
        Job wordCountJob = Job.getInstance(conf);  

        //重要：指定本job所在的jar包  
        wordCountJob.setJarByClass(CountJob.class);  

        //设置wordCountJob所用的mapper逻辑类为哪个类  
        wordCountJob.setMapperClass(CountMapper.class);  
        //设置wordCountJob所用的reducer逻辑类为哪个类  
        wordCountJob.setReducerClass(CountReducer.class);  

        //设置map阶段输出的kv数据类型  
        wordCountJob.setMapOutputKeyClass(Text.class);  
        wordCountJob.setMapOutputValueClass(IntWritable.class);  

        //设置最终输出的kv数据类型  
        wordCountJob.setOutputKeyClass(Text.class);  
        wordCountJob.setOutputValueClass(IntWritable.class);  

        //设置要处理的文本数据所存放的路径  
        FileInputFormat.setInputPaths(wordCountJob, args[0]);  
        FileOutputFormat.setOutputPath(wordCountJob, new Path(args[1]));  

        //提交job给hadoop集群  
        wordCountJob.waitForCompletion(true);  
    }  
}

CountMapper 类：

package com.gznc_pcc.hadoop;
import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
/* 
 * KEYIN：输入kv数据对中key的数据类型 
 * VALUEIN：输入kv数据对中value的数据类型 
 * KEYOUT：输出kv数据对中key的数据类型 
 * VALUEOUT：输出kv数据对中value的数据类型 
 */  
public class CountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{

    /* 
     * map方法是提供给map task进程来调用的，map task进程是每读取一行文本来调用一次我们自定义的map方法 
     * map task在调用map方法时，传递的参数： 
     *      一行的起始偏移量LongWritable作为key 
     *      一行的文本内容Text作为value 
     */  
    @Override  
    protected void map(LongWritable key, Text value,Context context) throws IOException, InterruptedException {  
        //拿到一行文本内容，转换成String 类型  
        String line = value.toString();  
        //将这行文本切分成单词  
        String[] words=line.split(" ");  
        //ip地址为每行第一个空格第一个单词
        String ipString = words[0];
        //输出<ip，1>  
        context.write(new Text(ipString), new IntWritable(1));  

        //存储所有浏览器的字符数组
        String[] browser_list = {"Safari","Mozilla","Firefox","QQBrowser","Opera","IEXPLORE","Chrome","Sogou","360SE","Netscape"}; //Netscape网景浏览器

        int flage = 0; //标记，如果找到了就不要再找了
        for(int i=words.length-1;i>=0;i--){//从后面开始找起，只要靠近行末的那个，那个是什么就是什么浏览器
            for(int j=0;j<browser_list.length;j++){ //遍历浏览器
                if(words[i].contains(browser_list[j])){ //contains()包含函数， 如果切片的字符中包含浏览器那么这个浏览器就是我们要找的
                    //输出<浏览器，1>  
                    context.write(new Text(browser_list[j]), new IntWritable(1));  
                    flage = 1; //找到了，标记为1
                    break;
                }
            }
            if(flage==1){ //找到了就结束了
                break;
            }
        }
    }  
}

CountReducer 类：

package com.gznc_pcc.hadoop;

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
/* 
 * KEYIN：对应mapper阶段输出的key类型 
 * VALUEIN：对应mapper阶段输出的value类型 
 * KEYOUT：reduce处理完之后输出的结果kv对中key的类型 
 * VALUEOUT：reduce处理完之后输出的结果kv对中value的类型 
 */  
public class CountReducer  extends Reducer<Text, IntWritable, Text, IntWritable>{
    @Override  
    /* 
     * reduce方法提供给reduce task进程来调用 
     *  
     * reduce task会将shuffle阶段分发过来的大量kv数据对进行聚合，聚合的机制是相同key的kv对聚合为一组 
     * 然后reduce task对每一组聚合kv调用一次我们自定义的reduce方法 
     * 比如：<hello,1><hello,1><hello,1><tom,1><tom,1><tom,1> 
     *  hello组会调用一次reduce方法进行处理，tom组也会调用一次reduce方法进行处理 
     *  调用时传递的参数： 
     *          key：一组kv中的key 
     *          values：一组kv中所有value的迭代器 
     */  
    protected void reduce(Text key, Iterable<IntWritable> values,Context context) throws IOException, InterruptedException {  
        //定义一个计数器  
        int count = 0;  
        //通过value这个迭代器，遍历这一组kv中所有的value，进行累加  
        for(IntWritable value:values){  
            count+=value.get();  
        }  
        //输出这个单词的统计结果  
        context.write(key, new IntWritable(count));  
    }  
}
连接数据库
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2012.10.24攻击某服务器的IP（肉鸡）
millken
10-25 2万+
攻击次数 攻击ip 1 110.17.109.17 1 112.91.119.2 1 112.91.234.86 1 112.91.73.43 1 112.92.32.133 1 112.92.32.205 1 112.92.33.135 1 112.92.36.190 ...
一、简要说明Storm集群的安装步骤?二、如何实现Spark和Hadoop的统一部署?
qq_45857703的博客
09-06 1401
今天我们的spark老师给我布置了简单的作业，我经过一系列的资料查询与整理，完成了作业，创作不易，还请各位观众老爷们点个赞点个赞点个赞。 一、简要说明Storm集群的安装步骤 1.搭建Zookeeper集群 Storm使用Zookeeper协调集群，由于Zookeeper并不用于消息传递，所以Storm给Zookeeper带来的压力相当低。大多数情况下，单个节点的Zookeeper集群足够胜任，不过为了确保故障恢复或者部署大规模Storm集群，可能需要更大规模节点的Zookeeper集群。在Zooke
hadoop操作（部分）
早八人的上课笔记收录哈哈哈
09-16 143
hadoop部分学习截图 大二下学期开始学习专业课了，课程全称大数据开发与应用，说实话学的很表面，一些在上课时候的一些操作截图打算保存在csdn这个平台上，同时也回顾一下之前学的知识点。 前期准备 我的电脑版本是window10，但是要用hadoop需要linux系统才可以，所以我们首先徐亚给自己的电脑安装一个虚拟机，哦对了，我们有本教材是《hadoop》它里面对虚拟机的安装过程讲解的很详细，或者也可以借助平台去学习各位大佬的安装方法，我之前安装的vm15有一些问题就是在平台上看大佬分析解决的。 安装vm
这两周服务器被攻击，封锁了600多个IP地址段后今天服务器安静多了
tengyunjiawu_com的专栏
07-12 6680
这两周服务器被攻击，封锁了600多个IP地址段后今天服务器安静多了 建议大家在自己的服务器上也封杀这些瘪三的地址 iptables -I INPUT -s 123.44.55.0/24 -j DROP        iptables -I INPUT -s 58.217.166.0/24 -j DROP iptables -I INPUT -s 5.101.40.0/24 -j DRO
【题解】家庭作业
cjx的博客
10-31 1272
题目来源：loj 题目描述 老师在开学第一天就把所有作业都布置了，每个作业如果在规定的时间内交上来的话才有学分。每个作业的截止日期和学分可能是不同的。例如如果一个作业学分为10，要求在6天内交，那么要想拿到这10学分，就必须在第6天结束前交。 每个作业的完成时间都是只有一天。例如，假设有7次作业的学分和完成时间如下： 最多可以获得 15 学分，其中一个完成作业的次序为2,6，3,1，7,5，4 ...
c++众数
Yoyo的博客
03-18 1827
众数的定义是这样的：在所有数当中出现次数最多的数被称为众数。你能解决这个问题吗？第一行输入一个整数 n(1≤n≤1000000)，接下来一行输入 n 个 int 范围内的整数。输出出现次数最多的数和出现的次数，中间用一个空格隔开，如果有多个重复出现的数，输出值最大的那个。给定 n 个整数，求里面出现次数最多的数，如果有多个重复出现的数，求出值最大的一个。接下来一行包括k 个整数，每个整数都表示一个众数，并且从小到大输出。第二行有n 个整数，ai 表示第i 个数。输出一行，包括一个整数k，表示众数的个数。
Hadoop平台技术 模块1 Hadoop概述-单元设计.docx
07-12
反思实践，整理学习笔记课后作业(1) 在职教云平台上完成相关练习题(2) 写一篇关于 Hadoop 集群搭建的心得体会教师讲解职教云教师：布置作业，提供指导学生：深入思考，完成作业 【知识点详解】 Hadoop 是一个开源...
《Hadoop大数据开发实战》教学教案—10Sqoop.pdf
06-22
《Hadoop大数据开发实战》教学教案的第10章聚焦于Sqoop，这是一个关键的数据迁移工具，用于在Hadoop生态系统和传统的关系型数据库之间高效地转移数据。在大数据处理领域，Sqoop扮演着连接传统数据库与分布式计算平台...
编写Java代码打印Hadoop中DataNode中的数据
Trouvailless的博客
05-04 150
文章目录 2. 在Linux本地上执行Java脚本 前段时间老师布置了一个使用java代码打印hadoop中DataNode里数据的作业，起初不太熟悉在Linux里Java导包的步骤，来来回回花了很多时间去试错，最后终于弄好了，写篇博客记录一下 我的目标是使用idea远程打印和在Linux中本地打印DataNode里面的数据： 首先我们要知道的是Hadoop其实提供了很多端口供我们访问，我们可以通过特定的端口管理Hadoop中的很多组件，例如NameNode、DataNode、Node..
#10008. 「一本通 1.1 练习 4」家庭作业
TJ
11-21 1498
【题目描述】 老师在开学第一天就把所有作业都布置了，每个作业如果在规定的时间内交上来的话才有学分。每个作业的截止日期和学分可能是不同的。例如如果一个作业学分为 10，要求在 6 天内交，那么要想拿到这 10 学分，就必须在第 6 天结束前交。 每个作业的完成时间都是只有一天。例如，假设有 7 次作业的学分和完成时间如下： 作业号 期限 学分 11 11 66 ...
众数 8 Sec
最新发布
Chlero的博客
06-11 267
小明最近在上数学课，老师给小明布置了个作业：在 n 个数里找出所有的众数。众数的定义是这样的：在所有数当中出现次数最多的数被称为众数。并且根据定义，众数有可能有多个。你能解决这个问题吗？第一行一个整数 n。第二行有 n 个整数，ai表示第i个数。输出一行，包括一个整数 k，表示众数的个数。接下来一行包括 k 个整数，每个整数都表示一个众数，并且从小到大输出。
家庭作业（贪心 + 并查集）
自渡的博客
05-15 2344
老师在开学第一天就把所有作业都布置了，每个作业如果在规定的时间内交上来的话才有学分。每个作业的截止日期和学分可能是不同的。例如如果一个作业学分为，要求在天内交，那么要想拿到这学分，就必须在第天结束前交。 每个作业的完成时间都是只有一天。例如，假设有 7 次作业的学分和完成时间如下： 最多可以获得学分，其中一个完成作业的次序为，注意可能还有其他方法。 你的任务就是找到一个...
Mode用cin的不超时程序
算法的设计与应用研究
02-15 1310
问题描述 小明最近在上数学课，老师给小明布置了个作业：在n个数里找出所有的众数。 众数的定义是这样的：在所有数当中出现次数最多的数被称为众数。并且根据定义，众数有可能有多个。 你能解决这个问题吗？ 输入格式 第一行一个整数n。 第二行有n个整数，ai表示第i个数。 输出格式 输出一行，包括一个整数k，表示众数的个数。 接下来一行包括k个整数，每个整数都表示一个众数，并且从小到大输出。 输入样例：
1430：家庭作业
C_Dreamy的博客
06-11 876
【题目描述】 老师在开学第一天就把所有作业都布置了，每个作业如果在规定的时间内交上来的话才有学分。每个作业的截止日期和学分可能是不同的。例如如果一个作业学分为10，要求在6天内交，那么要想拿到这10学分，就必须在第6天结束前交。 每个作业的完成时间都是只有一天。例如，假设有7次作业的学分和完成时间如下： 作业号 1 2 3 4 5 6 7 期限 1 1 3 3 2 2 6 学分 6 7 2
家庭作业
Charles6665的博客
08-31 388
传送门 老师在开学第一天就把所有作业都布置了，每个作业如果在规定的时间内交上来的话才有学分。每个作业的截止日期和学分可能是不同的。例如如果一个作业学分为 10，要求在 6 天内交，那么要想拿到这 10 学分，就必须在第 6 天结束前交。 每个作业的完成时间都是只有一天。例如，假设有 7 次作业的学分和完成时间如下： 思路：参照网上的题解，采用贪心做法，将这些作业先安装学分从大到小进行排序，接着每次寻找距离截至日期最近有空闲的日子完成该作业并标记，这部分可以采用并查集完成。 #include<bits
【C++】「一本通 1.1 练习 4」家庭作业
Ljnoit
04-13 1149
「一本通 1.1 练习 4」家庭作业【来源】【题目描述】【输入格式】【输出格式】【输入样例】【输出样例】【数据范围】【解析1】【代码1】【解析2】【代码2】 【来源】 一本通题库-1430 LibreOJ-10008 vjudge 【题目描述】 老师在开学第一天就把所有作业都布置了，每个作业如果在规定的时间内交上来的话才有学分。每个作业的截止日期和学分可能是不同的。例如如果一个作业学分为10101...
zzuli OJ 1118:小明的调查作业
qq_29989211的博客
10-17 651
小明的老师布置了一份调查作业，小明想在学校中请一些同学一起做一项问卷调查，聪明的小明为了实验的客观性，想利用自己的计算机知识帮助自己。他先用计算机生成了N个1到1000之间的随机整数（0<N≤1000），对于其中重复的数字，只保留一个，把其余相同的数去掉，不同的数对应着不同的学生的学号。然后再把这些数从小到大排序，按照排好的顺序去找同学做调查。请你协助明明完成“去重”与“排序”的工作。 输入...
使用maven构建一个基于Java的spark应用程序用于统计唐诗三百首中各汉字出现的次数
数据分析转向数据挖掘的学习之路
07-25 829
目的：统计唐诗三百首全集每个汉字出现的次数 软件需求：     下载 Eclipse ，安装Maven     安装好JDK1.8     下载并配置了hadoop-2.7.3     spark-2.2.0-bin-hadoop2.7 步骤： 1，创建Maven Project 根据提示一步步走 ---选择 Maven-archetype-
Hadoop集群作业调度探究：MapReduce原理与优化
在大数据处理领域，Hadoop是一个至关重要的开源框架，它提供了一种经济高效的方式来处理和分析海量数据。Hadoop的核心组件包括分布式文件系统（HDFS）和MapReduce计算模型，这两个组件共同构成了Hadoop处理大规模...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值