- 博客(39)
- 收藏
- 关注
RSS订阅
原创 大数据课程——Storm综合应用
大数据课程——Storm综合应用实验内容以及要求假设在某一搜索应用中，需要实时统计搜索次数最多的热门关键词，并按照实时统计搜索次数输出最热门的20大热门关键词及被搜索次数。用户搜索的日志通过Flume采集，并写入Kafka，Storm从Kafka中实时读取数据，并完成实时统计工作，并进行输出。提示：（1）搜索日志可以采用实验5的数据（搜狗搜索数据），一行代表一次用户搜索；（2）Flume Agent的Source可以配置为syslogudp类型（端口5640），监控搜索日志；（3）输出形式自
2022-05-11 21:01:19
1197
原创 大数据课程——Flume日志收集
大数据课程——Flume日志收集实验内容以及要求如下图所示，节点1、节点2产生日志，节点1和节点2的日志最终流向节点3，并最终写入HDFS文件。节点1的Agent的Source类型为syslogtcp，采集日志信息通过用户编写的Client程序通过socket（假设端口号5640）发送到flume agent；节点2的日志信息来自于监听特别的日志文件夹（/home/hadoop/log）产生的事件。请部署Flume，并完成相应的配置，实现如下日志收集方案。在后面的叙述当中，Centos01作为上
2022-04-29 11:10:55
1288
原创 大数据课程——Kafka编程应用
大数据课程——Kafka编程应用实验内容以及要求如下图所示，在某一应用场景中，有两个生产者生产消息和一个消费者消费消息，他们利用Kafka集群进行消息传输。其中生产者需要记录消息来源（即发送消息的主机名或IP）及消息发送时间（格式为年月日 时分秒），生产者1同步发送消息、生产者2采用异步发送消息，都需要显示消息发送成功还是失败。用户通过输入消息内容通过生产者（生产者1或生产者2）将消息发送到Kafka，消费者根据消息内容能区分消息来源。请分别编程实现相应的生产者和消费者，并完成部署实现上述应用场景的模
2021-07-06 16:58:49
712
原创 大数据课程——MapReduce编程综合应用（2）
大数据课程——MapReduce编程综合应用（2）实验内容以及要求现有一份汽车销售记录，销售记录包括时间、地点、邮政编码、车辆类型等信息，每条记录信息包含39项数据项。请利用MapReduce框架，编写程序实现如下功能：（1）统计不同车型销售的年龄段分布情况，并分别按照车型和年龄段进行汇总（不考虑排序）。注意：年龄段每10岁为1个年龄段（010、1120、21~30…）输出格式参考如下：车型1,年龄段1,300车型1,年龄段1,300…车型1,年龄段2,300…车型2,年龄段1,30
2021-06-28 16:08:28
1461
2
原创 大数据课程——MapReduce编程综合应用（1）
大数据课程——MapReduce编程综合应用（1）实验内容以及要求现有大约500万条搜索引擎产生的记录，数据格式如下：每一行包含6个字段：字段1代表数据产生的时间；字段2代表用户，即UID；字段3代表用户搜索关键词；字段4代表URL超链接在返回结果中的排名；字段5代表用户单击超链接的顺序号；字段6代表用户单击的URL超链接的地址。请利用MapReduce框架，编写程序实现如下功能：（1）统计用户数量（2）统计搜索次数在20次及以上的用户UID及搜索次数（3）你自己想到的其他功能
2021-06-28 15:05:59
1259
1
原创 大数据课程——MapReduce编程基础
大数据课程——MapReduce编程基础实验内容以及要求在文档规模较小的时候，使用传统编程方式也能统计出文本中出现的单词数量，但是当文档规模巨大的时候（比如数据大小达到GB、PB级别的时候），就必须使用MapReduce来进行统计了。请使用MapReduce编程框架， 编写程序WordCount，统计文本中，每个单词出现的次数，并给予详细的步骤以及实验测试结果。自己说两句该实验主要是学习MapReduce的相关概念，重点是要理解Map、Reduce这两个阶段做了什么事情，并且在整个MapRed
2021-06-28 14:43:46
397
原创 大数据课程——课后练习3
大数据课程——课后练习31.请简述Spark的主要组件及其主要功能。Spark Core：该组件是Spark的核心模块，主要包含两个功能：一是负责任务调度、内存管理、错误恢复与存储系统交互等；二是其包含了对弹性分布式数据集的API定义。它提供了创建和操作这些集合的多个API。Spark SQL：该组件是一个用于结构化数据处理的Spark工具包，提供了面向结构化数据的SQL查询接口，使用户可以通过编写SQL或基于Apache Hive的HiveQL来方便地处理数据。也可以查询Hive中的数据，相
2021-06-23 16:00:09
773
原创 大数据课程——课后练习2
1.简述Kafka集群架构一个典型的Kafka集群包含若干生产者，若干Broker，若干消费者以及一个Zookeeper集群。Zookeeper用于管理和协调Broker。若集群中有Broker失效、新增、故障，Zookeeper会通知其他生产者和消费者进行Broker协调工作。生产者会用Push模式将消息发送到Broker，消费者用Pull模式从Broker中订阅并消费消息。2.请简述Kafka主题与分区的概念Kafka通过主题对消息进行分类，一个主题可以分为多个分区，每个分区可以存储于不同的B
2021-06-23 15:51:02
655
原创 大数据课程——课后练习1
大数据课程——课后练习11.请简述HDFS集群的总体架构以及NameNode、DataNode和SecondaryNameNode的作用。NameNode是HDFS中的存储元数据的地方，它将所有文件和文件夹的元数据保存在一个文件系统的目录树中，任何元数据信息的改变，NameNode都会记录。NameNode还负责维护HDFS中文件与数据块的对应关系。NameNode还存储数据块到DataNode的映射信息。NameNode还会周期性地接收集群中DataNode的“心跳”和“块报告”。通过“心跳”与
2021-06-23 15:36:22
599
原创 大数据课程复习资料整理
以下所有内容只是自己课程考试资料的复习整理所有图片均出自课程PPT和张伟洋所著的《Hadoop大数据技术开发实践》，不是自己画的！！！HadoopHadoop整体架构对比1.x Hadoop以HDFS和MapReduce为核心。1.x的MapReduce除了负责数据的计算以外，还负责集群作业的调度和资源管理，HDFS负责数据存储2.x Hadoop以HDFS和YARN为核心。HDFS负责数据存储，YARN负责集群资源管理和统一调度。MapReduce只负责进行数据计算。YARN具有通用性，可.
2021-06-23 09:53:19
742
原创 Spark Streaming 作业练习
Spark Streaming 作业练习实验内容及要求在本地或HDFS新建一个测试目录，编写一个简单程序，每随机间隔若干秒（5s以内）在该目录下新建一个文件，并写入若干行内容（每一行包含若干单词，单词之间以空格分隔）。现利用Spark Streaming分别完成如下单词统计：(1)实时统计每10s新出现的单词数量（每10s统计1次）；(2)实时统计最近1分钟内每个单词的出现次数（每10s统计1次）；(3)实时统计每个单词的累积出现次数，并将结果保存到本地文件（每10s统计1次）为了顺利进行实验
2021-06-11 20:23:40
2560
5
原创 二分查找笔记
二分查找笔记不会就学，学了才会。参考资料：https://www.jianshu.com/p/0f823fbd4d20基本二分模版以及注意事项int binarySearch(int a[], int n, int target) { int low = 0, high = n, mid; while(low <= high) { mid = low + ((high - ...
2019-11-15 14:58:59
114
原创 【BNUZ个人练习赛】 G-如何办好比赛【贪心】
【BNUZ个人练习赛】 G-如何办好比赛【贪心】大致题意：给一字符串表示一群人在排队，只包含D和M，D表示大佬，M表示萌新，每个萌新前面排多少大佬，这个萌新的期待值就是多少，每次交换可以让相邻的两个人交换位置。给出n，k，n表示总人数，k表示应当到达的总期待值，问最少经过多少次交换可以把整个队伍的总期待值变成 k 。无法修改成功则输出 -1。思路：比赛的时候思路是对的，只可惜时间不够了，不...
2019-08-22 17:26:20
118
原创 Codeforces Round #581 (Div. 2) D-Kirk and a Binary String【思维】
Codeforces Round #581 (Div. 2) D-Kirk and a Binary String【思维】题目：http://codeforces.com/contest/1204/problem/D2参考资料：https://blog.csdn.net/nudt_spy/article/details/99940916大致题意：给你一个S串（01串），让你求出对应长度...
2019-08-22 09:59:43
213
原创 洛谷 P1538 迎春舞会之数字舞蹈
洛谷 P1538 迎春舞会之数字舞蹈大致题意：给你一个字符串，让你打印出不同大小的字符形式。很鬼畜的一道题，虽然简单但是还是想纪念一下。（刚好拿来磨合一下新键盘哈哈）思路：模拟即可。主要是思路一定要捋顺咯，不然会错。代码#include<string.h>#include<iostream>#include<cstdio>#include<...
2019-08-21 20:54:32
113
原创 2019杭电多校 第九场 6685-Rikka with Coin【思维+暴力】
2019杭电多校 第九场 6685-Rikka with Coin【思维+暴力】题目：http://acm.hdu.edu.cn/showproblem.php?pid=6685参考资料：https://blog.csdn.net/qq_41360176/article/details/99762515大致题意：餐厅中有n种不同价格的菜品，你有非常非常多的10美分，20美分，50美分，...
2019-08-20 11:25:39
184
原创 2019杭电多校 第八场 6667-Roundgod and Milk Tea【思维】
2019杭电多校 第一场 6667-Roundgod and Milk Tea【思维】题目：http://acm.hdu.edu.cn/showproblem.php?pid=6667大致题意：有n个班级，每个班级都有a个人，做出b杯奶茶。每个班不能喝自己做的奶茶，问最多有多少人喝到奶茶。思路：模拟，不喝自己班的即可。有个注意的地方，会爆 int，所以要用 long long 不然会...
2019-08-20 09:40:58
214
原创 HDU 6672-Seq【规律】
2019百度之星 第八场 6672-Seq【规律】题目：http://acm.hdu.edu.cn/showproblem.php?pid=6672思路：一道规律题，暴力跑出代码可以看出规律，n <= 2 要特判。另外注意要用 long long，否则WA。代码：#include<cstdio>#include<iostream>#include<...
2019-08-20 09:40:48
128
原创 2019杭电多校 第九场 6684-Rikka with Game【博弈题】
2019杭电多校 第九场 6684-Rikka with Game【博弈题】大致题意：给出一个字符串，R先手，R想把字符串的字典序往小了改，Y想把字符串的字典序往大了改，每人轮流修改，每次每人都有两种选择，一是把某个位的字母往后改一位，比如 a->b, d->e，二是结束游戏。问修改过后字符串是怎样的。思路：一道博弈题。假如第一位是 a~x的字母，如果先手的去修改，那后手直接...
2019-08-20 09:40:18
258
原创 Codeforces Round #580 (Div. 2) C- Almost Equal【规律】
Codeforces Round #580 (Div. 2) C- Almost Equal【规律】题目：http://codeforces.com/contest/1206/problem/C大致题意：输入n，把数字1~2n 排成一个圈，使得任意两个“连续n个数字之和”的差值都不超过1。思路：猜到 n = 偶数 时都是无解的，直接输出NO。n = 奇数 的时候，1 和 2 的位置是...
2019-08-19 17:08:12
93
原创 Codeforces Round #579 (Div. 3) C - Common Divisors 【数论】
Codeforces Round #579 (Div. 3) C - Common Divisors 【数论】题目：http://codeforces.com/contest/1203/problem/C大致题意：给你n个数字，问你他们的共同公约数的种数。思路：找出最大公约数的因子数即可。代码部分：我怀疑CF是他妈针对我，这两份代码几乎一样，但不知道为什么第二份代码就是TLE。眼睛都...
2019-08-15 23:08:40
141
2
原创 2019杭电多校 第一场 6581-Vacation【思维】
2019杭电多校 第一场 6581-Vacation【思维】题目：http://acm.hdu.edu.cn/showproblem.php?pid=6581参考资料：https://www.cnblogs.com/wawcac-blog/p/11229277.htmlhttps://www.cnblogs.com/Satan666/p/11273615.html大致题意：共有n+1辆...
2019-08-15 10:39:19
118
原创 Codeforces Round #579 (Div. 3) A 、B、E
Codeforces Round #579 (Div. 3)A-Circle of Students【暴力】思路：简单水题目，把数组多复制一串在后头，然后遇到1先向右搜索，然后向左搜索，解决了。代码：#include<bits/stdc++.h>using namespace std; int main() { int t; cin >> t; whi...
2019-08-15 09:32:52
92
原创 2019杭电多校 第七场 6651-Final Exam【规律+思维】
2019杭电多校 第七场 6651-Final Exam【规律+思维】题目：http://acm.hdu.edu.cn/showproblem.php?pid=6651大致题意：n，m，k 三个正整数，n表示试卷有n道题目，m表示n道题目总分值为m，k表示我们要做对的题目。思路：这道题主要是一道思维题，田忌赛马的策略。换位思考假如我们是老师，要让学生做不出k道题，那我们最小的花费只需要恰...
2019-08-13 14:25:34
160
原创 Codeforces Round #578 (Div. 2) C - Round Corridor 【数论+规律】
Codeforces Round #578 (Div. 2) C - Round Corridor 【数论+规律】题目：http://codeforces.com/contest/1200/problem/C大致题意：12点钟方向固定有一堵墙，内圈、外圈相邻区域有墙，内外圈之间没有墙，给你起点和终点坐标，问你能不能到达终点。思路：设 n和m的最大公约数为gcd ，无法通过的墙会出现在 ...
2019-08-13 11:33:42
88
原创 Codeforces Round #578 (Div. 2) B - Block Adventure 【贪心】
Codeforces Round #578 (Div. 2) B - Block Adventure 【贪心】题目：http://codeforces.com/contest/1200/problem/B大致题意：给你n，m，k三个整数，n表示有n个柱子，每个柱子都由高度为1的石块堆叠而成，所以有hi个石块，这个柱子的高度就为hi。你有一个无限空间的背包，一开始的时候，你站在第一个柱子上，背...
2019-08-13 10:35:42
137
原创 Codeforces Round #578 (Div. 2) A - Hotelier 【水题】
Codeforces Round #578 (Div. 2) A - Hotelier 【水题】题目：http://codeforces.com/contest/1200/problem/A思路：读懂题目就能过，不多赘述代码：#include<iostream>#include<algorithm>#include<cstdio>#include...
2019-08-12 16:00:56
108
原创 2019杭电多校 第二场 6600-Just Skip The Problem【规律+全排列+二进制】
2019杭电多校 第二场 6600-Just Skip The Problem【规律+全排列+二进制】题目：http://acm.hdu.edu.cn/showproblem.php?pid=6600大致题意：有一个数x，范围是0 ~ 2^n - 1。你可以同时提出很多数字 y 来询问，是否符合 x & y == y 。问你有多少种方法可以以最少的提问来猜到 x 的真实值？思路：...
2019-08-10 10:52:12
185
原创 2019牛客暑期多校训练营（第七场）A-String 【字符串最小表示法+暴力枚举】
原 2019牛客暑期多校训练营（第七场）A-String 【字符串最小表示法+暴力枚举】大致题意：给你一个01字符串，要求你用最少的割法，将该字符串分割成数个部分，每个部分都要求是一个对于其自身循环字典序最小的字符串。参考资料：https://www.cnblogs.com/XGHeaven/p/4009210.html字符串的最小表示法思路：因为数据非常小，字符串长度不超过200，所...
2019-08-09 17:24:58
172
原创 2019牛客暑期多校训练营（第七场）B-Irreducible Polynomial 【数论】
2019牛客暑期多校训练营（第七场）B-Irreducible Polynomial 【数论】大致题意：给你一个数n，接下来给你n+1个数字（an，an-1……a0）表示这是一个n次多项式，ai表示第i次项前的系数。问你这个n次多项式是否能被因式分解。思路：签到题，然而我是真的菜，做不出来，其实就是一个很简单的数学知识：实数域不可拆分多项式只有两种：一次多项式和二次的(b^2<4a...
2019-08-09 15:27:18
137
原创 2019牛客暑期多校训练营（第五场）G- subsequence 1 【DP+组合数】
2019牛客暑期多校训练营（第五场）G- subsequence 1 【DP+组合数】大致题意：给你两个正整数n，m，分别表示 s 字符串和 t 字符串的长度，接下两行分别是 s 字符串和 t 字符串。问你可以在 s 字符串中找到多少种有效子序列（不含前导零）构成的整数比 t 字符串所构成的整数大？参考资料：1、https://blog.csdn.net/anthony1314/artic...
2019-08-09 14:47:13
115
原创 2019牛客暑期多校训练营（第六场）D-Move 【暴力枚举】
2019牛客暑期多校训练营（第六场）D-Move题目：https://ac.nowcoder.com/acm/contest/886/D大致题意：给你两个正整数n， k，范围0~1000，表示有n件行李，用k个相同体积的箱子去装他们，接下来给出n个正整数vi 表示每件行李的体积。把行李放入箱子的规则是：每次都挑选最大行李放入箱子中，当无法放入的时候才拿下一个箱子继续放入，直到把所有行李都装...
2019-08-09 11:24:27
126
原创 Educational Codeforces Round 70 A题 You Are Given Two Binary Strings...
Educational Codeforces Round 70 A题 You Are Given Two Binary Strings…题目：http://codeforces.com/contest/1202/problem/A大致题意：给你两个二进制数字x，y，让你选择一个数字k，存在公式 sk = x + y * 2^k ，定义revk是sk的倒序，求能 使得revk字典序最小 的k值...
2019-08-09 10:26:47
289
原创 2019杭电多校 第六场 6641（原1008） TDL（规律题）
2019杭电多校 第六场 6641（原1008） TDL（规律题）题目：http://acm.hdu.edu.cn/showproblem.php?pid=6641大致题意：给你两个正整数k和m，要求你找出符合 (f(n,m)−n)⊕n=k 这个条件式的 n，（⊕表示异或xor，f(n,m)表示求出比n大的第m小的互质数）。思路：首先，分析 f(n,m)-n 可以知道，我们求出n的...
2019-08-08 11:39:17
149
原创 2019杭电多校 第五场 6630（原1007） permutation 2 （斐波那契数列）
2019杭电多校 6630（原1007） permutation 2 （斐波那契数列）题目：http://acm.hdu.edu.cn/showproblem.php?pid=6630大致题意：输入时候给你n,x,y三个正整数，n表示有n个互不相同数字（范围：[1,n]），x是第一个数字，y是末尾的数字，让你排列填满中间的数字，问你有多少种排列组合。思路：一开始以为这是一道排列组合题，然...
2019-08-06 14:47:40
170
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人