- 博客(52)
- 收藏
- 关注
RSS订阅原创 sparkstream消费kafka序列化报错
本篇介绍在window运行环境下，使用spark消费kafka数据遇到的几个坑。。调试环境IDEA//依赖<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <version>2.4.7</version>
2021-08-21 21:55:23
2754
1
原创 Spark基础练习系列
因最近学习了scala重温spark，本篇主要是spark sql的基础编程题原题目地址： 题目地址数据准备本次所需的数据student.txt字段说明 学号 学生姓名 学生性别 学生出生年月 学生所在班级108 丘东 男 1977-09-01 95033105 匡明 男 1975-10-02 95031107 王丽 女 1976-01-23 95033101 李军 男 1976-02-20 95033109 王芳 女 1975-02-10 95031103 陆君 男 1
2021-08-18 14:52:16
1066
原创 Spark基础测试题
因最近学习了scala重温spark，本篇主要是spark rdd的基础编程题原题目地址： 题目地址数据准备本题所需的数据 data.txt数据结构如下依次是：班级 姓名 年龄 性别 科目 成绩12 宋江 25 男 chinese 5012 宋江 25 男 math 6012 宋江 25 男 english 7012 吴用 20 男 chinese 5012 吴用 20 男 math 5012 吴用 20 男 english 5012 杨春 19 女 chinese 7012 杨春
2021-08-16 14:58:49
778
原创 原生spark与pyspark使用比较
pyspark与原生spark（scala）比较在学习完spark这个优秀的计算框架后，因为当时的学习使用了python api对spark进行交互，编写spark的原生语言为sacla，所以，在简单的自学完scala后，再次使用scala对spark进行交互，也可称为scala初体验~本篇文章主要以使用python和scala分别编写spark程序实现wordcount单词计数，来对pyspark和原生spark进行比较1.spark计算框架介绍Spark是UC Berkeley AMP
2021-08-05 14:02:56
6245
原创 hive安装与配置
hive的安装与配置hive介绍： Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。准备工作：hadoop集群成功部署卸载自带的mariadb下载安装mysql（mysql做元数据存储）上传hive2.3.8压缩包1.卸载mariadb# 查看mariadb版本rpm -qa |grep mariadb# 卸载mariadbrpm -e --nodeps mariadb-libs-5.5.44-2.el7.cento
2021-06-06 18:58:28
246
1
原创 mapreduce（python开发)
开发mapreduce简介： MapReduce是面向大数据并行处理的计算模型、框架和平台，它隐含了以下三层含义：（1）MapReduce是一个基于集群的高性能并行计算平台（Cluster Infrastructure）。它允许用市场上普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群。（2）MapReduce是一个并行计算与运行软件框架（Software Framework）。它提供了一个庞大但设计精良的并行计算软件框架，能自动完成计算任务的并行化处理，自动划分计算数据和计算任
2021-06-01 13:00:26
6767
7
原创 hdfs基本使用
hdfs基本使用本篇文章主要介绍一下常用的hdfs命令hdfs介绍:HDFS是Hadoop应用用到的一个最主要的分布式存储系统。一个HDFS集群主要由一个NameNode和很多个Datanode组成：Namenode管理文件系统的元数据，而Datanode存储了实际的数据。HDFS的体系结构在这里有详细的描述。本文档主要关注用户以及管理员怎样和HDFS进行交互。HDFS架构设计中的图解描述了Namenode、Datanode和客户端之间的基本的交互操作。基本上，客户端联系Namenode以获取文件的元
2021-05-30 17:28:24
491
原创 hadoop安装与配置
hadoop安装与配置目标：搭建由三台节点（master、node1、node2）组成的hadoop集群准备工作：1.创建虚拟机安装centos2.配置虚拟机网络3.配置三台虚拟机ssh免密4.上传hadoop2.7.3与jdk1.8.1压缩包到虚拟机主要流程：1.解压hadoop与jdk配置环境变量2.修改hadoop配置文件3.将hadoop与jdk分发到另外两台节点4.初始化namenode1.解压配置环境变量（1）使用解压命令将hadoop与jdk解压tar -zxvf
2021-05-30 17:04:05
338
3
原创 Django框架学习4
python Django框架学习4Django框架学习4本篇文章主要讲述django的模型类的创建、迁移和前端与数据库的交互。模型类的创建：工程中的模型类的位置在app目录下的models.py文件中，模型类里面定义的类属性是为了生成数据库里面的表结构使用的，简言之，这个文件中要定义这个app中所有要用到的数据，并根据关联性，把它们封装在不同的类（数据表）当中。一个模型类对应数据库中一张数据表，一个类属性对应数据表中一个字段。我们以前面实现的项目——云端留言版为例先根据留言版的web页面来确定
2020-12-10 11:02:05
137
3
原创 Django框架学习3
python Django框架学习3Django框架学习3本文主要学习讲诉django的URL路由机制和视图（views）响应类型URL路由机制：在Django中，工程中的全局路由文件以工程目录下的settings.py文件中的ROOT_URLCONF变量指定，如在 云端留言板中，全局路由如图再来看全局路由文件urls.py中的内容其中的urlpatterns变量就表示整个工程中的全局路由该变量的数据类型为列表，由path()或re_path作为元素内容Django的URL路由流程在d
2020-12-08 12:31:34
182
1
原创 Django框架学习2
Django框架学习2：：提示：这里可以添加要学的内容例如：1、 搭建 Java 开发环境2、 掌握 Java 基本语法3、 掌握条件语句4、 掌握循环语句学习时间：提示：这里可以添加计划学习的时间例如：1、 周一至周五晚上 7 点—晚上9点2、 周六上午 9 点-上午 11 点3、 周日下午 3 点-下午 6 点学习产出：提示：这里统计学习计划的总量例如：1、 技术笔记 2 遍2、CSDN 技术博客 3 篇3、 学习的 vlog 视频 1 个...
2020-12-07 11:20:23
277
2
原创 Django框架学习1
python Django框架学习1Django框架学习1Django是一个开放源代码的Web应用框架，由Python写成。采用了MTV的框架模式，即模型M，视图V和模版T。它最初是被开发来用于管理劳伦斯出版集团旗下的一些以新闻内容为主的网站的，即是CMS（内容管理系统）软件。并于2005年7月在BSD许可证下发布。这套框架是以比利时的吉普赛爵士吉他手Django Reinhardt来命名的。官网：https://www.djangoproject.com/官方文档：https://docs.dja
2020-12-06 13:57:10
473
10
原创 1043 输出PATest
题目给定一个长度不超过 104 的、仅由英文字母构成的字符串。请将字符重新调整顺序，按 PATestPATest… 这样的顺序输出，并忽略其它字符。当然，六种字符的个数不一定是一样多的，若某种字符已经输出完，则余下的字符仍按 PATest 的顺序打印，直到所有字符都被输出输入格式：输入在一行中给出一个长度不超过 104 的、仅由英文字母构成的非空字符串。输出格式：在一行中按题...
2019-08-14 22:17:39
124
原创 1042 字符统计
题目请编写程序，找出一段给定文字中出现最频繁的那个英文字母输入格式：输入在一行中给出一个长度不超过 1000 的字符串。字符串由 ASCII 码表中任意可见字符及空格组成，至少包含 1 个英文字母，以回车结束（回车不算在内）。输出格式：在一行中输出出现频率最高的那个英文字母及其出现次数，其间以空格分隔。如果有并列，则输出按字母序最小的那个字母。统计时不区分大小写，输出小写字母。输入样例...
2019-08-11 21:36:15
92
原创 1041 找位置
题目每个 PAT 考生在参加考试时都会被分配两个座位号，一个是试机座位，一个是考试座位。正常情况下，考生在入场时先得到试机座位号码，入座进入试机状态后，系统会显示该考生的考试座位号码，考试时考生需要换到考试座位就座。但有些考生迟到了，试机已经结束，他们只能拿着领到的试机座位号码求助于你，从后台查出他们的考试座位号码。输入格式：输入第一行给出一个正整数 N（≤1000），随后 N 行，每行给出...
2019-08-10 21:33:32
80
原创 1039 买不买
题目小红想买些珠子做一串自己喜欢的珠串。卖珠子的摊主有很多串五颜六色的珠串，但是不肯把任何一串拆散了卖。于是小红要你帮忙判断一下，某串珠子里是否包含了全部自己想要的珠子？如果是，那么告诉她有多少多余的珠子；如果不是，那么告诉她缺了多少珠子。为方便起见，我们用[0-9]、[a-z]、[A-Z]范围内的字符来表示颜色。例如在图1中，第3串是小红想做的珠串；那么第1串可以买，因为包含了全部她想要的珠子...
2019-08-08 23:04:46
84
原创 1038 成绩
题目本题要求读入 N 名学生的成绩，将获得某一给定分数的学生人数输出。输入格式：输入在第 1 行给出不超过 105 的正整数 N，即学生总人数。随后一行给出 N 名学生的百分制整数成绩，中间以空格分隔。最后一行给出要查询的分数个数 K（不超过 N 的正整数），随后是 K 个分数，中间以空格分隔。输出格式：在一行中按查询顺序给出得分等于指定分数的学生人数，中间以空格分隔，但行末不得有...
2019-08-07 15:27:36
74
原创 1035
题目根据维基百科的定义：插入排序是迭代算法，逐一获得输入数据，逐步产生有序的输出序列。每步迭代中，算法从输入序列中取出一元素，将之插入有序序列中正确的位置。如此迭代直到全部元素有序。归并排序进行如下迭代操作：首先将原始序列看成 N 个只包含 1 个元素的有序子序列，然后每次迭代归并两个相邻的有序子序列，直到最后只剩下 1 个有序的序列。现给定原始序列和由某排序算法产生的中间序列，请你判断该算法究...
2019-08-05 00:39:21
170
原创 1034 四则运算
题目本题要求编写程序，计算 2 个有理数的和、差、积、商。输入格式：输入在一行中按照 a1/b1 a2/b2 的格式给出两个分数形式的有理数，其中分子和分母全是整型范围内的整数，负号只可能出现在分子前，分母不为 0。输出格式：分别在 4 行中按照 有理数1 运算符 有理数2 = 结果 的格式顺序输出 2 个有理数的和、差、积、商。注意输出的每个有理数必须是该有理数的最简形式 k a/b，...
2019-08-03 22:33:36
277
原创 1033 旧jianpan
题目旧键盘上坏了几个键，于是在敲一段文字的时候，对应的字符就不会出现。现在给出应该输入的一段文字、以及坏掉的那些键，打出的结果文字会是怎样？输入格式：输入在 2 行中分别给出坏掉的那些键、以及应该输入的文字。其中对应英文字母的坏键以大写给出；每段文字是不超过 105 个字符的串。可用的字符包括字母 [a-z, A-Z]、数字 0-9、以及下划线 _（代表空格）、,、.、-、+（代表上档...
2019-08-02 21:49:51
137
原创 1032 挖掘机
题目为了用事实说明挖掘机技术到底哪家强，PAT 组织了一场挖掘机技能大赛。现请你根据比赛结果统计出技术最强的那个学校。输入格式：输入在第 1 行给出不超过 105 的正整数 N，即参赛人数。随后 N 行，每行给出一位参赛者的信息和成绩，包括其所代表的学校的编号（从 1 开始连续编号）、及其比赛成绩（百分制），中间以空格分隔。输出格式：在一行中给出总得分最高的学校的编号、及其总分，中...
2019-08-02 18:26:34
89
原创 1031
题目一个合法的身份证号码由17位地区、日期编号和顺序编号加1位校验码组成。校验码的计算规则如下：首先对前17位数字加权求和，权重分配为：{7，9，10，5，8，4，2，1，6，3，7，9，10，5，8，4，2}；然后将计算的和对11取模得到值Z；最后按照以下关系对应Z值与校验码M的值：Z：0 1 2 3 4 5 6 7 8 9 10M：1 0 X 9 8 7 6 5 4 3 2现在给定一些身...
2019-08-01 20:57:02
102
原创 1030
题目输入格式给定一个正整数数列，和正整数 p，设这个数列中的最大值是 M，最小值是 m，如果 M≤mp，则称这个数列是完美数列。现在给定参数 p 和一些正整数，请你从中选择尽可能多的数构成一个完美数列。输出格式输入第一行给出两个正整数 N 和 p，其中 N（≤105）是输入的正整数的个数，p（≤109）是给定的参数。第二行给出 N 个正整数，每个数不超过 109。输入样...
2019-08-01 20:23:04
97
原创 1029
题目旧键盘上坏了几个键，于是在敲一段文字的时候，对应的字符就不会出现。现在给出应该输入的一段文字、以及实际被输入的文字，请你列出肯定坏掉的那些键。输入格式：输入在 2 行中分别给出应该输入的文字、以及实际被输入的文字。每段文字是不超过 80 个字符的串，由字母 A-Z（包括大、小写）、数字 0-9、以及下划线 _（代表空格）组成。题目保证 2 个字符串均非空。输出格式：按照发现顺序，在一...
2019-07-29 18:57:10
100
原创 1028人口普查
题目某城镇进行人口普查，得到了全体居民的生日。现请你写个程序，找出镇上最年长和最年轻的人。这里确保每个输入的日期都是合法的，但不一定是合理的——假设已知镇上没有超过 200 岁的老人，而今天是 2014 年 9 月 6 日，所以超过 200 岁的生日和未出生的生日都是不合理的，应该被过滤掉。输入格式：输入在第一行给出正整数 N，取值在(0,105]；随后 N 行，每行给出 1 个人的姓...
2019-07-28 20:22:38
92
原创 1027 打印沙漏
题目本题要求你写个程序把给定的符号打印成沙漏的形状。例如给定17个“*”，要求按下列格式打印***** *** * ********所谓“沙漏形状”，是指每行输出奇数个符号；各行符号中心对齐；相邻两行符号数差2；符号数先从大到小顺序递减到1，再从小到大顺序递增；首尾符号数相等。给定任意N个符号，不一定能正好组成一个沙漏。要求打印出的沙漏能用掉尽可能多的符号。输入格式:输入在一...
2019-07-27 18:33:08
114
原创 1026 时间
题目要获得一个 C 语言程序的运行时间，常用的方法是调用头文件 time.h，其中提供了 clock() 函数，可以捕捉从程序开始运行到 clock() 被调用时所耗费的时间。这个时间单位是 clock tick，即“时钟打点”。同时还有一个常数 CLK_TCK，给出了机器时钟每秒所走的时钟打点数。于是为了获得一个函数 f 的运行时间，我们只要在调用 f 之前先调用 clock()，获得一个时钟...
2019-07-26 19:07:03
75
原创 1024科学计数法
题目科学计数法是科学家用来表示很大或很小的数字的一种方便的方法，其满足正则表达式 [±][1-9].[0-9]+E[±][0-9]+，即数字的整数部分只有 1 位，小数部分至少有 1 位，该数字及其指数部分的正负号即使对正数也必定明确给出。现以科学计数法的格式给出实数 A，请编写程序按普通数字表示法输出 A，并保证所有有效位都被保留。输入格式：每个输入包含 1 个测试用例，即一个以科学计数法...
2019-07-24 22:01:43
113
原创 1023 组最小数
题目给定数字 0-9 各若干个。你可以以任意顺序排列这些数字，但必须全部使用。目标是使得最后得到的数尽可能小（注意 0 不能做首位）。例如：给定两个 0，两个 1，三个 5，一个 8，我们得到的最小的数就是 10015558。现给定数字，请编写程序输出能够组成的最小的数。输入格式：输入在一行中给出 10 个非负整数，顺序表示我们拥有数字 0、数字 1、……数字 9 的个数。整数间用一个空格分...
2019-07-23 19:21:45
239
原创 1022 D进制A+B
题目输入两个非负 10 进制整数 A 和 B (≤230−1)，输出 A+B 的 D (1<D≤10)进制数。输入格式：输入在一行中依次给出 3 个整数 A、B 和 D。输出格式：输出 A+B 的 D 进制数。输入样例：123 456 8输出样例：1011代码1：输出的答案的是不能把最后一位取余的输出出来#include<stdio.h>int...
2019-07-22 12:18:34
73
原创 1021 个位数统计
题目给定一个 k 位整数 N=dk−110k−1+⋯+d1101+d0 (0≤di≤9, i=0,⋯,k−1, dk−1>0)，请编写程序统计每种不同的个位数字出现的次数。例如：给定 N=100311，则有 2 个 0，3 个 1，和 1 个 3。输入格式：每个输入包含 1 个测试用例，即一个不超过 1000 位的正整数 N。输出格式：对 ...
2019-07-22 10:04:36
119
原创 1020 卖月饼
题目月饼是中国人在中秋佳节时吃的一种传统食品，不同地区有许多不同风味的月饼。现给定所有种类月饼的库存量、总售价、以及市场的最大需求量，请你计算可以获得的最大收益是多少。注意：销售时允许取出一部分库存。样例给出的情形是这样的：假如我们有 3 种月饼，其库存量分别为 18、15、10 万吨，总售价分别为 75、72、45 亿元。如果市场的最大需求量只有 20 万吨，那么我们最大收益策略应该是卖出全部...
2019-07-20 22:02:44
72
原创 1019 数字
题目给定任一个各位数字不完全相同的 4 位正整数，如果我们先把 4 个数字按非递增排序，再按非递减排序，然后用第 1 个数字减第 2 个数字，将得到一个新的数字。一直重复这样做，我们很快会停在有“数字黑洞”之称的 6174，这个神奇的数字也叫 Kaprekar 常数。例如，我们从6767开始，将得到7766 - 6677 = 10899810 - 0189 = 96219621 - 1269...
2019-07-19 21:14:44
297
原创 1018 石头剪刀布
题目现给出两人的交锋记录，请统计双方的胜、平、负次数，并且给出双方分别出什么手势的胜算最大。输入格式：输入第 1 行给出正整数 N（≤105），即双方交锋的次数。随后 N 行，每行给出一次交锋的信息，即甲、乙双方同时给出的的手势。C 代表“锤子”、J 代表“剪刀”、B 代表“布”，第 1 个字母代表甲方，第 2 个代表乙方，中间有 1 个空格。输出格式：输出第 1、2 行分别给出甲...
2019-07-18 21:36:48
99
原创 1017 A除以B
题目本题要求计算 A/B，其中 A 是不超过 1000 位的正整数，B 是 1 位正整数。你需要输出商数 Q 和余数 R，使得 A=B×Q+R 成立。输入格式：输入在一行中依次给出 A 和 B，中间以 1 空格分隔。输出格式：在一行中依次输出 Q 和 R，中间以 1 空格分隔。输入样例：123456789050987654321 7输出样例：176366841501410934...
2019-07-17 21:18:51
156
原创 1016部分A+B
题目正整数 A 的“DA（为 1 位整数）部分”定义为由 A 中所有 DA 组成的新整数 PA。例如：给定 A=3862767，DA=6，则 A 的“6 部分”PA 是 66，因为 A 中有 2 个 6。现给定 A、DA、B、DB，请编写程序计算 PA+PB。输入格式：输入在一行中依次给出 A、DA、B、DB，中间以空格分隔，...
2019-07-17 17:53:01
64
原创 1015 德才论
题目宋代史学家司马光在《资治通鉴》中有一段著名的“德才论”：“是故才德全尽谓之圣人，才德兼亡谓之愚人，德胜才谓之君子，才胜德谓之小人。凡取人之术，苟不得圣人，君子而与之，与其得小人，不若得愚人。”现给出一批考生的德才分数，请根据司马光的理论给出录取排名。输入格式：输入第一行给出 3 个正整数，分别为：N（≤105），即考生总数；L（≥60），为录取最低分数线，即德分和才分均不低于 L ...
2019-07-16 20:44:51
112
原创 1014 福尔摩斯
题目大侦探福尔摩斯接到一张奇怪的字条：我们约会吧！ 3485djDkxh4hhGE 2984akDfkkkkggEdsb s&hgsfdk d&Hyscvnm。大侦探很快就明白了，字条上奇怪的乱码实际上就是约会的时间星期四 14:04，因为前面两字符串中第 1 对相同的大写英文字母（大小写有区分）是第 4 个字母 D，代表星期四；第 2 对相同的字符是 E ，那是第 5 个英文字...
2019-07-15 00:05:15
92
原创 1013 数
题目令 Pi 表示第 i 个素数。现任给两个正整数 M≤N≤104，请输出 PM 到 PN 的所有素数。输入格式：输入在一行中给出 M 和 N，其间以空格分隔。输出格式：输出从 PM 到 PN 的所有素数，每 10 个数字占 1 行，其间以空格分隔，但行末不得有多余空格。输入样例：5 27输出样例：11 13 17 19 23 29 31 3...
2019-07-14 00:40:13
80
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人