自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(21)
  • 收藏
  • 关注

原创 编译Spark-Scala的时候找不到包;找不到依赖

使用idea编译Scala的时候通常会使用使用spark的插件包,例如。

2023-09-17 04:20:06 21

原创 (保姆级)使用idea省心又省力地配置sbt,编译Scala代码

对Scala代码进行打包编译时,可以采用Maven,也可以采用SBT,相对而言,业界更多使用SBT。

2023-09-17 03:24:41 78 1

原创 (保姆级)sbt安装的解决办法汇总

首先这篇博客绝对原创。读者遇到编程中的任何问题可以留言,看到了就会回复,由于有部分读者受困于大数据的生产实习,着急可以加qq1259097853。

2023-09-17 03:06:09 34 1

原创 (保姆级)Spark气象监测数据分析-步骤4.1数据可视化

首先这篇博客绝对原创。读者遇到编程中的任何问题可以留言,看到了就会回复,由于有部分读者受困于大数据的生产实习,着急可以加qq1259097853。

2023-09-17 02:09:55 20

原创 (保姆级)Spark气象监测数据分析-步骤3.1分析SO2浓度与NO2浓度的关系;分析PM10/PM2.5浓度与空气湿度的关系;分析O3浓度与云量的关系

首先这篇博客绝对原创。读者遇到编程中的任何问题可以留言,看到了就会回复,由于有部分读者受困于大数据的生产实习,着急可以加qq1259097853。

2023-09-17 01:57:49 18

原创 (保姆级)Spark气象监测数据分析-步骤2.3计算每日首要污染物及其污染程度

首先这篇博客绝对原创。读者遇到编程中的任何问题可以留言,看到了就会回复,由于有部分读者受困于大数据的生产实习,着急可以加qq1259097853。

2023-09-17 01:52:24 45

原创 (保姆级)Spark气象监测数据分析-步骤2.2计算PM2.5浓度在五大浓度限值区间的分布

首先这篇博客绝对原创。读者遇到编程中的任何问题可以留言,看到了就会回复,由于有部分读者受困于大数据的生产实习,着急可以加qq1259097853。

2023-09-17 01:42:59 9

原创 (保姆级)Spark气象监测数据分析-步骤2.1筛选六大污染物浓度排名前20的时段

首先这篇博客绝对原创。读者遇到编程中的任何问题可以留言,看到了就会回复,由于有部分读者受困于大数据的生产实习,着急可以加qq1259097853。

2023-09-17 01:32:24 51

原创 (保姆级)Spark气象监测数据分析-步骤1.2上将处理的文件传到HDFS上

首先这篇博客绝对原创。读者遇到编程中的任何问题可以留言,看到了就会回复,由于有部分读者受困于大数据的生产实习,着急可以加qq1259097853。

2023-09-17 01:10:23 28

原创 (保姆级)Spark气象监测数据分析-步骤1.1数据预处理

首先这篇博客绝对原创。读者遇到编程中的任何问题可以留言,看到了就会回复,由于有部分读者受困于大数据的生产实习,着急可以加qq1259097853。

2023-09-17 00:56:25 58

原创 (保姆级)Spark气象监测数据分析-总纲

首先这篇博客绝对原创。读者遇到编程中的任何问题可以留言,看到了就会回复,由于有部分读者受困于大数据的生产实习,着急可以加qq1259097853本案例针对气象监测数据进行分析,采用Scala为编程语言,采用Hadoop存储数据,采用Spark对数据进行处理分析,并对结果进行数据可视化。主要内容如下:(1)对数据集进行数据预处理,填补缺失值,剔除异常值,保存到HDFS中,使用编程语言为Python;

2023-09-17 00:37:54 93 3

原创 质数分解代码

输出所有在10000 - 20000之间,恰好可以分解为两个素数乘积的整数。将这些数从小到大输出。每一行输出一个符合要求的数,按照从小到大排列。样例输出给出了输出的头和尾,中间部分需自行计算。目的是抛砖引玉,直接抄骗别人也是骗自己。

2023-09-17 00:19:18 7

原创 循环移动

输入由多个测试(不超过15)用例组成.每个测试用例包含两行, 第一行包含一个长度不超过100的字符串(不含空格)以及一个整数C(1

2022-10-13 23:17:30 121

原创 【无标题】

空地划分为N×M个格子,每个格子为1×1,队长买了N×M棵树苗。买树苗的时候,老板免费赠送了K袋肥料,这些肥料非常强力,可以使施肥格子和前后左右四个相邻格子(如果存在的话)中的桔子树产量加1。每个格子都只能种一棵桔子树,每棵桔子树原来的产量是1,并且每个格子只能施肥一次。每组数据输入3个整数N,M,K(1

2022-10-13 23:15:49 61

原创 螺旋矩阵Ⅱ

对于每组测试数据输出相应的螺旋矩阵,每两个矩阵之间用空行隔开,注意不要在第一行或者最后一行打印多余的空行。每个矩阵为N行N列,每个数字宽度为4(c的printf使用%4d),注意不要打印多余的空格.多组测试数据(数据总数在30以内),每组测试数据有一行,为一个整数N(1

2022-10-13 23:13:34 55

原创 画正方形

(3)如果规则二得到的9个小正方形边长依然大于3,对这9个小正方形重复规则二的动作,只是填充字符一律使用’C ’, 这样能得到81个小正方形. 如果81个小正方形的边长依然不为3, 重复上面类似行为(注意填充字符变成下一个大写字母),直至剖分成的小正方形边长为3.(2)如果规则一画的正方形边长大于3,则将其分成边长为n/3的9个小正方形,每个小正方形继续画图,如果画的地方如果已经存在字符,则保持不变。最近ADA迷上画图,她爸爸心生一计,让她去画一个正方形,正方形边长n为3的t次幂 1

2022-10-13 23:12:07 64

原创 最小平方数(Ⅱ)

已知正整数n,求最小的正整数x,使得n*x是一个平方数。例如n=12,则最小的x是3,n*x为36是一个平方数。目的是抛砖引玉,直接抄骗别人也是骗自己。仅一个正整数n,n < 231。输出最小的正整数x。

2022-10-13 23:07:57 216

原创 黑洞数495

例如107,“重排求差”操作序列为:710-17=693,963-369=594,954-459=495。针对每组输入数据,输出其“重排求差”操作得到495的过程,然后再输出一空行。任何一个数字不全相同的三位数,经过有限次“重排求差”操作,总会得到495。每组数据一行,包含一个数字不完全相同的三位数(该数也不是495)。“重排求差”操作是将组成一个数的各位数字重排得到的最大数减去。目的是抛砖引玉,直接抄骗别人也是骗自己。输入由多组数据构成。

2022-10-13 22:53:11 279

原创 整数 题解

两个空格分开的整数a和b,1

2022-10-13 22:49:48 86

原创 Centos7安装tomcat,下载geoserve,配置tomcat,发布geoserve

解决服务器经常会显示尝试其他镜像;服务器安装tomcat;服务器下载、安装geoserver;解决tomcat管理页面403 Access Denied;配置conf/tomcat-users.xml;配置/webapps/manager/META-INF/目录下context.xml

2022-10-13 22:40:50 552

原创 问题 G: 算法10-15~10-17:基数排序

题目描述基数排序是一种并不基于关键字间比较和移动操作的排序算法。基数排序是一种借助多关键字排序的思想对单逻辑关键字进行排序的方法。通过对每一个关键字分别依次进行排序,可以令整个关键字序列得到完整的排序。而采用静态链表存储记录,并使用基数排序对记录进行排序操作的排序算法被称为链式基数排序。其算法可以描述如下:在本题中,读入一串16位(16bit)正整数,将其使用以上描述的2-路归并排序的方法从小到大排序,并输出。输入输入的第一行包含1个正整...

2021-06-17 16:36:46 516 1

基于Spark的气象监测数据分析生产实习 课程设计报告

气象监测数据具有数据量大、种类多、时效性高的特点,使用Spark进行大数据分析可以发挥其在数据处理上的优势。我推荐的这个基于Spark的气象监测数据分析生产实习课程设计报告,可以帮助你全面了解大数据在气象领域的应用。 本课程设计将使用真实的气象监测站数据,包括温度、湿度、风速等时间序列数据。你将学习使用Spark SQL进行数据提取和整合,使用机器学习算法建立模型,开发数据可视化应用。在此过程中,你将掌握Spark Core、Spark SQL、Spark Streaming、Spark MLlib等模块的用法。 通过实际的项目开发,你将巩固Spark的编程技能,了解大数据在复杂业务场景中的运用。这不仅是对课堂知识的提升,也会让你接触到真实的数据分析开发流程,帮助你树立大数据工程师的思维方式。 如果你想在气象行业发展,或者对大数据技术拥有热情,这个课程设计报告将是一个非常好的实践机会。它将使你在未来的就业中拥有核心的技术竞争力。我强烈推荐你投入时间和精力,完成这个对行业与职业发展都非常有价值的报告

2023-09-20

大数据资源整合,基于Cent不需要考虑版本兼容的问题Spark+Hadoop+Hive+Scala+sbt+ZooKeeper

【内容概要】 本方案集成了CentOS环境下的Spark、Hadoop、Hive、Scala、sbt和ZooKeeper,无需考虑版本兼容问题,可以直接用于大数据处理和分析。 【适合人群】 需要在CentOS下搭建大数据处理平台的工程师。 【包含内容】 - Spark 3.1.2 - Hadoop 3.3.1 - Hive 3.1.2 - Scala 2.12.10 - sbt 1.3.13 - ZooKeeper 3.6.3 【特点】 - CentOS 7.9环境,主流稳定版本 - 组件版本兼容,无需单独调整 - 一键启动脚本,简化配置 【使用指南】 - 虚拟机或物理机安装CentOS - 下载资源包解压 - 修改配置文件 - 启动所有服务 - Shell交互和IDE开发

2023-09-17

Linux下的JDK1.8.0用于目的是安装Hadoop大数据平台虚拟机安装Java

【内容概要】 本资源包含JDK 8u191在Linux环境下的完整安装包jdk-8u191-linux-x64.tar.gz。可以帮助Java开发者快速配置Linux下的JDK运行环境。 【适合人群】 需要在Linux服务器上配置JDK的Java开发人员。 【包含内容】 JDK 8u191完整安装包,包括JRE,JVM,Java编译器等组件。 【功能特点】 - JDK 8u191,目前常用稳定版本 - 64位Linux版本,兼容主流distribution - 包含所有开发、运行所需工具 【使用指南】 - 上传tar包到Linux服务器 - 解压到指定目录 - 配置环境变量 - 测试运行Java示例程序

2023-09-17

Spark气象监测数据分析:代码整合,包括预处理,分析,数据可视化

【内容概要】 通过完整的气象监测数据处理与分析项目,了解Spark大数据分析的整体流程。代码涵盖数据工程、统计分析、机器学习预测建模等内容。可以学习如何使用Spark PySpark API处理大规模数据。 【适合人群】 具备一定Python编程基础,需要处理分析大规模数据的研发人员。 【能学到什么】 1. Spark数据处理:缺失值处理、降噪、特征工程等数据预处理技术 2. 统计分析:分组聚合、相关性分析、异常检测等统计方法 3. 机器学习:时间序列预测模型设计、集成学习提升效果 4. 微服务:模型API和Docker部署,提供后端服务 【学习建议】 项目代码完整覆盖了大数据分析全流程。在学习过程中,需要结合代码注释和文档,了解设计思路和背后的原理。同时调试并运行示例代码,加深理解。欢迎提出改进意见。

2023-09-17

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除