- 博客(9)
- 收藏
- 关注
原创 Python皮尔逊相关系数热力图绘制,下三角,上三角
x_label_ticks为所需要绘制的所有特征名,x_new需要改成[0.5,所有特征个数+0.5]若需要对角列,则numpy的tri函数参数k改成-1即可。
2024-03-27 19:48:02
1732
1
原创 python数据处理可视化pandas,numpy,matplotlib模板
【代码】python数据处理可视化pandas,numpy,matplotlib模板。
2024-01-16 10:45:33
447
1
原创 大数据编程实验四:Spark Streaming
.参照教材示例,完成kafka集群的配置,利用Spark Streaming对Kafka高级数据源的数据进行处理,.参照教材示例,利用Spark Streaming对三种类型的基本数据源的数据进行处理。4.参照教材示例,完成把DStream的数据输出保存到文本文件或MySQL数据库中。2、熟悉利用Spark Streaming处理来自不同数据源的数据。#创建一个队列,通过该队列可以把RDD推给一个RDD队列流。.参照教材示例,完成DStream的两种有状态转换操作。3、熟悉DStream的各种转换操作。
2023-12-22 15:37:11
1869
原创 JAVA和SQL server2012实现简易的新生报道系统(千行代码)
在该类中,我们设置了管理员登录按钮对应管理员表,学生登录按钮对应学生登录表,新生注册按钮对应新生注册表和学生登录表,学生注册后,两个表会同时更新学生登录信息,数据统计为已报道人数,男生人数,女生人数,已缴费人数和已分配宿舍人数。(5) 修改(管理员):可修改学生的部分个人信息、重置学生密码、向报到表中插入其报到时间、更新缴费情况,在宿舍管理时,可查询到所有宿舍、男生宿舍、女生宿舍的信息,修改学生的宿舍情况。在删除学生的报到信息时,若该学生已注册,提示先删除其的注册信息。
2023-12-15 18:33:57
880
2
原创 大数据编程实验三:Spark SQL
(2)配置Spark通过JDBC连接数据库MySQL,编程实现利用DataFrame插入如表5-3所示的两行数据到MySQL中,最后打印出age的最大值和age的总和。(1)在MySQL数据库中新建数据库sparktest,再创建表employee,包含如表5-2所示的两行数据。将下列JSON格式数据复制到Linux系统中,并保存命名为employee.json。(列出遇到的问题和解决办法,列出没有解决的问题;写下本次实验的体会和感受)3、熟悉利用Spark SQL管理来自不同数据源的数据。
2023-12-13 11:19:31
1432
1
原创 JAVA8连接SQL Server2012
下载完成后将该jar包放置到jre安装路径的\lib目录下,本文将该jar包放置到:C:\Program Files\Java\jdk-1.8\lib。在classpath变量中添加你的jdbc路径。SQL server2012数据库连接成功!
2023-12-08 21:24:21
497
原创 JAVA8安装,环境变量配置
win+R,输入cmd回车,输入命令java -version,出现刚才安装的java版本信息即为配置成功。下拉找到JDK8,点击下载windows64位,需要注册账户。记住安装路径,便于后续配置环境变量。进入Oracle官网。
2023-12-08 18:20:21
727
原创 大数据编程实验:RDD编程
针对问题(6),考虑使用嵌套形式的数据结构来存储,从该数据集中映射出课程名称和分数,对课程出现次数用字典进行统计:(课程名称, (分数, 1))使用reduceByKey方法将分数和方法加,得到新的数据:(课程名称,(总分数,总人数))于两个输入文件A和B,编写Spark独立应用程序,对两个文件进行合并,并剔除其中重复的内容,得到一个新文件C。下面是输入文件和输出文件的一个样例,供参考。每个输入文件表示班级学生某个学科的成绩,每行内容由两个字段组成,第一个是学生名字,第二个是学生的成绩;
2023-12-06 17:57:44
1846
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人