课设&毕设
文章平均质量分 81
1. 数据获取和清洗:选择合适的数据源,通过数据清洗和预处理,获得高质量的数据集。
2. 数据存储和管理:选择适合的数据存储和管理系统,如Hadoop、HBase、MongoDB等,进行数据的存储和管理。
3. 数据分析和挖掘
AIMaynor
个人博客:maynor1024.live,ai网站:api.maynor1024.live
展开
-
2024年最新1000个Java毕业设计选题参考
全网粉丝7W+,CSDN博客专家、Java大数据领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、大数据技术领域和毕业项目实战原创 2024-02-21 20:12:20 · 4757 阅读 · 9 评论 -
【大数据实训】python石油大数据可视化(八)
第二的是辽宁省,原油加工量产量8186.5万吨;之后根据同样可以将重复部分改编成函数重复调用的方法,我经过压缩,将成品代码压缩到193行,其中函数部分有157行,主体部分有36行,如果将中间用于分割的空行删除,则可以进一步压缩,压缩过的代码不但整洁,还可以迅速发现并改正错误的、需要改正的地方。(4)最近一年,2020年中国原油加工产量为67440.8万吨,同比增长3.4%,表明虽然我国经历了新冠疫情的影响,但是我国在疫情得到控制后积极恢复,原油加工产量不降反增,原油加工产业受到疫情影响不大。转载 2023-12-20 15:49:41 · 1217 阅读 · 1 评论 -
【2024年更新】大数据专业毕设必过选题推荐
这对于在校师生来说,不够友好。我国每个省份的台站每天会产生海量的地震数据,以往的地震测震平台在数据的采集、存储、检索、计算方面已经满足不了现在的需求,因此,提出一个可行、有效的解决方案具有重要的研究意义和应用价值。选题意义:现如今租房现象十分普遍,由于房价的飞涨,尤其在一、二线城市,短时间内想拥有一个属于自己的居室简直难如登天,对于更多人尤其是外出工作的人来说租房更是他们的上上之选,因此,房屋租赁一直是人们热点关切的问题,也是大多数人们的需求,由此可见,一个良好的租房数据分析平台的实现是非常有意义的。原创 2023-11-18 17:25:42 · 3603 阅读 · 0 评论 -
【大数据实训】基于赶集网租房信息的数据分析与可视化(七)
而环岛路等地的房源就相对较少,这也说明虽然那附近的风景优美,但是交通不够便利,只有享受生活的人才会租这些地方,而享受生活的人,大部分也都是有钱了,他们也不会租,他们是直接就买了住了,所以这些地方的房源就相对较少。②如果你是出租房源的人,你一定要把你的优势,比如装修程度,位于的地点贴出来,还有可以贴上低价,豪华装修等字眼吸引租房人,这样你的租房信息的浏览量就会往上增,看的人多了,自然把房子租出去的机会也就大了。所以:①如果你是租房人想要房间采光透气好,就租南北向的房子,这种房源也比较多也好租到;原创 2023-10-19 00:30:00 · 2213 阅读 · 2 评论 -
大数据课设,做个Hbase关键词查找文件(五)
3.测试:在HBase的Shell中测试上述Java程序的执行。2.HBase编程:编写Java程序,实现本题功能,即在。文档ID关键词ID1:出现次数关键词ID2:出现次数关。注意:关键词D1:6,表示关键词D1这一列的值为。入到doc表,然后再输入一个电影关键词,按以下格。功能:根据文档数据集,模拟用户输入一个电影关键。写程序,按以下格式要求生成一个较大的模拟数据集。键词ID3:出现次数关键词ID4:出现次数.…DE环境下测试、打包、执行完整过程,附相应的截。要求尽可能描述详细的测试过程和结果。原创 2022-11-24 15:40:37 · 89 阅读 · 0 评论 -
【大数据毕设】基于Hadoop的音乐推荐系统的设计和实现(六)
作为基于大数据的音乐推荐系统,其功能主要是对数据进行处理,保证能够在大量低质量的数据中筛选出高质量的数据,在这个过程中要保证能够数据的准确性以及结果的准确性,再结合需求进行剖析,在设计系统时要从程序、功能和友好界面等方面进行考虑,从而设计出更加便捷的系统。在了解系统需求之后,基于大数据的音乐推荐系统可分为数据清洗,数据上传,数据分析,数据存储,数据可视化这一整个流程模块。原创 2023-09-25 00:00:00 · 11190 阅读 · 12 评论 -
【大数据实训】基于Hadoop的2019年11月至2020年2月宁波天气数据分析(五)
1 分布式集群搭建 11.1 Hadoop 集群搭建与配置 11.1.1 Hadoop 简介 11.1.2 Hadoop 集群搭建 21.2 Maven 安装与配置 111.2.1 Maven 简介 111.2.2 Maven 工程的创建 121.3 windows 搭建 hadoop 开发环境 151.3.1 在 windows 上搭建 hadoop 开发环境的原因 151.3.2 windows 搭建 hadoop 开发环境 162 2019 年 11 月至 2020 年 2 月宁波天气数据准备 182原创 2023-09-18 18:51:36 · 3536 阅读 · 3 评论 -
滴滴出行大数据数仓实战
作为技术人,我是不怎么八卦的,奈何这次国家重拳整理的是“大数据乱象”,manor作为大数据专业的学生,不得不关注此次的滴滴事件。滴滴出行APP被下架,此时入职滴滴,好比49年加入国军~但是,外面的世界不管怎么变化,掌握好技术是你安身立命的根本,接下来我们就来学习一下:数仓实战项目之滴滴出行本课程会综合应用HDFS、Hive、SparSQL、Zeppelin、Sqoop、Superset等技术,结合滴滴出行的数据完成数仓实战。滴滴出行实战需要的技术滴滴出行项目可视化。原创 2021-07-07 17:19:32 · 10963 阅读 · 18 评论 -
高校光韵工作室管理系统项目说明
第三章 系统总体设计 3.1 设计原则及系统目标系统设计的任务是根据需求分析阶段的成果设计出满足预定目标的系统,系统设计的第一步是总体设计即概要设计,其任务是完成系统模块、层次结构的划分和数据库设计,为详细设计做好准备。高校学生社团管理系统的主要设计目标是辅助学生社团的管理人员能对社团内部成员以及事务的管理能够更加的高效化,更有效率;社团管理系统能够为学生社团减少一定的人力物力,更加方便地为高校学生带来更多丰富多彩的课外生活。高校学生社团管理系统的总体设计原则如下所述。高效性。校园活原创 2021-12-07 21:25:38 · 1119 阅读 · 0 评论 -
JavaWeb仓储管理系统优化设计
仓储管理系统优化设计[摘要]随着电子商务技术和网络技术的快速发展,现代物流技术也在不断进步。物流技术是指与物流要素活动有关的所有专业技术的总称,包括各种操作方法、管理技能等,如流通加工技术、物品包装技术、物品标识技术、物品实时跟踪技术,物流存储技术等;物流技术还包括物流规划、物流评价、物流设计、物流策略等;当计算机网络技术的应用普及后,物流技术中综合了许多现代技术如GIS(地理信息系统)、GPS(全球卫星定位)、EDI(电子数据交换)、BAR CODE(条码)等。物流业在采用某些现代信息技术方面的成功经原创 2022-01-14 14:35:07 · 2076 阅读 · 9 评论 -
Java面向对象课程设计项目__文件管理器
Java面向对象课程设计项目演示项目需求:实现一个能够对文件和文件夹进行各种基本操作的文件管理器窗口程序。功能要求功能较完善的文1)新建、删除、修改、复制、粘贴文件功能管理器2)新建、删除、修改目录3)具有对某个文件进行压缩打包的功能4)要求实现多文档界面5)要求界面美观、功能布局合理文件管理器演示管理器界面:文件功能:二级功能:新建文件/文件夹/打开新窗口/查看文件/退出操作功能:二级功能: 复制/移动/删除/文件属性/压缩文件管理器内操作:功能:复制/剪切/删除原创 2021-11-19 06:00:00 · 753 阅读 · 0 评论 -
【大数据实训】用Hbase模拟电影搜索引擎(四)
说明:每一章每一节,可以加上自己的理解,尽量丰富内容。在功能上可以根据自己的能力增加一些功能。本文档所有说明性文字,在打印之前都应该删除掉。本文档只提供了基本的模板,每章都可以根据自己实现的功能和理解增加一些章节,每节都应该尽量丰富内容。题目:电影搜索引擎功能:根据文档数据集,模拟用户输入一个电影关键词后,搜索到哪些文档。原创 2023-09-10 19:00:00 · 521 阅读 · 1 评论 -
【大数据毕设】基于Hadoop的音乐管理系统论文(三)
基于Hadoop的音乐推荐系统的课题研究目的主要包括以下几个方面:音乐数据处理和管理:收集音乐数据,并通过Hadoop的分布式文件系统HDFS对音乐数据进行存储和管理。此外,对音乐数据进行预处理和清洗,包括音乐信息的提取、歌词分析、音乐特征提取等,以便后续的分析和处理。用户行为数据收集:收集用户行为数据,包括用户的历史听歌记录、搜索历史等,为后续的推荐算法提供依据。推荐算法研究:针对音乐推荐的实际需求,研究和实现各种推荐算法,包括基于内容的推荐、协同过滤推荐、矩阵分解推荐等。原创 2023-09-09 19:00:00 · 4462 阅读 · 1 评论 -
【大数据实训】基于Hive的北京市天气系统分析报告(二)
而如今的天气网站信息多,面对着网上形形色色的天气网站和参差不齐的天气信息,想要获取有效的信息需要的时间太长,这给就业者根据自身的情况选择自己适合的天气系统带来了困难。IntelliJ IDEA是java语言开发的集成环境,是基于对象的快速应用程序开发工具,是当今最强大、最灵活的应用程序开发工具之一,具有良好的可视化应用程序开发环境和强大的可扩展数据库功能。JAVA语言的特点是面向对象设计的程序语言,具有代码稳定、可读性好、编译速度快等优点,并通过面向对象的概念,使这种基础语言有了新的发展空间。原创 2023-09-03 16:01:48 · 7524 阅读 · 7 评论 -
【大数据毕设】基于Hadoop的招聘网站可视化的设计与实现(一)
由于近些年互联网的飞速发展,我们所生活的世界正在被数据所淹没,人们面对大量的数据需要从大量数据中快速地提取有效的自己需要的信息。对于求职者来说当查看招聘信息时也是这样,面对招聘网站展示的大量的职位信息,应聘者难以及时选出自己最想要的职位信息,又或者筛选出信息后不能直观地看到招聘所有信息的特征、规律、变化的趋势或者数据之间潜在联系。我们可以借助计算机技术来进行自动获取筛选分析自己想要的职位信息。本文对于基于Hadoop的招聘网站的可视化的课题研究就显得尤为重要了。原创 2023-08-31 14:14:12 · 13811 阅读 · 19 评论 -
Java私活300元,完成JavaWeb志愿者管理系统(四)
接到一个单子,要求完成一个课设网站,前后端都要有,收费300元。用到的技术栈:前端:springboot+vue+layui+maven+mysql后台:spring+jsp+tomcat8+mysql原创 2022-07-09 15:39:39 · 10888 阅读 · 29 评论 -
Java私活200元,完成JavaSwing学生成绩管理系统(三)
接到一个需求,说让使用JavaSwing+Mysql完成一个学生成绩管理系统,时间紧任务重。系统功能: 提供学生成绩的査询功能,输入学生的学号,能査找出该生各学期的成绩,并能够对成绩数据进行添加、删除、修改等基本操作和统计计算。.....................原创 2022-07-04 21:28:58 · 5809 阅读 · 7 评论 -
Java技术变现500元,做个JavaWeb仓储管理网站(二)
这个客户要求明天中午之前就得给他,还得给他讲代码、写报告,时间给的很少似乎是个不可能完成的任务,但是为接这种课设专门开发了代码生成器原创 2022-06-30 18:51:14 · 10352 阅读 · 18 评论 -
大数据接私活200元,做个简易的HDFS浏览器(一)
接到一个单子说是用制作一个简单的HDFS浏览器。功能包括:基于HDFS的文件浏览、上传和下载。 用到的技术包括Java、HDFSAPI、tomcat的配置等原创 2022-06-28 20:06:19 · 4680 阅读 · 30 评论 -
今天谈一谈如何写毕业论文
一前言个人背景:1)本硕期间没发过论文,专利倒是整了几篇。2)毕设是中期时才确定方案,开题的时候还有点模糊,只是说了一些自己的idea,汇报时也说了后续根据实际情况会有些变动。接下来就谈一下当时毕设和论文的一些经历和想法。二毕设概述这里主要从以下几点来说明:1、个人自选方向对于研究生而言,这种就是所谓“放养”。对于本科而言,基本上就是自己有想要做的方向,大概想法有了,但是还没去实现或完成。对于研究生来说,“放养”有利有弊,对个人自律性要求比较高,如果自制力较差的,导师放养,可能就是再玩转载 2022-02-20 12:37:45 · 916 阅读 · 1 评论 -
音乐推荐系统协同过滤算法解释
/** * 此方法使用协同过滤算法,大概意思就是从数据库拿到所有的用户收藏和当前的用户收藏作为比对,找出和当前用户收藏夹最接近的一个用户, * 然后将那个用户的收藏中当前登录用户没有的展示给当前用户 * @param model * @param request * @return *//*举例说明一下,比如当前登录userid = 1用户关联表中数据,用户1关联歌曲{2,3}(当前登录用户收藏的歌曲)用户2关联歌曲{2,3,4}用户3关联歌曲{3,4,5}用户4关联歌曲{1,5}原创 2022-02-20 11:48:24 · 1747 阅读 · 0 评论 -
大数据行业应用之Hive数据分析航班线路相关的各项指标
项目概要1.项目背景:飞机航班经常会因为各种原因,如天气原因,雷雨、大雾、大风等情况,或机场原因,导致航班的延误甚至取消,现在有一批航班的历史数据,基于这些数据,对航班的各种重要指标做统计分析,如最繁忙航线、某机场起降最频繁时段等等;最后,利用机器学习,对航班延误做预测,旅客可参考这些统计及预测结果调整行程安排。2.建设目标:亲自动手搭建项目所需的实验环境:搭建hadoop集群、分析航空数据的一些指标;需求分析1.需求介绍:分析航班相关的各项指标2.功能点:数据清洗功能描述:对航班数据fli原创 2021-12-09 14:47:04 · 3712 阅读 · 1 评论 -
对给定的数据利用MapReduce编程实现数据的清洗和预处理,编程实现数据存储到HBase数据库,实现数据的增删改查操作接口
对给定的数据利用MapReduce编程实现数据的清洗和预处理,编程实现数据存储到HBase数据库,实现数据的增删改查操作接口,同时对MapReduce处理好的数据利用Hive实现数据的基本统计。设计要求:根据数据特征,设计一个任务场景,利用MapReduce编程实现数据的清洗和预处理。(10分)利用HDFS的JavaAPI编写程序将原始数据和预处理后的数据上传到分布式文件系统package com.company.HDFS; import java.io.IOException;imp.原创 2021-12-19 21:48:38 · 1345 阅读 · 0 评论 -
基于Hive的淘宝用户行为数据分析
本数据集取至阿里云天池的数据集,数据集名称为User behavior Data from Taobao for Recommendation,数据集包括用户ID,商品ID,商品类目ID,行为类型,时间戳,数据总条目数为100,150,807行。1、2、图1-1 原始数据集部分截图该数据集共有100,150,807行与5个属性,如表中的userid对应的是用户id,itemid对应的是商品id,categoryid对应的是商品类目ID,type对应的是行为类型,timestamp对应的是时间戳。原创 2021-12-20 17:20:54 · 6290 阅读 · 1 评论 -
一些数据集网站
复杂网络的研究很多都离不开数据集,下面这些是个人在做科研的过程中在互联网上搜集到的一些数据集网站,列举出来也方便同行们去使用。(2018年12月14日更)1、http://vladowiki.fmf.uni-lj.si/doku.php?id=pajek:data:urls:index数据集网站集合。这个网站中列出来很多数据集网站,非常全,其中的很多网站数据描述详细,而且数据可以直接下载,大家可以从中选出一些网站收藏起来。2、http://snap.stanford.edu/data/这个是斯坦福大转载 2021-12-19 16:56:48 · 3663 阅读 · 0 评论 -
计算机毕业设计开题报告怎么写?
目的:找出项目研究的空白,在他人研究的基础上不断创新,提出自己的科研假设,小编总结【七部分】详细讲解每个部分涉及哪些内容及如何去写?一、课题背景及意义讲解: 我们要简要的说明研究背景以及研究的目的和意义,即是怎样想到这样的一个课题,并简单介绍论文所研究问题的基本概念和背景,而研究的目的和意义需要我们简单明了地指出来。论文所要研究的具体问题并阐述如何解决上述问题,在学术上有哪些推进和作用。无论是目的还是意义都要具体化,结合实际去谈,着眼于小处才能为整个项目定好一个清晰的方向。1、课题背景课题来源简转载 2021-11-17 15:06:42 · 1977 阅读 · 0 评论 -
【2023年更新】1000个大数据/人工智能毕设选题推荐
正值毕业季我看到很多同学都在为自己的毕业设计发愁Maynor在网上搜集了1000个大数据的毕设选题,希望对大家有帮助~适合大数据毕业设计的项目,完全可以作为本科生当前较新的毕业设计题目选择方向。原创 2021-11-10 08:09:05 · 56175 阅读 · 6 评论