- 博客(1047)
- 资源 (26)
- 问答 (1)
- 收藏
- 关注
原创 2023-2024年最新大数据学习路线
新路线图在Spark一章不再以Java,而把Python语言作为第一语言,更适应未来的发展趋势,路线图主要分为六大模块,根据以下内容对照自己掌握了多少大数据的知识,架构原理 Spark RDD Spark DF Spark DAG Spark SQL内存迭代 性能调优。任务调度 Pandas on Spark Spark on Hive Spark Shuffle。美团点评数仓架构 小米大数据架构 平安大数据架构。* 车联网项目实战* 金融证券项目实战。* 工业项目实战 保险大数据实战。
2023-09-22 15:43:24 1479 12
原创 华为云云耀云服务器L实例评测|伪分布式环境下部署hadoop2.10.1
云耀云服务器L实例是新一代的轻量应用云服务器,专门为中小企业和开发者打造,提供开箱即用的便利性。云耀云服务器L实例提供丰富且经过严格挑选的应用镜像,可以一键部署应用,极大地简化了客户在云端构建电商网站、Web应用、小程序、学习环境以及各类开发测试等任务的过程。Hadoop是一个开源的分布式计算框架,能够处理大规模数据的存储和处理。它基于Google的MapReduce算法和Google File System(GFS)的思想,可以在廉价的硬件上进行高效的分布式计算。
2023-09-18 19:00:00 955 11
原创 刚刚,体验了一把Bing chat很爽
Hello guys,我是`Maynor`。在周三微软发布了结合chatGpt的搜索引擎,我第一时间申请了加入waitlist,终于成为使用上Bing chat的`首批全球用户`,申请流程可以看我当时发表的博客.以下是我的Bingchat使用初体验
2023-02-12 00:27:31 91348 37
原创 每天一道大厂SQL题【Day01】访问量统计
大家好,我是Maynor。相信大家和我一样,都有一个大厂梦,作为一名资深大数据选手,深知SQL重要性,接下来我准备用100天时间,基于大数据岗面试中的经典题,以每日1题的形式,带你过一遍热门SQL题及恰如其分的解答。一路走来,随着问题加深,发现不会的也愈来愈多。但底气着实足了不少,相信不少朋友和我一样,日积月累才是最有效的学习方式!
2023-01-29 17:49:41 12297 25
原创 助力工业物联网,工业大数据项目介绍及环境构建【一、二】
项目目标项目1:在线教育学习如何做项目,项目中大数据工程师要负责实现的内容和流程学习数仓基础理论:建模、分层项目2:工业大数据企业中项目开发的落地:代码开发代码开发:SQL【DSL + SQL】SparkCoreSparkSQL数仓的一些实际应用:分层体系、建模实现内容目标项目业务介绍:背景、需求项目技术架构:选型、架构项目环境测试目标了解Docker的基本功能和设计为什么要用Docker?什么是Docker?路径step1:生产环境的问题。
2022-11-28 15:53:05 3240 9
原创 实时即未来,大数据项目车联网之项目基石与前瞻【一】
车联网的概念介绍车联网( Internet of Vehicles )指按照一定的通信协议和数据交互标准,在“人-车-路-云“之间进行信息交换的网络。即首先实现汽车智能网联化,再利用各种传感技术,感知车辆状态信息,并借助无线通信网络与大数据分析技术实现交通的智能化管理。
2022-08-19 16:45:30 3384 16
原创 总结的数据结构小公式
文章目录完全无向图和完全有向图公式最小生成树矩阵:完全无向图和完全有向图公式将一个具有 n 个顶点 e 条边的无向图存储在邻接矩阵中,则非零元素的个数是 2e。对于一个具有 n 个顶点 e 条边的有向图存储在邻接矩阵中,则非零元素的个数是 e。1.完全无向图:n个顶点的完全无向图的边数= n(n-1)/22.完全有向图: 完全有向图的边数=n(n-1)3. 举例1:有10个顶点的无向连通图边的数量最少是( 9 )个,最多是( 45 )个4. 举例2:有10个顶点的有向连通图
2021-12-20 13:23:14 6651 4
原创 我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境
由于我接的私活经常需要使用到Hadoop集群,本地启动有启动速度慢、操作麻烦和占用内存等诟病,有鉴于此何不部署云集群,选择的是Hadoop3.x的伪分布式部署方法。
2021-12-03 12:27:46 4079 18
原创 Docker篇之如何部署MySQL
MySQL部署5.1.1拉取MySQL镜像docker pull mysql查看镜像5.1.2创建MySQL容器docker run -di --name demo_mysql -p 33306:3306 -e MYSQL_ROOT_PASSWORD=123456 mysql-p 代表端口映射,格式为 宿主机映射端口:容器运行端口-e 代表添加环境变量 MYSQL_ROOT_PASSWORD是root用户的登陆密码5.1.3进入MySQL容器,登陆MySQL进入mysql容器
2021-11-25 20:27:00 1685 2
原创 SpringCloud微服务之Nacos集群搭建
Nacos集群搭建1.集群结构图官方给出的Nacos集群图:其中包含3个nacos节点,然后一个负载均衡器代理3个Nacos。这里负载均衡器可以使用nginx。我们计划的集群结构:三个nacos节点的地址:节点ipportnacos1192.168.150.18845nacos2192.168.150.18846nacos3192.168.150.18847此处的IP是你自己服务的IP,不一定要按照我的来2.搭建集群搭建集群的基本步骤:
2021-11-12 10:54:38 1688 6
原创 【2023年更新】1000个大数据/人工智能毕设选题推荐
正值毕业季我看到很多同学都在为自己的毕业设计发愁Maynor在网上搜集了1000个大数据的毕设选题,希望对大家有帮助~适合大数据毕业设计的项目,完全可以作为本科生当前较新的毕业设计题目选择方向。
2021-11-10 08:09:05 56261 6
原创 答应粉丝的Maven仓库学习笔记,今天它来了 一起来学习快速入门Maven
文章目录背景Maven第一部分1.1 什么是Maven1.2 仓库1.3 maven环境搭建1.3.1 下载1.3.2 安装1.3.3 配置:系统环境变量1.4 Maven使用1.4.1 私有仓库配置1.4.2 配置镜像(第三方仓库,私服)1.5 IDEA 配置1.5.1 IDEA 配置 maven1.5.2 新项目配置1.5.3 配置失败,重新配置1.6 IDEA 中 maven使用1.6.1 创建maven项目1.6.2 基本使用1.6.3 坐标2. Maven第二部分2.1 坐标2.1.1 什么是.
2021-10-19 16:23:36 2429 12
原创 [hadoop3.x]HDFS中的内存存储支持(七)概述
目前博客Hadoop文章大都停留在Hadoop2.x阶段,本系列将依据黑马程序员大数据Hadoop3.x全套教程,对2.x没有的新特性进行补充更新,一键三连加关注,下次不迷路!
2021-10-08 16:06:43 1303 3
原创 Maynor的博客导航,大数据の蜕变之路
前段时间更新完了大数据体系的相关博文,一直没时间梳理,又转战Vue、Java、Mysql了,这次便整理一下博客,一来方便自己回顾知识 二来方便博友寻找阅读。
2021-09-03 17:18:42 3170 31
原创 ✨【Java基础】每天一道基础题+面试题——Day01✨
今天是持续学习的第 29 / 100 天。 如果你有想要交流的想法、技术,欢迎在评论区留言。【程序1】題目:古典问题:有一对兔子,从出生后第3个月起每个月都生一对兔子,小兔子长到第三个月后每个月又生一对兔子,假如兔子都不死,问每个月的兔子总数为多少?public static void main(String[] args) { //需要输入的月份: System.out.println("请输入的月份"); Scanner sc = new Sc.
2021-09-01 17:24:20 1256 4
原创 问我大数据怎么入门,我总结了亲身体验的学习路线推荐给她【推荐收藏】
前两天有学妹私信我说,她已经上完大一,大数据专业的,只学过大数据导论,问我大数据该如何入门?我不禁感慨普通高校擅长培养算法人才,但在工程人才的培养上存在很多的问题。
2021-07-21 19:28:04 5121 48
原创 ❤️大数据开发必备:推荐7款大数据开发神器工作效率提升1000%【推荐收藏】
前言大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。第一款
2021-07-10 10:06:40 6661 53
原创 大数据开发工程师基本功修炼之史上最全Linux学习笔记(建议)
操作系统概述目标:了解 操作系统 的作用1.1 操作系统(Operation System, OS)操作系统作为接口的示意图:没有安装操作系统的计算机, 通常被称为 裸机如果想在 裸机 上运行自己所编写的程序, 就必须用机器语言书写程序如果计算机上安装了操作系统, 就可以在操作系统上安装支持的高级语言环境,用于高级语言开发1.2 操作系统的种类桌面操作系统服务器操作系统嵌入式操作系统移动设备操作系统1.2.1 桌面操作系统Window 系列用户群体大macOS
2021-06-26 13:19:19 4233 15
原创 大数据Flink面试考题___Flink高频考点,万字超全整理(建议)
引言大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。下面为模拟面试,假如面试官考你Flink相关,你该如何回答呢?1.简单介绍一下 FlinkFlink 核心是一个流式的数据流执行引擎,其针对数据流的分布式计算提供了数据分布、数 据通信以及容错机制等功能。 基于流执行引擎,Flink 提供了诸多更高抽象层的 API 以便用户编 写分布式任务:DataSet API, 对静态数据进行批处理操作,将静态数
2021-06-23 23:22:10 4452 28
原创 使用记忆法打造你的大数据组件的默认端口号记忆宫殿
文章目录引言总结引言大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。总结以上便是愿你读过之后有自己的收获,如果有收获不妨一键三连一下~...
2021-06-20 21:35:52 2158 13
原创 十年项目经验面试官亲传大数据面试__大数据面试独孤九剑
> 大家好,我是**ChinaManor**,直译过来就是中国码农的意思,俺希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。 面试之前,需要针对每个大数据项目,整理一套属于自己基础知识,必须熟记于心
2021-06-11 15:38:26 2264 15
原创 解决:docker拉取报错 error pulling image configuration: download failed after attempts=6
通过修改文件为 Docker 配置镜像加速器,可以有效解决镜像拉取缓慢的问题。设置完成后,全局生效且操作简便,是提升开发效率的有效手段。如果你还未使用镜像加速器,建议尽快配置,以提升工作效率。
2024-09-24 16:32:45 203
原创 ChatGPT-o1多版本对比快速完成高质量学术论文全流程图文对比!o1速度效果都起飞!
关键词的选择不仅有助于标引人员进行主题词的选取、数据库的建立以及文献的检索,而且也便于读者高效检索和引用相关学术成果,从而促进学术交流的深入进行。o1-preview思考的时间较长,在响应时间上不具备优势,但在结果的表现上却更加准确,有理有据,逻辑上也能说得通。OpenAI o1 System Card里面有个例子,在做一道CTF题的时候,那道CTF题远程验证环境的容器坏了,o1-preview就找到了比赛平台的漏洞,启动了一个新的容器把flag直接给读出来了。论文正文是论文的核心内容,需要2-3万字。
2024-09-24 14:19:47 177
原创 震撼!OpenAI新模型挑战高考数学,150分满分不是梦?
回想起DeepMind此前的模型在国际数学奥赛中仅差一分就能摘得金牌(超越了陶哲轩前两次的成绩,甚至超过了美国奥赛总教练罗博深的分数),几乎可以解决所有几何证明题……与传统GPT模型迥异,O1开创了大语言模型的崭新范式:不仅攻克了逻辑推理的难关,更是实现了系统2的深度思考能力。因为,它预示着****的诞生,开启了人工智能发展的新纪元。为了验证新模型的卓越能力,我灵光一现,想到了姜萍曾参与的阿里巴巴数学奥赛。使用O1模型完成2024年高考数学试卷,除了未测试的证明题外,其他题目全部正确无误✅。
2024-09-23 15:15:28 370
原创 五分钟上手Spring AI Alibaba,轻松打造智能聊天应用
spring-ai-alibaba 为 Java 开发者提供了一套开箱即用的开发 AI 应用的工具,帮助开发者快速构建智能应用。
2024-09-23 11:11:11 718
原创 比 Kimi 更强!用 Claude 仿写头条文章,轻松过原创(附完整指令)
将需要仿写的文案发给 Claude,AI 会从多个维度细致拆解目标文章的结构和写作技巧。,让文章更符合你的个人风格,但大部分工作已经可以通过 AI 完成,大大提高了创作效率。AI 生成的内容出来后,可以根据具体情况做些微调,确保内容更符合你的风格。如果有任何问题,欢迎在评论区提问,或者加好友进群交流。今天,我就来和大家分享一下,如何使用 AI 工具——Claude,最近,我有个做头条号的朋友跟我吐槽,说每天都要更新内容,我听完实在有点不忍心,就告诉他,我没多说,默默掏出手机,直接当场展示了一下,
2024-09-22 17:06:52 266
原创 如何在Jupyter Notebook中将TensorFlow和Keras降级到2.8.0版本:详细指南
本文详细介绍了如何在Jupyter Notebook中将TensorFlow和Keras降级到2.8.0版本,并确保相关依赖库(如protobuf等)的一致性。检查当前版本:通过代码确认当前TensorFlow和Keras版本。卸载不兼容的版本:通过卸载冲突的库。安装2.8.0版本:安装与兼容的库。检查安装版本:确保所有库版本符合要求。(可选)使用国内镜像:加速安装过程。(可选)使用虚拟环境:隔离环境,避免冲突。验证环境:运行简单的模型确保配置成功。通过这些步骤,你应该能够成功将。
2024-09-22 16:02:20 844
原创 深度学习与大模型第5课:利用 NLTK 中的朴素贝叶斯工具解决实际问题:垃圾邮件过滤
朴素贝叶斯分类器是一种基于贝叶斯定理的概率分类器,它假设特征之间是独立的。尽管这种独立性假设在实际应用中往往并不成立,但朴素贝叶斯分类器仍然在许多NLP任务中表现良好,尤其是当我们处理高维稀疏数据(如文本)时。通过本案例,我们学习了如何使用NLTK中的朴素贝叶斯分类器来进行文本分类任务。尽管本文的示例数据和模型非常简单,但它展示了如何从文本中提取特征并训练一个基本的分类器。在实际应用中,我们可以进一步优化数据处理和特征选择,以构建更强大的文本分类系统。
2024-09-22 09:28:27 825
原创 刚刚,OpenAI发布了o1模型,国内可用
就在刚刚,OpenAI发布了全新的o1系列推理模型及其简化版o1-mini。这个系列专注于解决复杂问题,首发为预览版。o1系列在科学、编程和数学等领域表现出色,具备高安全性。o1-mini则更快、更经济,编程能力出众,价格比o1低80%。ChatGPT Plus和Team用户现已可用,Enterprise与Edu用户将于下周开放。注册即送24小时GPT4免费体验!镜像站已同步更新新模型。
2024-09-13 07:57:55 604 4
原创 OpenAI新模型“Strawberry“蓄势待发:会思考的AI即将登场?
例如,谷歌最近推出了一款能够处理用户打断和话题转换的AI语音助手,而OpenAI的GPT-4 Voice则因安全考虑推迟了发布。然而,OpenAI仍需在正式发布前解决一些关键问题,包括优化思考时间、完善对话记忆功能,以及制定合适的定价策略。这款能够"思考"的AI模型可能会为用户带来更智能、更精准的交互体验,同时也可能重新定义我们对AI能力的期望。有人认为,与当前的GPT-4相比,略微改善的回答质量可能不值得额外等待10到20秒。Strawberry的定价可能与OpenAI的ChatGPT不同。
2024-09-11 10:36:36 562
原创 【震撼】8岁女孩用Cursor编程,你还在等什么
更令人欣喜的是,在安装Cursor时,你可以直接导入原有的VSCode配置和插件,这种无缝过渡的体验无疑是非常贴心的设计。其火爆程度不仅源于AI大咖Andrej Karpathy在社交平台X上的推荐,更因一则令人惊叹的新闻:一位年仅8岁的小女孩利用Cursor和其Composer功能,从零开始独立开发了一个网页应用,并在YouTube上分享了整个过程,引发了全球开发者的热议。以下是我的详细使用体验。Cursor带来的这些创新功能,无疑为整个编程行业注入了新的活力,开启了AI辅助编程的新纪元。
2024-09-09 15:51:52 1090
转载 MySQL 主从复制部署
在现代数据库管理中,MySQL 主从复制是一种关键技术,用于提高数据的可用性和性能。随着 Docker 容器技术的普及,利用 Docker 搭建 MySQL 主从复制环境已成为一种趋势,它提供了一种简便、高效且可扩展的解决方案。本文将介绍 Docker 在 MySQL 主从复制中的应用,包括搭建步骤、配置技巧以及如何避免常见的复制延迟问题。我们将从为什么选择 Docker 进行MySQL主从复制开始,探讨其带来的灵活性和便利性。接着,通过详细的步骤指导,展示如何配置主从服务器并进行链接。
2024-09-08 17:45:11 1048
原创 深度学习与大模型第4课:使用多种模型在Pima印度糖尿病数据集上的分类效果评估
Pima Indians Diabetes 数据集包含了768名女性患者的医疗记录,每条记录包含8个特征,包括怀孕次数、血糖、血压等,目标值为是否患有糖尿病(Outcome: 0 或 1)。逻辑斯谛回归:表现均衡,测试集F1分数略高于其他模型,适合应用于特征较为线性的任务。支持向量机:尽管在训练集上表现良好,但在测试集上泛化能力有所欠缺。决策树:对于非线性数据,决策树在训练集表现出色,但在测试集上的表现略逊。
2024-09-08 16:53:45 982
原创 ChatGPT+数学建模:快速搞定2024国赛A题“板凳龙”!
为了更好地处理这些问题,我们将采用空间几何和运动学模型来描述板凳龙的运动状态,并结合MATLAB进行数值求解。该模型通过递推计算龙头、龙身和龙尾在螺线上的位置及其速度,结果保存在Excel文件中供进一步分析。检测条件可通过判断板凳间的最小距离来实现,结合MATLAB中的迭代方法,可以精确找到舞龙队盘入的终止时刻。这两个问题涉及螺距和调头路径的优化问题,需根据龙头前把手的运动情况,优化螺距和路径。:通过螺线参数方程计算出每个时刻的龙头位置,并通过龙头的运动递推计算龙身和龙尾的位置。2. 空间螺线运动学模型。
2024-09-08 10:31:51 552
原创 深度学习与大模型第3课:线性回归模型的构建与训练
在这篇博客中,我们学习了如何使用numpy手动实现线性回归,以及如何利用scikit-learn快速实现相同的功能。我们还深入探讨了不同的梯度下降方法,包括批量梯度下降、随机梯度下降和小批量梯度下降,并通过可视化比较了它们的性能。通过这些实现和比较,我们不仅可以更深入地理解线性回归的原理,还能体会到使用成熟库的便利性,以及不同优化方法的特点。这些知识对于理解更复杂的机器学习算法和深度学习模型都是非常有帮助的。希望这篇教程对你有所帮助!如果你有任何问题,欢迎在评论区留言。
2024-09-07 21:55:33 997
原创 利用ChatGPT辅助完成【2024高教社杯全国大学生数学建模竞赛】B题 生产过程中的决策问题——解
涉及样本量估计、假设检验等统计问题,使用 ChatGPT 辅助设计合理的抽样检测方案,减少检测次数,确保推断结果的可靠性。ChatGPT 可以生成代码和模型,帮助分析零配件次品率与成品检测的关联,并通过递归优化多阶段的生产流程。:结合检测成本与次品率,通过 ChatGPT 编写代码进行成本效益分析,决定是否进行检测。:根据市场售价、检测成本与退换不合格成品的损失,使用模型进行优化,生成最优检测方案。:根据新的次品率数据,重新优化生产决策,使用 ChatGPT 自动生成调整后的代码。
2024-09-07 09:10:31 825 1
原创 利用ChatGPT完成2024 年高教社杯全国大学生数学建模竞赛题目【A/B/C/D/E题】完整思路
以下是一些具体的步骤,结合 ChatGPT 的能力,如何在不同类型的数学建模问题中使用它。最后,ChatGPT 可以生成模型、实验结果和优化策略的解释,并帮助你撰写比赛论文,确保内容逻辑清晰,表达准确。在涉及动力学仿真或系统建模的问题中,ChatGPT 可以帮你构建路径模拟,碰撞检测,速度计算等模型。假设你参加的比赛题目要求模拟一个舞龙队伍在螺旋路径中的行进,每秒钟需要计算队伍的位置和速度。ChatGPT 可以帮助你生成代码,完成仿真模拟,并输出数据到指定格式的文件中。
2024-09-06 12:39:07 1592
原创 使用Amazon SageMaker JumpStart微调Meta Llama 3.1模型以进行生成式AI推理
还可以在SageMaker JumpStart上找到微调其他变体Meta Llama 3.1模型(8B和70B基础和指令)的代码([GitHub仓库](https://github.com/aws/amazon-sagemaker-examples/blob/default/ generative_ai/sm-jumpstart_foundation_llama_3_finetuning.ipynb)),只需替换上面功能表中显示的模型ID。微调完成后,将出现部署微调模型的选项,如下图所示。
2024-09-02 11:32:43 1461
原创 深度学习与大模型第2课:机器学习实战
通过这篇文章,我们简要介绍了如何使用Python和常见机器学习库(如Scikit-Learn、TensorFlow)进行模型训练和评估。希望这些实战示例能够帮助读者更好地理解机器学习的基本原理和操作流程。
2024-09-01 17:33:30 1341
原创 不容错过!最简单的Cursor无限注册攻略!
Cursor是一个编程软件,就像Vscode一样,可以让你轻松地编写、调试和运行代码。不一样的是它内置了8个热门AI模型,什么最新模型,都能免费试用14天,我们只需要任意邮箱注册账号,然后下载程序即可。
2024-09-01 15:00:09 995 2
【知识库问答】保姆级教程之文心大模型版.pdf
2024-03-24
购物系统项目(文档+视频+源码).7z
2024-01-30
员工工资管理系统(文档+视频+源码).7z
2024-01-30
仓库商品管理系统(文档+视频+源码).7z
2024-01-30
学生选课系统(文档+视频+源码).7z
2024-01-30
图书管管理系统(视频+源码).7z
2024-01-30
学生选课成绩信息管理系统(ER图文档+视频+源码).7z
2024-01-30
学生信息管理(文档+视频+源码).7z
2024-01-30
Mysql和Oracle飞机订票系统(ppt+ER图+流程图+需求背景数据库+架构说明有lun文视频源码齐全).7z
2024-01-30
酒店管理系统(ppt+ER图+流程图+需求背景数据库+架构说明有lun文视频源码齐全).7z
2024-01-30
汽车租赁管理系统(详细文档+视频+源码).7z
2024-01-30
CDGA超全资料(包含电子书、学习笔记、思维导图、刷题和必背知识点)
2024-01-30
MaynorAI 一站式调用国内外AI服务平台
2024-06-28
chatgp apk安装包
2024-06-01
chatgpt windows客户端
2024-06-01
GPT安卓android安装包
2024-06-01
数据库系统工程师考点笔记.pdf
2024-05-13
大模型简历模板之CV简历模板1.doc
2024-05-06
大模型简历模板之CV简历模板2.docx
2024-05-06
大模型简历模板之NLP简历模板2.doc
2024-05-06
大模型简历模板之cv简历模板9.docx
2024-05-06
大模型简历模板之NLP简历模板3.docx
2024-05-06
大模型简历模板之NLP简历模板.docx
2024-05-06
大模型简历模板之cv简历模板10.doc
2024-05-06
大模型简历模板之cv简历模板7.docx
2024-05-06
大模型简历模板之cv简历模板6.docx
2024-05-06
大模型简历模板之cv简历模板8.doc
2024-05-06
大模型简历模板之cv简历模板4.docx
2024-05-06
大模型简历模板之cv简历模板5.doc
2024-05-06
大模型简历模板之cv简历模板3.docx
2024-05-06
Oracle 转化成 Hive Sql的规则 正则已写好 (要求讲清思路)
2021-08-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人