- 博客(117)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 安装sbt利用开发工具IntelliJ IDEA编写Spark应用程序（Scala+SBT）参考林子雨教程
备注：这里需要注意，在Intellij Idea启动时，会执行“extracting project structure from sbt”的操作，也就是把sbt所需要的项目结构从远程服务器拉取到本地，在本地会生成sbt所需要的项目结构。sbt需要下载安装，可以访问“http://www.scala-sbt.org”下载安装文件sbt-1.3.8.tgz，保存到下载目录。我们点击Install，就会开始下载安装插件，安装完成后，我们点击Restart IDE，重启后，就可以显示中文的IDEA界面了。
2024-05-27 08:29:50
1439
原创 安装和伪分布式配置HBase教程
说明：HBase的版本一定要和之前已经安装的Hadoop的版本保持兼容，不能随便选择版本。HBase1.1.2和Hadoop2.7.1（或Hadoop2.6.0或Hadoop2.7.3）兼容，而HBase2.2.2和Hadoop3.1.3兼容。
2024-05-27 08:17:26
1101
原创 安装spark，在sparkshell中运行代码和编写Scala教程（参考厦大林子雨版）
在上面的配置信息中，scalaVersion用来指定scala的版本，sparkcore用来指定spark的版本，这两个版本信息都可以在之前的启动 Spark shell 的过程中，从屏幕的显示信息中找到。对于刚安装好的Spark和sbt而言，第一次运行上面的打包命令时，会需要几分钟的运行时间，因为系统会自动从网络上下载各种文件。该命令省略了参数，这时，系统默认是“bin/spark-shell --master local[*]”，也就是说，是采用本地模式运行，并且使用本地所有的CPU核心。
2024-05-27 08:08:34
1312
原创 MySQL数据库综合运用
在这个数据库的设计过程中，让我对MySQL有了更多的了解，更加熟练的去使用这个数据库，对MySQL语句也有了更多的理解，巩固了知识的理解和运用，养成良好的动手能力，培养一种热爱思考的思维和习惯。INSERT student values(‘s0001’,‘武松’,‘男’,‘d001’,‘1992-10-18’,‘13696332100’,‘梁山’);insert student values(‘s0005’,‘李逵’,‘男’,‘d002’,‘1982-10-09’,NULL,‘梁山’);
2024-05-08 22:46:38
841
原创 Hadoop伪分布式安装教程配置（跟随厦大林子雨老师版）
好话说在前面，按照教程一步一步走绝对没问题就纯粹的图一乐这次我一步一步来~参考文章：https://dblab.xmu.edu.cn/blog/7/
2024-04-14 21:51:53
1320
原创 vwmare+Ubuntu20.04安装超级保姆级完整教程
强烈建议先完整的看完一遍教程在进行安装以免出现问题！！！如果遇到error：建议复制error后面的信息然后到浏览器搜索，查找解决方案，其次在进行某个不确定的操作时，建议先保存快照，这样就算出问题的也可以回到当初的位置，这样不至于使前面的操作前功尽弃~
2024-04-14 13:36:07
1562
原创 操作系统银行家算法计算题
（2）假如T0时刻进程P1发出资源请求（0，4，2，0），请问系统是否满足其请求？若安全，请给出一个安全序列。（1）系统在T0时刻状态是否安全？若安全，请给出一个安全序列。表1 系统资源状态表。
2024-04-14 10:28:04
391
原创 第1章 操作系统概述
陷入指令（Traps），又叫做自陷指令或访管指令，出现在计算机操作系统中，用于实现在用户态下运行的进程调用操作系统内核程序，即当运行的用户进程或系统实用进程欲请求操作系统内核为其服务时，可以安排执行一条陷入指令引起一次特殊异常。因为终端数量越多，每条指令要在系统缓冲区等待执行的时间也会越长，对应的响应时间会越长。UNIX是一种多用户多任务操作系统，可允许多个用户通过多个终端同时登录到系统中使用系统，是一种典型的分时系统。响应时间，指应用执行一个操作所需的时间，包括从发出请求开始到最后收到响应所需要的时间。
2024-04-01 09:20:42
228
转载 self-llm：《开源大模型食用指南》更适合中国宝宝的部署教程
本项目是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生活中。本项目的学习建议是，先学习环境配置，然后再学习模型的部署使用，最后再学习微调。里面包含了当前主流的大模型部署方案，可以帮助初学者更加快速的入门大模型应用部署。开源的大模型部署教程self-llm。
2024-03-21 13:43:33
468
1
原创 词云图生成自定义背景
词云文件目录结构----main.py python源代码----stop.txt 过滤掉的词语----simhei.ttf 字体格式文件----text.txt 要生成词云图的txt文件----001.png 背景图Stop文件（过滤词将不想展示的词（文字，符号等都可以）放进去，一行添加一个）或者在Python文件stop这里添加字体：可以在网上下载也可以复制本地的（从C\windows\Fonts里找喜欢的）Text:你的文本文件展示的单词数：如只想展示最多出现的前二十个词。
2024-03-11 00:01:38
633
原创 Sora学习笔记
而在这个浪潮中，OpenAI推出的首个AI视频模型Sora，以其卓越的性能和前瞻性的技术，引领着AI视频领域的创新发展。[在这里插入图片描述](https://img-blog.csdnimg.cn/direct/4a76115986a04c44a93378176bf224be.png然后看了看杨老师的讲解，感觉视频好多，没有时间，有点看不完。Embedding层的作用是将某种格式的输入数据，转变为模型可以处理的向量表示，来描述原始数据所包含的信息。）是火上浇油，Sora是仿真是概率模型~
2024-02-29 23:23:18
356
原创 书生·浦语大模型实战营第四次课堂笔记
我们就得到了这个Adapter文件就是所谓的lora文件，我们就需要在加载底座模型的基础上同时加载这个Adapter也就是lora来进行与模型的对话与测试。通过问不要葱姜蒜大佬知道了它通过ssh连接的话还是在开发机上也不会下载到本地yes太好了我还能玩~现在看视频发现原来是我进入成功了，可以接着往下做omygod！微调是在海量的文本内容的基础上以无监督或半监督的方式进行训练的。qlora是对lora的一种改进~感觉就是更高级点的工具。倒回去看发现要求将不要葱姜蒜换成自己的名字和昵称！诶怎么能进这个环境？
2024-01-19 22:35:32
559
原创 leedcode刷题day2
然后看了芦总的想法感觉还行不过我不知道用python怎么实现，因为他用的c++，然后是建立一个vector容器存放目前的最长子串，从第一个字符开始判断，如果字符不在子串中，则将字符插入，如果在，则从子串的第一个元素开始弹出，直到子串中没有重复字符时再进行插入。这里面的(i - num)真的巧妙，以(i - 1)字符的第(n - 1)次出现的位置加1作为起始点检索i字符的(n - 1)次位置，找不到就加1，找到了就前后位置相减算出子串长度。
2024-01-18 21:34:38
486
原创 leedcode刷题笔记day1
它的逻辑就是首先让6这个key以及对应的下标value存入哈希表，然后接下来的一个元素是3，与其对应的元素就是8-3=5，而5不在目前的哈希表中，所以将3以及对应下标存入哈希表中，接下来是8,8-8=0,0也不在哈希表中，将8以及对应下标存入哈希表中，接下来是元素2,8-2=6,6在哈希表中，因此2和6就是我们要找的元素，将他们的下标【0,3】返回输出，算法结束。枚举在数组中所有的不同的两个下标的组合逐个检查它们所对应的数的和是否等于 target。官方的哈希表才击败80%，而且比官方的容易懂！
2024-01-17 22:41:19
584
原创 寻找游戏大模王赛后分享（我的寻找游戏大模王之旅
大家好，我是2023寻找游戏大模王AI原生应用大赛的Top1荆轲刺秦王团队的小罗，很高兴能在这里与大家分享我们这次比赛的经验，同时也希望以后有机会可以和大家一起交流学习~左二是我。
2024-01-16 19:16:42
983
原创 书生·浦语大模型实战营第三次课堂笔记
核心思想：给大模型外挂一个知识库，对于用户的提问，会首先从知识库中匹配到提问对应回答的相关文档，然后将文档和提问一起交给大模型来生成回答，从而提高大模型的知识储备。LangChain 框架是一个开源工具，通过为各种 LLM 提供通用接口来简化应用程序的开发流程，帮助开发者自由构建 LLM应用LangChain 的核心组成模块。核心思想：在一个新的较小的训练集上，进行轻量级的训练微调，从而提升模型在这个新数据集上的能力。可以使用多种支持语义检索的向量数据库，一般使用轻量级的 Chroma。
2024-01-12 18:38:05
926
原创 数据库课设--家电销售订单管理系统
其次在使用python实现内嵌式sql语言的时候，需要连接sql server ，这就需要自己动手去查找一些网上的资料，刚开始怎么也连不上，最后发现是端口的问题，连接上以后，又由于中文问题导致部分乱码，我整了一晚上才解决，是属性数据类型的问题，于是我改成了nchar类型的，它使用的是unicode编码，不会出现乱码的情况，于是我又学到了解决乱码的方法。将家电进货后，需要确定家电是否在库中已有，如果没有此类的家电信息，需要将家电的基本信息存入库中，并且添加入库的家电的数量；
2024-01-12 13:05:33
1365
原创 书生·浦语大模型实战营第二次课堂笔记
人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型利用大量数据进行训练拥有数十亿甚至数千亿个参数模型在各种任务重展现出惊人的性能InternLM-Xcomposer-7B 介绍浦语·灵笔是基于书生·浦语大语言模型研发的视觉-语言大模型，提供出色的图文理解和创作能力具有多项优势:1.为用户打造图文并貌的专属文章2.设计了高效的训练策略，为模型注入海量的多模态概念和知识数据，赋予其强大的图文理解和对话能力。
2024-01-09 22:35:12
623
原创 书生·浦语大模型实战营第一次课堂笔记
大模型是发展通用人工智能的重要途径,是人工通用人工智能的一个重要途径。书生·浦语大模型覆盖轻量级、重量级、重量级的三种不同大小模型,可用于智能客服、个人助手等领域。还介绍了书生·浦语大模型的性能在多个数据集上全面超过了相似量级或相近量级的模型。LMDeploy提供大模型在GPU上部署的全流程解决方案，包括模型轻量化、推理和服务。持续批处理技巧，深度优化的低比特计算Kernel，模型并行，高效的k/v缓存管理机制。最新信息和知识的获取，回复的可靠性，数学计算，工具的使用和交互。等训练数据:文章、书籍、代码。
2024-01-05 14:18:42
514
原创 用python实现adaboost算法例题
AdaBoost先初始化样本权值分布，并从初始训练集训练出一个基学习器，再根据这个基学习器的分类结果对训练样本的权值分布进行调整，再生成新的基学习器，依次进行下去，直到满足要求。1.会用Python提供的方法对数据进行预处理。2．会用python实现adaboost算法。由上图可以发现模型预测的正确率达100%（3）计算分类器系数α \alphaα。（7）将所有的分类器线性相加。（4）更新训练数据的权值分布。（1）初始化样本权值分布。（2）生成基本分类器G1。（5）生成新的分类器G2。（6）循环（2-5）
2023-12-23 10:26:26
564
原创 使用SVM对手写体数字图片分类
在用模型做预测时，对两两类别之间的分割超平面分别进行匹配，统计有多少次判别将其华分类1类，多少次判别为2类…，判定所属类别次数最多的就是最后预测的类别。先对1类和2类的数据进行计算，得到1类和2类的分割超平面，然后对2类和3类的数据进行计算，以此类推，直到两两类别分别完成计算。使用sklearn.svm类对手写体数字图片进行分类。训练数据：digits_training.csv。测试数据：digits_testing.csv。第1列是类别，其他列是特征属性。
2023-12-23 10:26:04
611
原创 用python对航空公司客户价值进行聚类分析
1.会用Python创建KMeans聚类分析模型；2.使用KMeans模型对航空公司客户价值进行聚类分析；3.会对聚类结果进行分析。
2023-12-23 10:25:40
896
原创 Python编程 圣诞树教程 （附代码）专属于程序员的浪漫
（1）以 def 开头，后接定义函数的名称和圆括号（），以冒号结尾（2）圆括号（）可为空，也可以传入参数（3）定义函数的内容，与def有缩进关系（4）调用自定义的函数的基本格式为：定义函数的名称（）；若圆括号（）为空，调用时，也为空，若若圆括号（）不为空，调用时需传入参数(5)return [表达式] 结束函数，选择性地返回一个值给调用方。不带表达式的return相当于返回 None。#定义画彩灯的函数if r.randint(0,30) == 0: #randint用来生成随机数。
2023-12-23 10:24:49
555
原创 实验用python实现决策树和随机森林分类
其每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。训练集和测试集的比例是7:3，选取适当的特征列，使得针对测试样本的分类准确率在80%以上，比较2种分类方法的准确率。3.决策树剪枝：剪枝原因是决策树生成算法生成的树对训练数据的预测很准确， 但是对于未知数据分类很差， 这就产生了过拟合的现象。涉及算法有CART算法。3.对属性是字符串的任意特征进行数字编号处理，显示前5行编码后的结果，每个特定的字符串用一个整数来表示，整数序列从0开始增长。
2023-12-17 21:40:24
353
原创 在Github上快速复制别人的仓库，并实现PR
fork不是Git操作，而是一个Github操作，是服务端的代码仓库克隆fork后会在自己的Github仓库账户创建一个新的仓库，它包含了原来的仓库（即uostream repository,上游仓库）所有内容，如分支、Tag、提交历史等你可以对fork出的仓库自由提交，并提供PR(Pull Request)贡献回原仓库由于fork出的新仓库是基于原仓库，但二者在后续开发中可能会大相径庭，所以被称为“分叉”
2023-12-09 18:11:01
1298
原创 在git使用SSH密钥进行github身份认证学习笔记
官网文档：Https://docs.github.com/zh/authentication（本节内容对应的官方文档，不清晰的地方可参考此内容）首先，启动我们的git bush（在桌面右键，点击 Git Bush Here ）首先登入你的github后台，点击头像，点击setting。注意:添加密钥是需要验证密码的，如果你有此环节，验证即可！然后配置名字，然后点击add SSH key。然后我们回到本地，在桌面创建一个文件夹。然后可以去C盘找你的.ssh 文件。然后将我们的本地库推送到远程库。
2023-12-09 17:32:11
517
原创 根据豆瓣对《流浪地球》的短评数据进行文本分析和挖掘
关于《流浪地球》的观影评价，已经变成了场逐渐失控的舆论混战，如"枪稿“作者灰狼所说，"关于它的舆论，已经演化成、政治正确、水军横行、自来水灭差评、道德绑架、战狼精神”。为了对《流浪地球》的观影评价有个全面的了解，对《流浪地球》的豆影评数据进行分析和挖掘。相反，不准确的分词处理会产生大量的噪声，严重干扰计算机的识别理解能力，并对后续的处理工作产生较人的影响。营见停用词例如:的、了、都、你、我、么等等，这些词通常在文本中大量出现，会带来大量的噪音数据.因此需要将这些停用词进行过滤。新建一列label存储。
2023-12-03 20:24:41
398
转载 一键绘制Nature风格全球地图
这里我把数据的Coordinates重命名了，数据的Coordinates:必须包含lon和lat属性，若没有需要重命名，这里我的基本绘图数据单位是xarray.DataArray类型，如果你是numpy.ndarray类型，需要转换为我的标准类型。上面的图，都是用Python绘制的，有的还有显著性划线（或显著性打点），但是对于Cartopy来说，这些操作需要很多很多的代码，如果能写成函数，一键绘制就好了。先来欣赏一些全球地图，非常美观啊。
2023-12-03 11:04:52
361
2
原创 手把手教你在AutoDL上Qwen-7B-Chat WebDemo Qwen-7B-Chat 网络演示
手把手带你在AutoDL上Qwen-7B-Chat WebDemo Qwen-7B-Chat 网络演示项目地址：https://github.com/datawhalechina/self-llm.git如果大家有其他模型想要部署教程，可以来仓库提交issue哦~ 也可以自己提交PR！如果觉得仓库不错的话欢迎star！！！
2023-11-29 13:48:19
488
原创 手把手教你Autodl平台Qwen-7B-Chat FastApi 部署调用
手把手带你在AutoDL上部署Qwen-7B-Chat FastApi 调用项目地址：https://github.com/datawhalechina/self-llm.git如果大家有其他模型想要部署教程，可以来仓库提交issue哦~ 也可以自己提交PR！如果觉得仓库不错的话欢迎star！！！
2023-11-29 13:33:49
1859
原创 手把手教你在AutoDL上部署Qwen-7B-hat Transformers 部署调用
手把手带你在AutoDL上部署InternLM-Chat-7B Transformers 调用项目地址：https://github.com/datawhalechina/self-llm.git如果大家有其他模型想要部署教程，可以来仓库提交issue哦~ 也可以自己提交PR！如果觉得仓库不错的话欢迎star！！！
2023-11-29 13:17:57
502
原创 手把手带你在AutoDL上部署InternLM-Chat-7B Transformers
手把手带你在AutoDL上部署InternLM-Chat-7B Transformers 部署调用项目地址：https://github.com/KMnO4-zx/self_llm.git如果大家有其他模型想要部署教程，可以来仓库提交issue哦~ 也可以自己提交PR！
2023-11-21 21:11:30
402
原创 今天不学习今天写爱心特效HTML代码
首先在桌面创建一个后缀为txt的文件，然后将下面的代码复制进去保存，再将.txt后缀改为html，最后点击这个文件就会出现爱心特效啦~
2023-11-17 17:42:51
93
原创 Datawhale智能汽车AI挑战赛
CLIP的训练数据是文本-图像对：一张图像和它对应的文本描述，这里希望通过对比学习，模型能够学习到文本-图像对的匹配关系。如下图所示，CLIP包括两个模型：Text Encoder和Image Encoder，其中Text Encoder用来提取文本的特征，可以采用NLP中常用的text transformer模型；CLIP的思想非常简单，只需要看懂这幅图就可以了，左边是训练的原理，CLIP一共有两个模态，一个是文本模态，一个是视觉模态，分别对应了Text Encoder和Image Encoder。
2023-11-15 22:04:33
561
原创 机器学习算法实战实战案例代码详解
最后一行代码调用了stack_model函数，并传入了四个基本模型的训练集预测结果（et_oof_train, rf_oof_train, rd_oof_train, ls_oof_train）、测试集预测结果（et_oof_test, rf_oof_test, rd_oof_test, ls_oof_test）以及训练集标签（y_train）进行堆叠模型的训练和预测。同时，这样的映射也可以将原始的分类特征转换为连续的数值特征，有助于提高模型的准确性和效果。缺点：当类别的数量很多时，特征空间会变得非常大。
2023-11-13 13:35:42
518
原创 用朴素贝叶斯实现垃圾邮箱分类实验报告
1.把给定的数据集message.csv拆分成训练集和测试集，使用sklearn.naive_bayes.MultionmialNB类常见一个朴素贝叶斯模型，使用训练数据训练出一个预测模型，然后用预测模型对测试集中数据进行分类，评价模型的分类效果。2.message.csv数据集中包含大量的短信，每行数据包括2个字段：短信内容，短信类别（1或者0），短信类别为1的是垃圾短信。2.使用朴素贝叶斯模型对垃圾邮件分类。4.会用评价朴素贝叶斯模型的分类效果。3.会把文本内容变成向量。
2023-11-10 20:37:26
713
原创 SQL第五次上机实验
10.借书证号为201207034201的读者来归还ISBN为4-6045-1023-4的图书，请对Lend和History两表进行相关信息。3.创建一个借阅统计表，将按系部和专业统计的读者数量和在借图书册数的信息放入借阅统计表中。4.将读者表（Reader）中借书证号为201207034201的借阅数量改为2。7.从历史借阅表（History）中，删除所有关于文学类图书的借阅记录。6.将借阅了《乔布斯传》一书的借阅记录中的借阅时间推后一个月。不知道History咋突然多了一列F6我先给它删了。
2023-11-10 20:36:43
124
魔改的家电销售订单管理系统python
2024-01-19
数据库课设天天生鲜系统python+django+mysql
2024-01-19
java课设华容道小游戏
2023-07-01
TA创建的收藏夹 TA关注的收藏夹
TA关注的人