- 博客(8)
- 收藏
- 关注
RSS订阅原创 机器学习中的模型训练问题
模型训练好之后，在将模型用于新的测量数据之前，我们需要知道模型是否有效，也就是说，我们是否应该相信它的预测结果。训练集用来构建机器学习模型，测试集用来评估模型性能。一般判断模型欠拟合或者过拟合，通常通过对模型在测试集上的准确率进行判断，模型的准确率一般在60~90左右为正常范围，若模型判断准确率时低于60，则模型处于欠拟合，若模型判断准确率在98左右，则说明模型过拟合。过拟合原因：模型把数据学习的太彻底，以至于把噪声数据的特征也学习到了，这样就会导致在后期测试的时候不能够很好地识别数据，模型泛化能力太差。
2024-03-12 16:33:57
566
1
原创 python实现csv、excel操作的整理（pandas）
这个函数比较难记，可以参考EXCEL数据透视表去理解，index代表列，columns代表行，values代表值，aggfunc代表要对值用什么函数，fil_value代表缺失值用0填充。对规则条件下，需要我们自定义函数，例如我们要增加一列c,规则是如果a列小于50且b列为男则c列为1，否则c列为0。对规则条件下，需要我们自定义函数，例如我们要增加一列c,规则是如果a列小于50且b列为男则c列为1，否则c列为0。假设我们要增加一列c，规则是如果a列数字小于等于50则c列为1，否则c列为0。
2023-08-29 10:24:00
390
1
原创 MySQL使用过程中出现的问题与解决
等data文件夹中生成初始化文件完成后，打开data文件夹，找到.err结尾的文件，用记事本打开，在右边最下面一行找到随机生成的初始化密码。然后在cmd中输入mysqld --remove mysql或者mysqld --remove mysql57来移除服务。在cmd中启动mysql服务（net start mysql）后，登录mysql（mysql -u root -p）首先安装mysqld服务器，输入命令：mysqld --install。然后注册服务，输入命令：mysqld -install。
2023-08-16 10:43:36
177
1
原创 mysql数据库学习（进阶篇）
mysql体系结构分为四个层次：连接层、服务层、引擎层、存储层连接层：最上层是一些客户端和连接服务，主要完成一些连接处理、授权认证、及相关的安全方案。服务器也会为安全接入的每个客户端验证它所具有的操作权限。服务层：第二层构架主要完成大多数的核心服务功能，如sql接口，并完成缓存的查询，sql 的分析和优化，部分内置函数的执行。所有跨存储引擎的功能也在这一层实现，如过程、函数等。引擎层：存储引擎真正的负责了mysql中数据的存储和提取，服务器通过API和存储引擎进行通信。
2023-08-10 17:35:40
137
1
原创 paddlenlp使用过程中遇见和解决的bug
会打开标注网页，第一次进入网页时需要注册一下，以后会自动进入的。本文记录我在解决paddlenlp微调模型中的各种问题。官方文档对标注流程讲的比较清楚了。2、进行对原始图片的标注工作。
2023-07-14 16:41:40
1646
1
原创 自然语言处理nlp算法学习
中文nlp任务的一般流程：1、获取语料语料：是NLP任务所研究的内容。通常用一个文本集合作为语料库。来源：已有语料--积累的文档；下载语料——搜狗语料、人民日报语料；抓取语料。2、语料预处理①语料清洗留下有用的，删除噪音数据。常见的数据清洗方法：人工去重、对齐、删除和标注等，或者规则提取内容、正则表达式匹配、根据词性和命名实体提取、编写脚本或代码批处理等。②分词将文本分成语句。常见的分词算法：基于字符串匹配的分词方法、基于理解的分词方法、基于统计的分词方法和基于规则的分词方法。
2023-07-06 18:03:43
2992
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人