- 博客(38)
- 收藏
- 关注
RSS订阅原创 基于FaceX-Zoo里的faceSDK实现人脸识别（与人脸库结合比对人脸）
此外，将带有照片的附加信息表img.xlsx与Faiss向量数据库的索引进行一一映射，目的当输入一张新的图片要与人脸库进行对比时，能够获取该图片的信息。功能描述：传入一张图片帧/图片，能够与人脸库的人脸数据进行比对，比对成功，则在图片上打上标签，标签信息包含——名称和相似百分比；测试结果如下所示，根据人为评估可知：test03误判，与人脸库比对相似度42%，但实际上人脸库并没有这个人的图片，所以。计算新输入图片的人脸特征向量与人脸库的人脸特征向量之间的欧氏距离，距离越短，说明相似度越高。
2024-07-09 16:01:29
656
原创 Docker搭建yolov8并训练、验证、推理化学仪器数据集
本文通过docker的方式搭建yolov8运行环境，并成功训练了化学仪器数据集，其中训练数据215张，验证数据65张，类别14。
2024-06-21 10:11:10
991
3
原创 Docker基础学习
代码从开发环境打包到测试环境，然后从测试环境打包到开发环境上，但是会出现一个问题，如果开发环境的jdk版本为8，测试环境的jdk环境为7，那么测试代码时就可能出错。docker是一个开源的应用容器引擎，诞生2013年初，基于go语言实现，docker可以让开发者打包他们的应用及依赖包（环境）一起打包到一个轻量级、可移植的容器中，然后发布到任何流行的linux机器上，并且容器之间相互隔离互不影响。2、docker容器和外部机器不可以直接交换，但是可以间接，外部机器将数据传进数据卷中，就可以直接同步交换。
2024-05-13 09:09:46
736
1
原创 基于ChatGLM+Langchain离线搭建本地知识库（免费）
ChatGLM-6B是清华大学发布的一个开源的中英双语对话机器人。基于架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。LangChain提供了丰富的生态，可以非常方便的封装自己的工具，并接入到LangcChain的生态中，从而实现语言模型的交互，将多个组件链接在一起，并集成额外的资源，例如 API 和数据库。
2024-05-11 16:30:47
1506
2
原创 解决离线服务器无法加载HuggingFaceEmbeddings向量化模型的问题
也就是说加载完向量化模型后，我初始化了Chroma向量数据库，然后对传入的doc文档数据进行向量化，它会提示找不到embed_documents这个属性。本身BertModel是没有这个属性的，但是Chroma却需要调用这个属性来实现文档向量化（通过HuggingFaceEmbeddings来加载模型就不会报错，但是离线服务器上用不了）。最后再调用这个类，就能正常对文档进行向量化和本地持久化了。
2024-05-10 11:16:34
1651
原创 PyODPS：基于阿里云平台python脚本实现多张表之间字段匹配与填充
如果你的阿里云平台配置过连接信息，则可以忽略下面这段代码，如果没有，那么你需要建立一个odps连接。一般来说，我们可以使用sql关联两张表来进行数据匹配填充，关联条件可以借助正则匹配或者like，但是这样不够精准，因为存在数据不完善的情况。现在，我要根据表test02的地址名称(name)列，和表test01的详细地址列(addr)进行匹配，将表test02的地址代码和地址名称填充/覆盖到表test01相应的code和name列。该表一共有三列数据，第一列为地址代码，第二列为地址名称，第三列为详细地址。
2023-12-12 11:31:49
652
原创 PyQt5实现图像抠图交互式系统【环境搭建+GUI界面+功能实现】附完整代码
你可以在Qt Designer中选择组件来构建你想要的界面，然后再将其转换为py文件，再写一个main.py文件来给各个组件赋予功能。注意，若PyQt5指定了版本，pyqt5-tools也要指定版本，否则pyqt5-tools安装为最新版本后，会将PyQt5也重新安装为最新版本。打开cmd窗口，使用命令 conda env list 查看当前虚拟环境，可以切换到你想要的虚拟环境进行下载，命令 activate。这只是一个示例，可以根据需要对算法进行优化，抠出理想的结果。这里我就使用默认的环境base。
2023-11-26 00:00:00
1360
2
原创 数字图像处理技术统计米粒个数【Python实现】
如图所示（只要是米粒图都行），通过图像处理完成数米粒个数的功能，要求数米粒个数要正确。统计出的米粒个数为49，与实际相符合。
2023-11-23 09:39:26
798
原创 【Pytorch搭建卷积神经网络】利用神经网络解决手写识别数据集问题
但是在大多数情况下，我们一般会卷积神经网络的定义单独定义成一个CNN.py类，这样在使用的时候，我们直接导入该类。接下来我们将图片数据和预测结果都显示出来，（lab_log.txt有详细介绍每个文件夹的作用），代码有详细的注释，帮助理解整个搭建流程。重新定义一个脚本，用于加载刚刚保存的模型。本文利用手写数字数据集搭建一个简单的分类。
2023-08-22 15:39:24
169
原创 【Pytorch搭建简单神经网络】利用神经网络解决波士顿房价问题
本文利用波士顿房产数据来搭建一个简单的线性神经网络，代码有详细的注释，帮助理解整个搭建流程。（lab_log.txt有详细介绍每个文件夹的作用）重新定义一个脚本，用于加载刚刚保存的模型。
2023-08-16 13:34:15
343
原创 【入门深度学习】Pytorch基础知识（二）
就是将n维特征映射到k维上，这k维是全新的正交特征，也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。即A = VΛV^(-1)，其中，V是一个由A的特征向量组成的矩阵，Λ是一个对角矩阵，对角线上的元素是A的特征值。LDA分解的目标是将原始高维数据投影到一个低维空间，同时最大化类间的差异和最小化类内的差异。LU分解：LU分解将一个矩阵分解为一个下三角矩阵L和一个上三角矩阵U的乘积，即A = LU。QR分解：QR分解将一个矩阵分解为一个正交矩阵Q和一个上三角矩阵R的乘积，即A = QR。
2023-08-14 13:27:01
153
原创 【入门深度学习】Pytorch基础知识（一）
"tensor"（张量）是基于标量、向量、矩阵更加泛化的概念，是一种表示和处理多维数据的数据结构。0阶张量：标量，即单个数值。1阶张量：向量，表示一维数组。2阶张量：矩阵，表示二维数组。以此类推，3阶张量表示三维数组，4阶张量表示四维数组，以此类推。# 创建张量print(a)# 指定shapea = torch.Tensor(2,3) # 随机的值print(a)# 定义特殊的Tensora = torch.ones(2,2) # 全1print(a)
2023-08-07 22:16:28
132
原创 【深度学习之神经网络】PyTorch入门神经网络
目前主流的深度学习框架有Pytorch和TensorFlow。其中，PyTorch的优势在于简洁性（编程同Python几乎一致），而TensorFlow编程思路相对会更复杂一些。另外，PyTorch采用了动态图的计算方式，而TensorFlow采用静态图（TensorFlow2.0引入了动态图，但不够稳定）。简单来说，动态图就是一边编程一边执行，而静态图需要现先将网络结构设计好再去运行网络。
2023-08-05 13:07:29
228
原创 【python入门机器学习】Boosting集成学习
Boosting就是集成多个弱学习器，每个弱学习器都是针对训练数据的不同子集训练得到的，而每个弱学习器都会根据前一个弱学习器的表现进行加权，从而使得模型更加关注之前被错误分类的样本，进而提高模型的预测准确率和预测性能。
2023-07-26 11:00:00
285
原创 【python入门机器学习】随机森林
极端随机森林在构建每个决策树的过程中，对于每个分裂节点的特征和分割点的选择都是随机的，而不是像传统随机森林一样选择最优的特征和分割点。它提供了额外的随机性，提高了训练速度，并且抑制过拟合，但一定程度上增大了偏差（bias）。随机森林就是由多个决策树组成的集成学习方法，每个决策树都进行独立训练，训练数据都是从原始数据中进行有放回的（Out-of-Bag）随机抽样而来，这样可以使得每个决策树的训练数据不完全相同，从而增加了模型的多样性。
2023-07-25 12:31:37
2059
1
原创 【python机器学习】集成学习
集成学习是一种将多个单独的学习模型组合成一个更强大的模型的技术。其目的是将多个模型（KNN、逻辑回归、SVM等）的预测结果，通过投票（少数服从多数）来提高整体预测的准确性和稳定性。log_clf = LogisticRegression() #逻辑回归#0.864svm_clf = SVC() #SVM分类器#0.896dt_clf = DecisionTreeClassifier(random_state=666) #决策树分类器#0.864# 3个分类器的预测结果#手动完成集成学习。
2023-07-22 17:33:45
263
原创 【python机器学习】决策树（二）
使用sklearn中DecisionTreeRegressor来解决，它与DecisionTreeClassifier的超参数都是相同的，区别在于最后得到的结果是分类结果还是回归结果。以上代码是分别传入决策树中的各个参数得到的结果，同时我们也可以通过网格搜索的方式将这些参数组合起来，来调整模型结果。根据前面的例子我们可以看出，决策树的决策边界都是与x轴和y轴平行的，对于这类决策边界，它具备一定的局限性。最大深度（max_depth）：决策树的最大深度，用来控制决策树的复杂度和过拟合风险。
2023-07-20 15:01:56
369
原创 【机器学习算法】决策树（一）
决策树能够通过对数据的逐步分割，构建一棵树形结构来实现预测和判断。在决策树模型中，每个节点表示一个属性或特征，每个分支表示该属性或特征的一个取值，叶子节点表示最终的分类或回归结果。X = iris.data[:,2:] #选两个特征#创建决策树分类器dt_clf = DecisionTreeClassifier(max_depth=2, criterion="entropy", random_state=42) #max_depth最高深度，自定义划分深度#绘制决策边界plt.show()
2023-07-19 12:53:59
60
原创 【情感提取+情感计算+词频统计】python情感分析
情感分析是一种自然语言处理技术，旨在识别文本中的情感并将其分类为积极、消极或中性。它通过使用机器学习算法和自然语言处理技术来自动分析文本中的情感，从而帮助人们更好地理解文本的情感含义。本文以某译本new_deepl_translated.txt为分析对象，通过对译文断章切句，进而对每一个句子情感词提取、情感值计算，以及词频统计，最后保存为excel文件。
2023-07-17 13:30:48
8497
11
原创 逻辑回归算法学习（二）——决策边界、正则化
逻辑回归本质上是在我们的特征平面中找到一个直线，这条直线来将所有的样本对应的分成两个类比，而这条分界线也被称之为决策边界。
2023-06-29 11:00:00
558
1
原创 线性回归法（三）——多元线性回归
如图所示，针对于多元线性回归，由于横坐标x包含了多个特征值，因此我们不再仅仅考虑x1，还徐考虑x2,x3,x4...，并且还包含θ0和θn这n+1个参数。多元线性回归的解决思路和简单线性回归一样，只是多了几个特征，即找到θ0,θ1,θ2,θ3,...θn，使得以下式子的值尽可能小。这里的正负代表特征的正相关还是负相关，即特征为正，且越大则房价越高；为负，且越高则房价越低；而系数绝对值大小决定了影响程度。如果在线性回归最后的模型预测效果较差，我们可以通过查看各个特征之间的相关系来判断该特征存在的现实意义。
2023-06-18 13:00:00
807
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人