平原2018
大模型、知识库、智能问答,需要帮助,请留言或者私信
展开
-
chatglm3微调以及加速
本文是对chatglm3进行微调,并对微调过后的模型进行加速。原创 2024-03-08 18:36:19 · 511 阅读 · 0 评论 -
Miniconda虚拟环境安装(chatglm2大模型安装步骤二)
服务器系统:Centos7.9 x64显卡:RTX3090 (24G)原创 2023-11-27 20:22:02 · 781 阅读 · 0 评论 -
centos 显卡驱动安装(chatglm2大模型安装步骤一)
显卡驱动安装。原创 2023-11-27 20:16:31 · 1022 阅读 · 0 评论 -
ChatGLM2详细安装部署(chatglm2大模型安装步骤三)
服务器系统:Centos7.9 x64显卡:RTX3090 (24G)虚拟环境:Miniconda3。原创 2023-11-27 20:10:28 · 1208 阅读 · 0 评论 -
NLP基础算法总结
NLP基础算法总结一、词法分析1、分词二、句法分析三、语义分析四、文档分析五、其他nlp(Natural Language Processing) 简称:自然语言处理以下为自然语言处理用到的基础算法,包括词法分析、句法分析、语义分析、文档分析、其他一、词法分析词法分析包括分词、词性标注、实体识别、拼写检查等。1、分词分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。在英文的行...原创 2019-02-28 13:39:03 · 38736 阅读 · 2 评论 -
机器学习之十大算法入门
一、决策树(有监督算法)原理就是条件熵特点: 1、只能接受离散特征 分类决策树 2、准确类不高,可解释性强,可视化 3、贪心算法,无法从全局的观点来观察决策树,从而难以调优 4、决策树算法可以看成把多个逻辑回归算法集成起来 熵:把熵用在集合上,熵越低越好,越低越好做决策。熵越高不确定性越高 熵的取值范围是(0 ,无穷大) 计算公式: H(X)=E[I(xi...原创 2018-06-20 18:09:13 · 882 阅读 · 2 评论 -
pyspark 对xgboost操作记录(待续)
大数据集群安装搭建请参考这个链接,很详细。1、连接pyspark,配置xgboostimport pandas as pdfrom pyspark.sql.functions import colfrom pyspark.sql import SparkSessionfrom pyspark.ml import Pipeline,PipelineModelfrom sklearn.utils import shufflefrom pyspark.sql import functionsfro原创 2021-05-18 17:28:03 · 513 阅读 · 0 评论 -
xgboost配置GPU
说明:博主的显卡为3090,驱动为470.94,CUDA版本为11.4,cmake 3.3.2,gcc 7.3.1以上版本配置xgboost(2.0.0)GPU可以直接调用直接安装即可 pip install xgboost==2.0.0。原创 2023-10-17 20:12:41 · 1702 阅读 · 2 评论 -
如何通俗地讲解 viterbi 算法?
原文链接一、通俗地讲解 viterbi 算法这篇回答你绝对看得懂!如下图,假如你从S和E之间找一条最短的路径,除了遍历完所有路径,还有什么更好的方法?答案:viterbi (维特比)算法。过程非常简单:为了找出S到E之间的最短路径,我们先从S开始从左到右一列一列地来看。首先起点是S,从S到A列的路径有三种可能:S-A1、S-A2、S-A3,如下图:我们不能武断的说S-A1、S-A2...转载 2020-02-07 14:59:54 · 692 阅读 · 0 评论 -
协同过滤之基于用户-物品矩阵推荐系统(待续)
先上图,第一个是基于物品协同过滤推荐,第二个是基于用户的协同过滤推荐 这个两个步骤差不多。先说基于物品的协同过滤,原理就是上面这张图,下面说步骤一、基于物品的协同过滤步骤: 1、根据用户对物品的评分构建用户-物品矩阵 2、创建一个n*n的物品相似度矩阵 在产品-产品协同过滤中的产品之间的相似性值是通过观察所有对两个产品之间的打分的用户来度量的 通过计算每一个i物品...原创 2018-10-17 15:02:16 · 7781 阅读 · 2 评论 -
深度学习之反向传播推导
反向传播算法(Backpropagation)是目前用来训练人工神经网络(Artificial Neural Network,ANN)的最常用且最有效的算法。其主要思想是:将训练集数据输入到ANN的输入层, 经过隐藏层, 最后达到输出层并 输出结果, 这是ANN的前向传播过程;由于ANN的输出结果与实际结果有误差, 则计算估计值与实际值之间 的误差, 并将该误差从输出层向隐藏层反向传播, ...原创 2018-08-16 20:34:23 · 2353 阅读 · 1 评论 -
机器学习之多种算法优缺点总结及优化方法
一、无监督算法:1、聚类算法:Kmeans2、关联规则算法:Apriori二、有监督算法1、分类算法决策树(Decision Tree)支持向量机(SVM)K近邻(kNN,k-NearestNeighbor)朴素贝叶斯逻辑回归2、回归算法线性回归多项式回归3、集成算法a、bagging(Bootstrapped Aggregation)随机森林...原创 2018-08-08 19:34:45 · 6684 阅读 · 0 评论 -
Frequent Pattern 挖掘之二(FP Growth算法)
文章目录FP树构造FP树的挖掘每一步都很详尽,推荐看FP树构造FP Growth算法利用了巧妙的数据结构,大大降低了Aproir挖掘算法的代价,他不需要不断得生成候选项目队列和不断得扫描整个数据库进行比对。为了达到这样的效果,它采用了一种简洁的数据结构,叫做frequent-pattern tree(频繁模式树)。下面就详细谈谈如何构造这个树,举例是最好的方法。请看下面这个例子:这张表描...转载 2019-03-08 15:51:44 · 619 阅读 · 0 评论 -
机器学习之模型评估方法总结
一、分类模型评估1、混淆矩阵(confusion matrix)2、ROC3、AUC二、回归模型评估1、SSE(和方差)2、MSE(均方差)3、RMSE(均方根、标准差)4、R-Squared(确定系数)5、MAE(平均绝对误差)6、交叉验证(Cross-Validation)一、分类模型评估1、混淆矩阵(confusion matrix)......原创 2018-08-13 10:50:23 · 7358 阅读 · 1 评论 -
自然语言处理之word2vec原理词向量生成
链接来自:https://www.zhihu.com/question/44832436/answer/266068967前言word2vec是如何得到词向量的?这个问题比较大。从头开始讲的话,首先有了文本语料库,你需要对语料库进行预处理,这个处理流程与你的语料库种类以及个人目的有关,比如,如果是英文语料库你可能需要大小写转换检查拼写错误等操作,如果是中文日语语料库你需要增加分词处理。...原创 2018-08-23 19:57:19 · 4816 阅读 · 1 评论 -
深度学习之seq2seq简单介绍(待续)
Seq2Seq模型是RNN最重要的一个变种:N vs M(输入与输出序列长度不同)。这种结构又叫Encoder-Decoder模型。原始的N vs N RNN要求序列等长,然而我们遇到的大部分问题序列都是不等长的,如机器翻译中,源语言和目标语言的句子往往并没有相同的长度。为此,Encoder-Decoder结构先将输入数据编码成一个上下文向量c:、 得到c有多种方式,最简单的方法...原创 2018-08-23 20:11:27 · 1112 阅读 · 0 评论 -
关于Deep learning和NLP实战应用项目
karpathy/char-rnn · GitHub :一个基于RNN的文本生成器。可以自动生成莎士比亚的剧本或者shell代码。 https://github.com/karpathy/char-rnnphunterlau/wangfeng-rnn · GitHub : 基于char-rnn的汪峰歌词生成器 https://github.com/phunterlau/wangfeng-r...转载 2018-08-25 16:03:58 · 7514 阅读 · 0 评论 -
fp_growth(Frequent Pattern tree)关联算法
注意:此方法笔者已经试过,计算关联词,在跑大批量数据模型的时候,很消耗内存。打个比方,如果你的数据集足够大,内存全部能吃完。具体一点,每个子列表有10个词,共500个子列表,16个G不够用的,可以想象上万条以上是什么情况。改进的方法:1、upgraded FP-growsth, UFP 算法http://www.bjutxuebao.com/bjgydx/article/2016/0254-...原创 2018-11-16 10:44:03 · 798 阅读 · 0 评论 -
面试算法简述
文章目录一、机器学习生成模式和判别模式的区别:感知机:K-means:k近邻:朴素贝叶斯:极大似然估计:逻辑回归(LR):L1和L2的区别FP(FP-growth)关联算法支持向量机(SVM):决策树:bagging随机森林:boosting梯度提升和梯度下降的区别:GBDTXGBoost:GBDT和XGBoost区别(百面机器学习):降维LDA(隐含狄利克雷分布):EM算法:动态规划图模型发展史...原创 2019-05-08 21:16:42 · 2181 阅读 · 0 评论 -
机器学习之SVM(支持向量机)算法详解
1-1 基本流程一、概念:SVM:寻找到一个超平面使样本分成两类,并且间隔最大。而我们求得的w就代表着我们需要寻找的超平面的系数 与超平面的距离表示分类的确信度, 距离越远则分类正确的确信度越高 超平面方程一条直线方程, 其中m是斜率, c是直线在y轴的截距:y = mx + c超平面的一般方程如下: wTx=0wTx=0w^Tx=0 其中w和x是向量, w...原创 2018-07-10 20:03:09 · 1824 阅读 · 0 评论 -
机器学习之GBDT算法(待续)
一、GBDT 概念二、GBDT的负梯度拟合分类回归树CART负梯度拟合三、GBDT回归算法四、GBDT分类算法1、 二元GBDT分类算法2、 多元GBDT分类算法五、 GBDT常用损失函数六、 GBDT的正则化七、 GBDT小结 一、GBDT 概念GBDT 的全称是 Gradient Boosting Decision Tree,梯度提升...原创 2018-08-11 16:11:12 · 1501 阅读 · 0 评论 -
机器学习之降维方法:PCA和LDA的区别
一、PCA(主成分分析)二、LDA(线性判别分析)1、二类LDA原理2、多类LDA原理3、LDA算法流程4、LDA算法小结三、 LDA 和 PCA区别一、PCA(主成分分析)PCA是一种无监督的数据降维方法降维是对数据高维度特征的一种预处理方法。降维是将高维度的数据保留下最重要的一些特征,去除噪声和不重要的特征,从而实现提升数据处理速度的目的。在实际的生...原创 2018-08-10 20:33:20 · 11353 阅读 · 3 评论 -
机器学习之协方差矩阵、黑塞矩阵、标准差椭圆和EM算法
一、统计学的基本概念学过概率统计的孩子都知道,统计里最基本的概念就是样本的均值,方差,或者再加个标准差。首先我们给你一个含有n个样本的集合X={X1,…,Xn},依次给出这些概念的公式描述,这些高中学过数学的孩子都应该知道吧,一带而过。均值: X¯=∑ni=1XinX¯=∑i=1nXin\bar{X}=\frac{\sum_{i=1}^n X_{i}}{n} 标准差: s=∑n...转载 2018-07-11 20:33:58 · 4776 阅读 · 0 评论 -
机器学习之常见聚类方法
一、kmeans1、算法流程2、使用距离3、k值的选择4、算法优化5、K-means 附加问题二、层次聚类1、流程:2、层次聚类方法三、基于密度(DBSCAN)1、定义2、流程3、K-means与DBSCAN的区别一、kmeans1、算法流程1.选择聚类的个数k(kmeans算法传递超参数的时候,只需设置最大的K...原创 2018-07-17 18:05:34 · 2040 阅读 · 0 评论 -
机器学习之决策树算法详解
1-1 基本流程一、概念:决策树:是一种树形结构,其中每个内部节点表示一个属性上的判断,每个分支代表一个判断结果的输出,最后每个叶节点代表一种分类结果,本质是一颗由多个判断节点组成的树。二、划分依据:①熵物理学上,熵 Entropy 是“混乱” 程度的量度。 系统越有序,熵值越低;系统越混乱或者分散,熵值越高 信息理论: 1、当系统的有序状态一致时,数据越集中...原创 2018-07-04 19:18:37 · 24433 阅读 · 2 评论 -
过拟合、正则化和损失函数
一、过拟合:过度的拟合了训练数据, 而没有考虑到泛化能力。 模型在训练集上表现很好,但是在交叉验证集上表现先好后差。 这也正是过拟合的特征! 发生过拟合的主要原因可以有以下三点: (1) 数据有噪声 (2) 训练数据不足, 有限的训练数据 (3) 训练模型过度导致模型非常复杂 二、正则化:一、概念L1范数: 当p=1时,是L1范数,其表示某个向量中所有元素绝对...原创 2018-07-10 20:54:16 · 5960 阅读 · 0 评论 -
集成学习之Adaboost算法原理
内容来自http://www.360doc.com/content/14/1109/12/20290918_423780183.shtml一、Adaboost的原理1.1 Adaboost是什么AdaBoost,是英文”Adaptive Boosting”(自适应增强)的缩写,由Yoav Freund和Robert Schapire在1995年提出。它的自适应在于:前一个基本分类器...转载 2018-07-16 20:59:34 · 616 阅读 · 1 评论 -
机器学习之KNN(k近邻)算法详解
1-1 机器学习算法分类一、基本分类:①监督学习(Supervised learning)数据集中的每个样本有相应的“正确答案”, 根据这些样本做出 预测, 分有两类: 回归问题和分类问题。 步骤1: 数据集的创建和分类 步骤2: 训练 步骤3: 验证 步骤4: 使用 ( 1) 回归问题举例 例如: 预测房价, 根据样本集拟合出一条连续曲线。 ( 2) ...原创 2018-07-03 17:28:25 · 149707 阅读 · 16 评论 -
机器学习之k-means算法详解
K-means算法 (无监督算法,聚类算法)1-1 基本流程一、概念:二、主要特点:三、算法流程:kmeans作用:去除奇异值小结:1-2 算法效果衡量标准一、K值确定:二、轮廓系数:三、Canopy算法配合初始聚类:1、Canopy简介:2、Canopy+Kmeans:四、Calinski-Harabasz Index:K-m...原创 2018-07-02 17:55:12 · 54592 阅读 · 0 评论 -
算法中各种距离的介绍
一、欧氏距离(Euclidean Distance):欧氏距离是最容易直观理解的距离度量方法,我们小学、 初中和高中接触到的两个点在空间中的距离一般都是指欧氏距离。 二维平面上点a(x1,y1)与b(x2,y2)间的欧氏距离:d_{12}=\sqrt{(x_1-x_2)^2+(y_1-Y2)^2}三维空间点a(x1,y1,z1)与b(x2,y2,z2)间的欧氏距离:d...原创 2018-07-02 16:02:37 · 5623 阅读 · 0 评论 -
机器学习之朴素贝叶斯算法详解
1-1 基本流程朴素贝叶斯公式: P(A|B)=P(A)P(B|A)P(B)P(A|B)=P(A)P(B|A)P(B)P(A|B) = \frac{P(A)P(B|A)}{P(B)}一、概率基础知识:条件概率是指事件A在另外一个事件B已经发生条件下的发生概率。 条件概率表示为: P(A|B), 读作“在B条件下A的概率”。 若只有两个事件A, B, 那么: P(AB)=P...原创 2018-07-05 19:39:13 · 43083 阅读 · 4 评论 -
PageRank算法
一、算法原理:1、如果一个网页被很多其他网页链接到的话说明这个网页比较重要,也就是PageRank值会相对较高 2、如果一个PageRank值很高的网页链接到一个其他的网页,那么被链接到的网页PageRank值也会相应提高。 例子: 如果一个网页有k条出 链,那么跳转任意一个出链上的概率是1/k ;如果用n表示网 页的数目,则转移矩阵M是一个n*n的方阵;如果网页j有k个出链,那么对每一...原创 2018-07-07 11:59:29 · 1348 阅读 · 0 评论 -
机器学习之随机森林(RF)详解
一、bagging算法1、简介2. bagging算法流程二、随机森林1、简介2、CART分类树的生成3、总结常用集成学习包括Bagging ,Boosting, Stacking三种。见https://blog.csdn.net/sinat_30353259/article/details/81034749 bagging算法的典型实现是随机森林(Ra...原创 2018-08-04 13:08:20 · 5286 阅读 · 1 评论 -
机器学习之各种熵的总结
一、什么是熵物理学上,熵 Entropy 是“混乱” 程度的量度。 系统越有序,熵值越低;系统越混乱或者分散,熵值越高 信息理论: 1、当系统的有序状态一致时,数据越集中的地方熵值越小,数据越分散的地方熵值越大。这是从信息的完整性上进行的描述。 2、当数据量一致时,系统越有序,熵值越低;系统越混乱或者分散,熵值越高。这是从信息的有序性上进行的描述。 假如事件A的分类划分是(A1,...原创 2018-07-21 20:58:10 · 2090 阅读 · 0 评论 -
机器学习之XGBoost集成算法、牛顿法
一、XGBoost算法基本构成 boosted tree作为有监督学习算法有几个重要部分:模型、参数、目标函数、优化算法 模型 模型指给定输入x如何去预测输出y 参数 参数指我们需要学习的东西,在线性模型中,参数指我们的线性系数w 目标函数 目标函数:损失 + 正则,教我们如何去寻找一个比较好的参数 一般的目标函数包含下面两项: Bias-variance...原创 2018-07-15 15:15:59 · 1168 阅读 · 0 评论 -
机器学习之逻辑回归
一、基本概念1、什么是逻辑回归2、逻辑回归损失函数推导3、梯度下降法求解二、对比分析1、逻辑回归的优缺点2、与线性回归的区别逻辑回归:解决分类问题一、基本概念1、什么是逻辑回归逻辑回归在某些书中也被称为对数几率回归,明明被叫做回归,却用在了分类问题上,我个人认为这是因为逻辑回归用了和回归类似的方法来解决了分类问题。 假设有一个二...原创 2018-07-20 20:52:41 · 558 阅读 · 0 评论 -
泰勒级数详解
泰勒公式一句话描述:就是用多项式函数去逼近光滑函数。 先来感受一下: 定理: 设 n 是一个正整数。如果定义在一个包含 a 的区间上的函数 f 在 a 点处 n+1 次可导,那么对于这个区间上的任意 x,都有 f(x)=f(a)+f′1!(x−a)+f(2)(a)2!(x−a)2+...+fn(a)n!(x−a)n+Rn(x)f(x)=f(a)+f′1!(x−a)+f(2)(a)2!(...转载 2018-07-15 13:40:17 · 38822 阅读 · 1 评论 -
机器学习之凸优化、贝叶斯网络、奇异值分解(SVD)
一、凸优化1、概念1.1仿射集定义1.2 凸集1.3 锥定义2、凸优化二、贝叶斯网络通过贝叶斯网络判定的条件独立(1)形式1:head-to-head(2) 形式2:tail-to-tail(3) 形式3:head-to-tail三、SVD奇异值分解3.1 奇异值分解例子:3.2 SVD概念及理解一、凸优化1、概念...原创 2018-07-14 11:47:55 · 1381 阅读 · 0 评论 -
机器学习之集成学习
一、集成算法(Ensemble Algorithms)综述二、关于基础分类器结果整合的主要方式1. 对于回归预测(数值预测)2. 对于分类(类别预测)3、Bootstrap算法(1)、基于Bootstrap 的Bagging 算法(2)基于Bagging的Random Forest4、Boosting算法(1)、基于Boosting的AdaBoost5、Stacki...转载 2018-07-13 17:11:21 · 913 阅读 · 0 评论 -
关联规则--Apriori算法
一、算法原理:应用: 关联规则挖掘,发现事物之间的内在联系 超市每天都收集大量的顾客购物数据, 称其为购物篮交易(market basket transaction)。 表中每一行对应一个交易,包含一个唯一标识TID和特定顾客购买的商品集合。 ①支持度: P(A ∩ B), 既有A又有B的概率 ②置信度: P(B|A), 在A发生的事件中同时发生B的概率 p(AB)/P(A) ...原创 2018-07-07 13:46:00 · 2959 阅读 · 0 评论