- 博客(149)
- 收藏
- 关注
RSS订阅原创 斯坦福的 Alpaca 学习笔记
斯坦福的 Alpaca 是一种基于指令执行的语言模型，它可以根据用户给出的指令，生成不同类型的文本内容，例如诗歌、故事、代码等。Alpaca 的特点是它可以快速地适应新的任务和数据集，而不需要重新训练或微调。Alpaca 的目标是为学术界提供一个强大且可复现的指令执行模型，以便进行更多的研究和探索。
2023-06-12 20:10:21
990
原创 LLaMA 的学习笔记
LLaMA 是一种用于自然语言处理的深度学习模型，它的全称是anguagedaptiveulti-task它的主要特点是能够根据不同的任务自适应地调整模型结构和参数，从而提高模型的泛化能力和效率。
2023-06-12 19:56:19
2319
原创 LoRA 的学习笔记
LoRA 的全称是，是一种以极低资源微调大模型的方法，其来自于论文¹。LoRA 的核心思想是冻结预训练的模型权重，并将可训练的秩分解矩阵注入 Transformer 架构的每一层，从而大大减少了下游任务的可训练参数数量。相比于完全微调，LoRA 可以节省显存、提高训练速度、减少推理延迟，并且保持或提升模型质量。
2023-06-12 19:54:47
1788
1
原创 GPT-1面试题
GPT-1 是一种用于自然语言处理的机器学习模型，它是基于 Transformer 架构的。它是 OpenAI 在 2018 年发布的第一个 GPT 模型，有 1.17 亿个参数，比之前的语言模型有了显著的提升¹²。GPT-1 的一个优点是它能够根据给定的提示或上下文生成流畅和连贯的语言¹²。GPT-1 的训练数据是两个数据集的组合：Common Crawl，一个包含数十亿单词的网页数据集，和 BookCorpus 数据集，一个包含超过 11000 本不同类型的书籍的数据集。
2023-05-13 01:26:56
1294
原创 BERT 的面试题
BERT（Bidirectional Encoder Representations from Transformers）是由Google开发的自然语言处理模型，是一种预训练模型，可以用于多种自然语言处理任务，如文本分类、命名实体识别、问答系统等。BERT使用大量文本数据进行预训练，然后使用这些预训练的模型参数进行微调，从而实现在特定任务上的高精度性能。BERT的主要目标是在不同的自然语言处理任务上，通过微调少量的任务特定参数来提高模型的效率和性能。
2023-05-08 20:32:03
943
原创 关于 Transformer 的面试题
Transformer 是一种基于注意力机制的神经网络，它用于输入序列到输出序列的场景，例如机器翻译，阅读理解、语音生成、文本摘要、序列标注等。
2023-05-02 00:45:42
1387
1
原创 【chia开发】docker容器中使用tail-database-api服务的详细教程
【chia开发】docker容器中使用tail-database-api服务的详细教程
2023-01-05 22:57:43
680
原创 正则表达式使用记录
1、a = '这是a二测试的二用例例子二're.sub('([\u4e00-\u9fa5])二([\u4e00-\u9fa5])', r'\1\2', a)其中 r'\1\2' 表示的是保留匹配规则中的括号1和括号2的内容
2022-02-17 11:05:55
187
原创 word2vec 的相关概念
1、word2vec 的概念word2vec ：将词映射到一个词空间中，故 word2vec 被称为词嵌入；并且以词空间的维度组成一个向量，故 word2vec 也被称之为词向量。2、word2vec 的来源word2vec 来源于词的分布假说，词的语义由其上下文所决定。思考：词的语义并不一定是由其上下文所决定的，例如说话人的语气也会导致不同的意思，以及不同身份的人说同样的话也会导...
2018-09-14 15:00:57
353
原创 StanfordCoreNLP 使用笔记
1、在使用 StanfordCoreNLP (下面简称为：nlp) 的时候，如果在使用完不关闭服务的话(调用 close() 方法)，那么 nlp 是不会主动关闭服务进程的2、一个 nlp 服务进程大概占用的内存为 4g 3、可以通过参数 memory 来指定 nlp 服务所占用的 内存，可选的值为 4g、6g、8g。值得注意的是，并不一定会占用指定的 memory 这么多内存，而是以...
2018-09-14 14:57:49
2143
原创 机器学习术语概念
1、参数模型对数据分布（distribution，density）有假设，而非参数模型对数据分布假设自由（distribution－free），但是对数据必须可以排序（rank，score）。所以，回顾二者的名字“参数”，即指数据分布的参数。
2018-02-27 14:10:36
418
原创 统计学术语概念
对于一维随机变量X，其k阶中心矩为相对于X之期望值的k阶矩：前几阶中心矩具有较直观的意义。第0阶中心矩 恒为1。第1阶中心矩 恒为0。 第2阶中心矩 为X的方差。第3阶中心矩 用于定义X的偏度。第4阶中心矩 用于定义X的峰度。
2018-02-26 10:44:27
1202
原创 为什么要划分训练集、验证集、测试集？
训练集、验证集、测试集的定义如下：训练集：用来学习的样本集，用于分类器参数的拟合。验证集：用来调整分类器超参数的样本集，如在神经网络中选择隐藏层神经元的数量。测试集：仅用于对已经训练好的分类器进行性能评估的样本集。引用于：业界 | 似乎没区别，但你混淆过验证集和测试集吗？在我们使用验证集作为调整模型的超参数的时候，其实是在让模型拟
2018-02-24 14:43:29
6193
原创 hadoop 命令
1、创建test文件夹hadoop fs -mkdir /test2、查看文件夹hadoop fs -ls /test3、删除文件夹命令rmr，删除文件命令rm
2018-02-06 17:07:44
343
原创 HIVE 学习笔记
1、hive建表语法中的分隔符设定ROW FORMAT DELIMITED 分隔符设置开始语句FIELDS TERMINATED BY：设置字段与字段之间的分隔符COLLECTION ITEMS TERMINATED BY：设置一个复杂类型（array,struct)字段的各个item之间的分隔符MAP KEYS TERMINATED BY：设置一个复杂类型(Map)字段的key
2018-02-06 16:38:27
346
原创 『麻省理工线性代数中文讲义』学习笔记
1、矩阵 A 可以分解为 L(上三角矩阵)、U(下三角矩阵，且对角线元素均为 1)注：上三角矩阵的对角线左下方的系数全部为零，下三角矩阵的对角线右上方的系数全部为零2、求解 L、U 矩阵 2.例子 对于如下矩阵A，对A进行LU分解 首先将矩阵第一列对角线上元素A11下面的元素通过矩阵初等行变换变为
2018-01-02 09:47:04
6236
原创 python编程进阶
1、开闭原则遵循开发封闭原则，虽然在这个原则是用的面向对象开发，但是也适用于函数式编程，简单来说，它规定已经实现的功能代码不允许被修改，但可以被扩展，即：封闭：已实现的功能代码块开放：对扩展开发2、可使用装饰器实现开闭原则装饰器是不对原函数内部代码进行修改的前提下，在外部增加一些功能，再将这个新函数引用到原函数名。这意味着：①装饰器本身是个函数，并接
2017-12-21 14:50:23
449
原创 『数据稽核』的相关知识
1、异方差异方差性（heteroscedasticity ）是相对于同方差而言的。所谓同方差，是为了保证回归参数估计量具有良好的统计性质，经典线性回归模型的一个重要假定：总体回归函数中的随机误差项满足同方差性，即它们都有相同的方差。如果这一假定不满足，即：随机误差项具有不同的方差，则称线性回归模型存在异方差性2、数据完整性存储在数据库中的所有数据值均正确的状态。如果数据库中
2017-12-04 12:01:57
1426
原创 shell 命令
1、awk 'BEGIN{ FS="|";}{ print $col_num }' old_filename > new_filename作用：将旧文件中的某一列的所有数据插入到新的文件中参数说明：FS：分隔符col_num：第 n 列（从 1 开始）old_filename：旧文件名new_filename：新文件名2、sort -t $'\t' -k col
2017-11-14 13:59:37
280
原创 『机器学习实战』使用朴素贝叶斯过滤垃圾邮件
代码：#! usr/bin/env python# coding: utf-8from numpy import *def loadDataSet(): postingList = [ ['my', 'dog', 'has', 'flea', \ 'problems', 'help', 'please'], ['maybe', 'not', 'tak
2017-11-08 10:11:44
1624
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人