- 博客(52)
- 收藏
- 关注
RSS订阅原创 Leetcode 01-算法入门与数组-⑤数组双指针&滑动窗口
在数组的区间问题上，暴力算法的时间复杂度往往是 O(n2)O(n^2)O(n2)。而双指针利用了区间「单调性」的性质，可以将时间复杂度降到 O(n)O(n)O(n)。2.3 对撞指针适用范围对撞指针一般用来解决有序数组或者字符串问题：下面我们根据具体例子来讲解如何使用对撞指针来解决问题。描述：给定一个下标从 111 开始计数、升序排列的整数数组：numbersnumbersnumbers 和一个目标值 targettargettarget。要求：从数组中找出满足相加之和等于 targettargetta
2023-09-25 02:08:37
257
原创 Leetcode 01-算法入门与数组-④数组二分查找
二分查找的基本算法思想为：通过确定目标元素所在的区间范围，反复将查找范围减半，直到找到元素或找不到该元素为止。以下是二分查找算法的基本步骤：初始化：首先，确定要查找的有序数据集合。可以是一个数组或列表，确保其中的元素按照升序或者降序排列。确定查找范围：将整个有序数组集合的查找范围确定为整个数组范围区间，即左边界 leftleftleft 和右边界 rightrightright。计算中间元素：根据 mid=⌊(left+right)/2⌋mid = \lfloor (left + right) / 2 \r
2023-09-22 01:41:30
281
原创 LLM 11-环境影响
环境影响是一个巨大的话题。一切都是相互联系的，所以很难得出一个干净的定量指标。但要真正着眼于全局。尽管如今大语言模型的还很少，但它正在快速增长。大语言模型的通用性提供了节省成本的潜力（“一次性训练”并适用于许多不同的任务）。但它们的成本要高得多，需要可能需要重新训练。这里的权衡是什么？缓解措施尝试在使用清洁能源的数据中心训练模型碳抵消的效果各不相同（森林种植活动产生单一种植）更高效的模型架构、训练程序、硬件（但要注意反弹效应）在论文报告排放量。
2023-09-22 01:09:33
233
原创 LLM 10-大模型之Adaptation
探测作为一种强大的分析工具，通过冻结语言模型表示编码器（上图中灰色部分）和优化特定任务的探针（上图中预测头，蓝色部分）来工作。这些模型可以是线性的或浅前馈预测头，提供了一种灵活的方法来理解和解释深度学习模型的内部工作机制。固定长度表示的策略也进一步促进了这一目的，提供了灵活而有效的解决方案。冻结（灰色）：无需任何操作。优化（蓝色，每个任务有所不同）：语言模型的所有参数，外加一个新的预测头。微调是一种强大的工具，可以使预先训练的语言模型更好地符合人类的期望和需求。
2023-09-21 02:00:23
326
原创 LLM 09-新的模型架构
设BBB是一个batch中的token数量（在所有序列中）；通常在百万数量级。设EEE是专家数目；通常在千数量级。设x1xBx1xB为一个batch中的token。Switch Transformer（谷歌）使用了top-1专家。BASE（Facebook）为每个token分配1名专家，但进行了联合优化。这两个模型的性能都无法与GPT-3可比。
2023-09-20 01:27:43
93
原创 Leetcode 01-算法入门与数组-③数组排序
这个过程就像水底的气泡一样从底部向上「冒泡」到水面，这也是冒泡排序法名字的由来。接下来，我们使用「冒泡」的方式来模拟一下这个过程。假设数组的元素个数为 nnn 个，则冒泡排序的算法步骤如下：我们以 [5,2,3,6,1,4][5, 2, 3, 6, 1, 4][5,2,3,6,1,4] 为例，演示一下冒泡排序的整个过程。4. 冒泡排序算法分析最佳时间复杂度：O(n)O(n)O(n)。最好的情况下（初始时序列已经是升序排列），只需经过 111 趟排序，总共经过
2023-09-18 03:56:34
263
原创 LLM 08-分布式训练
因为神经网络的训练并不是单纯的“把原来一个设备做的事情，现在分给多个设备各自做”，它不仅需要多个设备进行计算，还涉及到设备之间的数据传输，只有协调好集群中的计算与通信，才能做高效的分布式训练。当数据集较大，模型较小时，由于反向过程中为同步梯度产生的通信代价较小，此时选择数据并行一般比较有优势，常见的视觉分类模型，如 ResNet50，比较适合采用数据并行。被切分到了各个设备上，每个设备只拥有模型的一部分，所有计算设备上的模型拼在一起，才是完整的模型。的不同，分为“数据并行”和“模型并行”策略。
2023-09-18 02:52:20
528
原创 LLM 07-大模型训练
上一章中，我们讨论了大语言模型（例如，Transformer）的模型结构。在本章中，我们将讨论如何训练大语言模型。本章分成目标函数和优化算法两部分。
2023-09-18 02:09:03
282
原创 LLM 06-大模型架构
语言模型的一开始就可以被看做是一个黑箱，当前大规模语言模型的能力在于给定一个基于自身需求的prompt就可以生成符合需求的结果。形式可以表达为：prompt⇝completionprompt \leadsto completionprompt⇝completion从数学的角度考虑就对训练数据 (traing data: （x1,…,xL）（x_{1},…,x_{L}）（x1,…,xL）)的概率分布：trainingData⇒p(x1,...,xL).trainingData \Rightar
2023-09-17 02:24:03
144
原创 LLM 05-大模型法律
在这个教程中，我们将探讨法律对大型语言模型的开发和部署有何规定。新技术与现有法律的关系与我们之前的讲座一样，比如关于社会偏见的讲座，我们将要讨论的很多内容并不一定特指大型语言模型（并没有特别的大型语言模型法律条例）。然而，每当有新的强大的技术出现，它都会引发很多关于现有法律是否仍然适用或有意义的问题。例如，随着互联网的重要性日益提高，互联网法律（或称为网络法）应运而生。它从现有的领域中汲取知识，如知识产权法，隐私法，和合同法等。互联网的独特挑战。
2023-09-15 23:05:30
510
原创 LLM 04-大模型的数据
到目前为止，我们已经讨论了大型语言模型的行为（能力和损害）。现在，我们要剥开洋葱的第一层，开始讨论这些模型是如何构建的。任何机器学习方法的起点都是训练数据，因此这就是我们开始的地方。附录：通常在机器学习中，训练数据和测试（评估）数据是相似的，或者至少是同一类型的。但对于大型语言模型来说，训练数据就是“原始文本”。
2023-09-15 01:22:52
236
原创 Leetcode 01-算法入门与数组-②数组基础
数组（Array）：一种线性表数据结构。它使用一组连续的内存空间，来存储一组具有相同类型的数据。简单来说，「数组」是实现线性表的顺序结构存储的基础。以整数数组为例，数组的存储方式如下图所示。如上图所示，假设数据元素的个数为nnn，则数组中的每一个数据元素都有自己的下标索引，下标索引从000开始，到n−1n - 1n−1结束。数组中的每一个「下标索引」，都有一个与之相对应的「数据元素」。从上图还可以看出，数组在计算机中的表示，就是一片连续的存储单元。
2023-09-15 01:16:02
166
原创 LLM 03-大模型的有害性
有毒性和假信息（toxicity 和 disinformation）大型语言模型可能产生攻击性的、有害的内容，或者产生误导性的内容。然而，在我们深入讨论之前，需要指出的是，语言模型与这些伤害之间存在一种断裂。语言模型处理的是文本，这是它们接受训练的数据，并且擅长捕获统计模式。然而，这些伤害涉及的是人，即某个人收到一段文本并因此感到困扰或受伤。这意味着我们需要将这些伤害视为文本的属性，而是需要从更广泛的社会语境中考虑。在讨论大型语言模型之前，我们有必要将有毒性和假信息置于内容审核的问题中来理解。
2023-09-14 00:49:44
370
原创 Leetcode 01-算法入门与数组-①数据结构与算法简介
数据结构可以分为「逻辑结构」和「物理结构」。集合结构线性结构树形结构图形结构。顺序存储结构链式存储结构。「逻辑结构」指的是数据之间的关系，「物理结构」指的是这种关系在计算机中的表现形式。例如：线性表中的「栈」，其数据元素之间的关系是一对一的，除头和尾结点之外的每个结点都有唯一的前驱和唯一的后继，这体现的是逻辑结构。而对于栈中的结点来说，可以使用顺序存储（也就是顺序栈）的方式存储在计算机中，其结构在计算机中的表现形式就是一段连续的存储空间，栈中每个结点和它的前驱结点、后继结点在物理上都是相邻的。
2023-09-13 01:35:00
382
原创 LLM 02-大模型的能力
GPT-3在广泛的标准NLP基准测试和一次性任务上进行了评估。GPT-3可以表现得极好或者非常普通。增加模型的大小和示例的数量都有助于提高性能。有一些启发式的方法可以将语言模型适应到感兴趣的任务。但是为什么会有这样表现，没有人知道。
2023-09-13 00:32:47
216
原创 LLM 01-引言
语言模型（LM）的经典定义是一种对令牌序列(token)的概率分布。假设我们有一个令牌集的词汇表VVV。语言模型p为每个令牌序列x1xLx1...xL∈VVVpx1xLpx1xL概率直观地告诉我们一个标记序列有多“好（good）”。p0.02p0.02p0.01p0.01p0.0001p0.0001从数学上讲，语言模型是一个非常简单而又美妙的对象。
2023-09-12 01:41:03
156
原创 Wonderful Sql
是否可以编写 SQL 语句来恢复删除掉的 Addressbook 表？请补充如下 SQL 语句来删除 Addressbook 表。表1-A 表 Addressbook （地址簿）中的列。列名 ： postal_code。数据类型 ：定长字符串类型（长度为 8）约束 ：不能为 NULL。
2023-07-22 02:30:15
168
原创 DeepWalk & Node2Vec
导出TSNE降维到二维之后的embedding。导出TSNE降维到三维之后的embedding。将networkx中的节点和词向量中的节点对应。利用word2vec训练Node2Vec模型。将networkx中的节点和向量中的节点对应。可视化全部词条的二维embedding。可视化某个词条的二维embedding。可视化某些词条的二维embedding。可视化全部词条的二维embedding。节点Embedding聚类可视化。训练word2vec模型。构建Node2Vec模型。采样得到所有随机游走序列。
2023-02-25 00:51:23
218
原创 NetworkX
保存并载入邻接表Adjacency List。创建另一个首尾相连成串的Path Graph。节点连接数(Node Degree)通过连接表Edge List创建图。将H本身作为节点添加到G中。创建单个连接,设置属性特征。创建无节点,无连接的空图。节点为任意可哈希的对象。添加带属性特征的节点。将H的节点添加到G中。
2023-02-19 01:21:49
209
原创 Python入门
使用可迭代对象中的每个元素调用函数 , 将返回值作为新可迭代对象元素 , 返回值为新可迭代对象 .子类实现了父类中相同(名称、参数)的方法 , 在调用该方法时 , 实际执行的是子类的方法 .python是一个免费 , 开源 , 跨平台 , 动态 , 面向对象的编程语言 .类与类的关联性与依赖度要低 , 让一个类变化 , 尽少影响其他的类 .类与类交互时 , 在满足功能的基础上 , 传递的数据量越少越好 .A类依赖B类 , 意味着A类的某个功能以依靠B类实现 .
2022-11-06 00:33:46
81
原创 Mysql入门
目录 :##一 . SQL预备##二 . DQL查询语言####1 . 基础查询####2 . 条件查询####3 . 模糊查询####4 . 排序查询####5 . 常见函数######5.1 单行函数######5.2 分组函数(聚合函数)####6 . 分组查询####7 . 连接查询######7.1 内连接######7.2 外连接####8 . 子查询######8.1 where或having后的子查询。
2022-11-06 00:32:58
91
原创 Markdown使用方法
#####以此类推最多6级标题6个####一 . Markdown语法。###二 . 常用LeTeX表达式。一 . Markdown语法。二 . 常用LeTeX表达式。###三 . 颜色设置及代码。三 . 颜色设置及代码。
2022-11-06 00:31:16
95
原创 Pytorch 05-进阶训练技巧
PyTorch在torch.nn模块为我们提供了许多常用的损失函数，比如：MSELoss，L1Loss，BCELoss...... 但是随着深度学习的发展，出现了越来越多的非官方提供的Loss，比如DiceLoss，HuberLoss，SobolevLoss...... 这些Loss Function专门针对一些非通用的模型，PyTorch不能将他们全部添加到库中去，因此这些损失函数的实现则需要我们通过自定义损失函数来实现。
2022-08-25 00:33:05
2107
原创 Pytorch 04-模型定义
U-Net是分割 (Segmentation) 模型的杰作，在以医学影像为代表的诸多领域有着广泛的应用。U-Net模型结构如下图所示，通过残差连接结构解决了模型学习中的退化问题，使得神经网络的深度能够不断扩展。
2022-08-21 22:17:06
172
原创 aaaaa
def merge_layer(layer):return np.r_[np.c_[np.zeros((layer.shape[0],1),int),layer],np.r_[np.zeros(1,int),np.diag(layer)]+np.r_[layer[-1],np.zeros(1,int)].reshape(1,-1)]def split_n(n):return np.ones((1,1),int) if n==1 else merge_layer(split_n(n-1))
2022-03-10 22:06:38
151
原创 Git使用
Git设置用户签名 , 只需第一次安装配置git configgit config --global user.name gocaragit config --global user.email gocara.chen@outlook.com创建本地目录并cd进入git init查看本地库状态git status在本地库中添加编辑文件添加文件至暂存区git add hello.txtgit status移除暂存区中的文件git rm --cached hello.txt
2022-01-23 21:48:00
468
原创 Pandas 12-综合练习2
Pandas 12-综合练习2import numpy as npimport pandas as pd【任务五】显卡日志下面给出了3090显卡的性能测评日志结果，每一条日志有如下结构：Benchmarking #2# #4# precision type #1##1# model average #2# time : #3# ms其中#1#代表的是模型名称，#2#的值为train(ing)或inference，表示训练状态或推断状态，#3#表示耗时，#4#表示精度，其中包含了flo
2021-01-13 23:23:04
236
原创 Pandas 10-时序数据
Pandas 10-时序数据import numpy as npimport pandas as pd一、时序中的基本对象时间序列的概念在日常生活中十分常见，但对于一个具体的时序事件而言，可以从多个时间对象的角度来描述。例如2020年9月7日周一早上8点整需要到教室上课，这个课会在当天早上10点结束，其中包含了哪些时间概念？第一，会出现时间戳（Date times）的概念，即’2020-9-7 08:00:00’和’2020-9-7 10:00:00’这两个时间点分别代表了上课和下课的时刻，
2021-01-09 21:21:46
604
原创 Pandas 09-分类数据
Pandas 09-分类数据import numpy as npimport pandas as pd一、cat对象1. cat对象的属性在pandas中提供了category类型，使用户能够处理分类类型的变量，将一个普通序列转换成分类变量可以使用astype方法。df = pd.read_csv('../data/learn_pandas.csv', usecols = ['Grade', 'Name', 'Gender', 'Height', 'Weight'])s = df.Grade
2021-01-07 12:15:20
246
原创 Pandas 08-文本数据
Pandas 08-文本数据import numpy as npimport pandas as pd一、str对象1. str对象的设计意图str对象是定义在Index或Series上的属性，专门用于逐元素处理文本内容，其内部定义了大量方法，因此对一个序列进行文本处理，首先需要获取其str对象。在Python标准库中也有str模块，为了使用上的便利，有许多函数的用法pandas照搬了它的设计，例如字母转为大写的操作：var = 'abcd'str.upper(var) # Python内置
2021-01-05 09:51:44
192
原创 Pandas 07-缺失数据
Pandas 07-缺失数据import numpy as npimport pandas as pd一、缺失值的统计和删除1. 缺失信息的统计缺失数据可以使用isna或isnull（两个函数没有区别）来查看每个单元格是否缺失，通过和sum的组合可以计算出每列缺失值的比例：df = pd.read_csv('../data/learn_pandas.csv', usecols = ['Grade', 'Name', 'Gender', 'Height', 'Weight', 'Transfer
2021-01-03 07:04:48
209
原创 Pandas 11-综合练习
Pandas 11-综合练习 import pandas as pdimport numpy as npnp.seterr(all = 'ignore'){'divide': 'ignore', 'over': 'ignore', 'under': 'ignore', 'invalid': 'ignore'}【任务一】企业收入的多样性【题目描述】一个企业的产业收入多样性可以仿照信息熵的概念来定义收入熵指标 :I=−∑ip(xi)log(p(xi))I=-\sum_i{p(x_i)log(p
2021-01-01 08:38:17
2493
3
原创 Pandas 06-连接
Pandas 06-连接import numpy as npimport pandas as pd一、关系型连接1. 连接的基本概念把两张相关的表按照某一个或某一组键连接起来是一种常见操作，例如学生期末考试各个科目的成绩表按照姓名\color{red}{姓名}姓名和班级\color{red}{班级}班级连接成总的成绩表，又例如对企业员工的各类信息表按照员工ID号\color{red}{员工ID号}员工ID号进行连接汇总。由此可以看出，在关系型连接中，键\color{red}{键}键是十分重要的，
2020-12-29 01:47:05
246
原创 Matplotlib 06-场景案例显神通
Matplotlib 06-场景案例显神通数据可视化的图表种类繁多，各式各样，因此我们需要掌握如何在特定场景下使用特定的图表。数据可视化是为业务目的服务的，好的可视化图表可以起到清晰准确反映业务结果的目的，在选择使用何种图表时，通常我们需要首先考虑你想通过可视化阐述什么样的故事，受众是谁，以及打算如何分析结果。关于如何利用数据创造出吸引人的、信息量大的、有说服力的故事，进而达到有效沟通的目的，可以进一步阅读这本书《用数据讲故事》学习。本章将介绍不同场景适合的可视化图表类型，使用注意事项，以及如何用现
2020-12-27 18:23:24
302
原创 pandas 05-变形
Pandas 05-变形import numpy as npimport pandas as pd一、长宽表的变形什么是长表？什么是宽表？这个概念是对于某一个特征而言的。例如：一个表中把性别存储在某一个列中，那么它就是关于性别的长表；如果把性别作为列名，列中的元素是某一其他的相关特征数值，那么这个表是关于性别的宽表。下面的两张表就分别是关于性别的长表和宽表：pd.DataFrame({'Gender':['F','F','M','M'], 'Height':[163, 160, 175, 180
2020-12-27 02:09:40
904
原创 Matplotlib 05-样式色彩秀芳华
Matplotlib 05-样式色彩秀芳华一、matplotlib的绘图样式（style）在matplotlib中，要想设置绘制样式，最简单的方法是在绘制元素时单独设置样式。但是有时候，当用户在做专题报告时，往往会希望保持整体风格的统一而不用对每张图一张张修改，因此matplotlib库还提供了四种批量修改全局样式的方式1.matplotlib预先定义样式matplotlib贴心地提供了许多内置的样式供用户使用，使用方法很简单，只需在python脚本的最开始输入想使用style的名称即可调用，尝试
2020-12-24 17:46:33
286
1
原创 Pandas 04-分组
pandas 分组import numpy as npimport pandas as pd一、分组模式及其对象1. 分组的一般模式分组操作在日常生活中使用极其广泛，例如：依据性别\color{#FF0000}{性别}性别分组，统计全国人口寿命\color{#00FF00}{寿命}寿命的平均值\color{#0000FF}{平均值}平均值依据季节\color{#FF0000}{季节}季节分组，对每一个季节的温度\color{#00FF00}{温度}温度进行组内标准化\color{#0000
2020-12-23 18:20:36
1202
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人