- 博客(8)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【LLM/大模型】一种新的注意力机制-System 2 Attention（System 2 Attention (is something you might need too)）
大型语言模型(LLM)非常强大，但它们仍容易出现简单的错误，这似乎显示出弱的推理能力。例如，不相关的上下文或输入提示中固有的偏好或意见，都可能使它们产生错误判断，在后一种情况下，展现了一种称为阿谀奉承的问题，即模型与输入一致同意。虽然有方法试图通过添加更多的监督训练数据或强化学习策略来缓解这些问题，但论文认为这是Transformer本身的构建方式，特别是其注意力机制中存在固有问题。
2023-11-29 09:30:00
123
1
原创 【LLM/大模型】Orca 2:教小语言模型如何推理(Orca 2: Teaching Small Language Models How to Reason)
Orca 2模型通过实现各种推理技术和识别每个任务最有效的解决策略，达到了与规模更大的模型相当甚至更好的表现，特别是在零样本推理任务上。论文在实现小语言模型全部潜力的道路上前进了一小步前进，特别是突出了教小模型进行推理的价值。它还突出了使用更强大模型创建定制和高质量合成数据，使用复杂的提示和潜在的多次模型调用来训练语言模型的潜力。
2023-11-24 12:30:00
180
1
原创 PySpark
一、概念 每个spark应用都由一个驱动器程序（driver program）来发起集群上的各种并行操作 driver program 包含了应用的main 函数，并且定义了集群上的分布式数据集，还对这些分布式数据集应用了相关操作 driver program 通过一个SparkContext 对象来访问spark driver program 一般要管理多个执行器(execu...
2019-12-28 18:19:11
1360
翻译 python获取当前时间的一个月月份
>>> import datetime#获取当前时间>>> today = datetime.date.today()#获取当前月份的第一天>>> first = today.replace(day=1)#获取前一个月的最后一天>>> lastMonth = first - datetime.time...
2019-12-20 12:43:50
2680
1
原创 hive转置数据(多列转换为多行)
1.目标：将如下表格的多列数据id yes no 001 21 89 002 11 65 转换为下表的多行形式：id bool value 001 yes 21 001 no 89 002 yes 11 002 no 65 2.实现：...
2019-12-19 12:42:30
4348
1
原创 numpy.c/numpy.r
1、numpy.c官网介绍为https://docs.scipy.org/doc/numpy-1.8.1/reference/generated/numpy.c_.html#numpy.c_形式为：numpy.c_ = 将多个对象连接到第二个数轴上。如官网上的示例：>>>np.c_[np.array([[1,2,3]]), 0, 0, np.array([[4,5,
2017-09-20 19:32:40
1912
原创 Python中的numpy.meshgrid
关于该方法的解释，官网有详细的介绍（https://docs.scipy.org/doc/numpy-1.8.1/reference/generated/numpy.meshgrid.html#numpy.meshgrid）。这里做简单的介绍：numpy.meshgrid(*xi, **kwargs) 该方法为从参数中返回一个坐标矩阵。参数：1、x1, x2,..., xn
2017-09-20 19:00:10
13844
原创 python中SQLite 和PySQLite的安装使用
sqlite是非常著名的开源嵌入式数据库软件，它可以嵌入到其他程序中使用，并且提供SQL接口用来查询，非常方便。而pysqlite 则是一个 sqlite 为 python 提供的 api 接口，它让一切对于 sqlite 的操作都变得异常简单
2016-09-16 11:31:24
12394
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人