- 博客(88)
- 收藏
- 关注
RSS订阅原创 如何让大语言模型在规格普通的硬件上运行 - 量化技术
量化是一种模型压缩技术，它将大型语言模型（LLM）中的权重和激活值从高精度的数据表示转换为低精度的数据表示，也就是说，从可以容纳更多信息的数据类型转换为容纳较少信息的数据类型。一个典型的例子是将数据从32位浮点数（FP32）转换为8位或4位整数（INT8或INT4）。理解量化的一个很好的类比是图像压缩。压缩图像涉及通过移除一些信息（即数据位）来减小其大小。虽然减小图像的大小通常会降低其质量（在可接受的范围内），但这也意味着在给定设备上可以保存更多的图像，同时传输或显示给用户所需的时间和带宽也会减少。
2024-06-21 13:07:33
886
原创 使用Alpha Vantage API和Python进行金融数据分析
Alpha Vantage通过一套强大且开发者友好的数据API和电子表格，提供实时和历史的金融市场数据。从传统资产类别（例如股票、ETF、共同基金）到经济指标，从外汇汇率到大宗商品，从基本数据到技术指标，Alpha Vantage通过基于云的API提供服务。
2023-12-18 15:01:47
3766
3
原创 PostgreSQL 进阶 - 使用foreign key，使用 subqueries 插入，inner joins，outer joins
使用子查询查找了与电子邮件为 ‘kdiamond@myemail.com’ 相对应的“customers”表中的“customer_id”值。
2023-11-03 21:40:17
220
原创 PostgreSQL 进阶 - 模式匹配，过滤敏感数据，数据清理
通过从1到50生成一系列数字，将生成的数字与预定义的字符串连接起来，并将结果分别插入“url”、“name” 和 “description” 字段。
2023-11-02 23:36:30
1185
原创 机器学习必修课 - 交叉验证 Cross-Validation
想象一下你有一个包含5000行数据的数据集。通常情况下，你会将约20%的数据保留作为验证数据集，即1000行。但这会在确定模型得分时引入一些随机性。也就是说，一个模型可能在一组1000行数据上表现良好，即使在另一组1000行数据上表现不准确。删除训练数据中带有缺失目标值的行，并将目标值（）分离出来存储在变量中。从训练数据中选择了仅包含数值型数据的列，存储在变量中。创建了训练特征数据集，其中包含了数值型的特征列。创建了测试特征数据集，也包含了数值型的特征列。上面的管道将使用来替换数
2023-10-09 12:11:30
257
原创 机器学习必修课 - 使用管道 Pipeline
)])使用来填充分类型数据中的缺失值，策略改为’constant’，改用常数值填充。])MAE:# 自定义数值型数据的预处理步骤('imputer', SimpleImputer(strategy='mean')), # 可以使用均值填充缺失值])# 自定义分类型数据的预处理步骤('imputer', SimpleImputer(strategy='most_frequent')), # 使用最频繁的值填充缺失值。
2023-10-07 01:06:52
604
1
原创 卫星图像应用 - 洪水检测 使用DALI进行数据预处理
columns=4rows=1# 窗口的宽度是固定的，而高度根据列数和行数来自动计算，以确保图像按照指定的布局显示。使用 gridspec.GridSpec 创建一个子图的网格布局。使用 plt.subplot 创建一个子图，并根据 gs 中的索引 idx 来选择子图的位置。plt.imshow 显示图像，其中 image_batch.at(idx) 表示从图像批次中获取第 idx 张图像并在子图中显示。
2023-09-30 20:55:56
326
原创 Bash脚本学习：AWK, SED
AWK 是一种编程语言，设计用于处理文件或数据流中基于文本的数据，或者使用 shell 管道。可以将 awk 与 shell 脚本结合使用或直接在 shell 提示符下使用。建立一个文档 csvtest.csv。文档内容为：输出为：one。
2023-09-17 16:53:39
430
原创 Bash脚本学习 - 条件句、数组、for循环，函数
do：这是一个for循环的开始，它将遍历名为MY_FIRST_LIST的数组中的所有元素。echo -n $item：这部分命令用于打印（显示）当前数组元素的值，但-n选项表示不要在末尾添加换行符。|：这是管道符号，它将前一个命令的输出传递给后一个命令作为输入。done：这是for循环的结束标记，表示循环体的结束。”：这是命令分隔符，它用于将多个命令放在同一行。在 functionposargu.sh 文件中，在 functionposargu.sh 文件中，在firstfunction.sh中，
2023-09-17 15:55:06
190
原创 Bash脚本自学 - 变量和位置自变量
在hellothere.sh文件里，在指令行输入：chmod u+x hellothere.sh (授予这个文件所属者执行的权限)./hellothere.sh输出为：Hello Herbert Lindemans在interactiveshell.sh文件中，在指令行输入：chmod u+x interactiveshell.sh./interactiveshell.sh输出为：What is your first name?JeffereyWhat is your last
2023-09-16 11:26:59
175
原创 遥感图像应用：在低分辨率图像上实现洪水损害检测（迁移学习）
with torch.no_grad(): # 禁止梯度计算，因为在准确率计算中不需要梯度信息else:else:训练深度学习模型的函数。参数：model: 要训练的深度学习模型criterion: 损失函数optimizer: 优化器acc: 准确率计算函数xtrain: 训练数据ytrain: 训练标签xval: 验证数据yval: 验证标签save_file_name: 保存训练后模型权重的文件名n_epochs: 训练的总轮数（epochs）
2023-09-06 16:33:21
596
1
原创 遥感图像应用：在低分辨率图像上实现洪水损害检测
Pytochimport torchvision.transforms as transforms # 提供了各种用于预处理图像的转换函数from sklearn.metrics import accuracy_score # 计算模型的准确率self.conv1 = nn.Conv2d(3, 32, kernel_size = 3, stride = 1, padding = 1) # 输入通道数为3（RGB图像），输出通道数为32，使用3x3的卷积核，步幅为1，填充为1。
2023-09-06 12:15:28
268
原创 Python自学：异步Asynchronous
以下代码主要包含两个函数，main()和other_function()。main()函数先打印“A”，然后睡眠1秒，在它睡眠的同时，执行other_function()函数，打印“1”。然后other_function()函数睡眠2秒，在它睡眠的同时，执行main()函数，打印“B”。最后执行other_function()函数，打印“2”。import asyncioasync def main(): task = asyncio.create_task(other_function())
2023-08-30 10:29:04
124
原创 python面试：使用cProfile剖析程序性能
我们可以看到，这个程序中最耗时的函数是waste_time()，用了约5s。其次是do_stuff()，用了3.8s。
2023-08-29 15:52:35
361
原创 Python 面试：可变类型和不可变类型作为函数参数，关键字参数
每次执行函数，会建立一个不可变对象的副本，因此参数每次指向一个新的不可变对象的地址。参数会指向可变对象的副本的地址，每次修改的是同一个对象。**kwargs被打包成dict。*args被打包成tuple。
2023-08-29 11:03:06
410
原创 Python网络编程自学：如何使用Socket
同时执行server.py和client.py。文件：server.py。文件：client.py。
2023-08-28 23:37:00
178
原创 Python面试准备：利用装饰器装饰函数，改为需要用户名和密码登入才能使用函数
【代码】Python面试准备：利用装饰器装饰函数，改为需要用户名和密码登入才能使用函数。
2023-08-28 12:46:50
93
原创 Go 自学：文件的写入和读取
注意，这里读取的文件内容是data byte，我们需要使用string()函数将其转换为字符串。接着，使用io.WriteString()函数将内容写入文件。最后，使用os.ReadFile()函数读取文件内容。首先，使用os.Create()函数建立一个文件。
2023-08-27 23:38:12
1451
原创 Go 自学：map关联数组
我们还可以使用loop遍历map中的所有元素。我们可以使用delete删除map中的元素。以下代码展示了如何建立一个map。
2023-08-27 18:09:08
906
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人