- 博客(326)
- 收藏
- 关注
RSS订阅原创 pandas.errors.ParserError: Error tokenizing data. C error: EOF inside string starting at row 9
【代码】pandas.errors.ParserError: Error tokenizing data. C error: EOF inside string starting at row 9。
2023-09-12 21:43:48
187
原创 使用RoBERT进行fine tune来复现GLUE的效果
所有的文件被处理到目录: xxx/processed/train.label, xxx/processed/test.raw.input0。这段代码的作用是将input, label给提取出来.其中利用了shell命令中的cut命令能够指定原文件的列到输出文件中.调用fairseq-preprocess 命令来对数据集进行最后一步的处理.起到的作用是, 每个数据集从网址上下载下来, 存储在文件夹中.使用BPE编码方式, 进行编码.这里我使用base模型来做例子.
2023-08-16 14:16:23
247
原创 LeetCode_4_递归写法(二分比较繁琐)
递归的思路是: 设中位数是总数组的第k个数. 那么假如我们拿到数组a的第k/2个数, 拿到数组b的第k/2个数. 不过a[k/2] < b[k/2], 那么 a[0], …, a[k/2], 这些数一定不会是我们需要的中位数. 所以, 我们对数组a进行了减法. 后面我们接着寻找新a数组与b数组的新第k小的数. 这样最后k=1的时候, 我们直接输出新a数组与新b数组的第一个数字的最小的那个就是我们最终的答案.我第一次想的想法是使用二分去做, 但是很繁琐, 所以这里用的是递归的想法去做.
2023-06-28 22:10:59
220
原创 NTM中的一些Factory的用法
其中，CopyTaskParams 是一个类或一个对象，作为 Factory 的参数，用于指定需要使用的默认值生成器。这个默认值生成器将在创建实例时为属性提供默认值。具体来说，这条语句是将 params 属性设置为一个默认值为 CopyTaskParams() 的对象。Factory 是 attrs 中定义的一种工厂函数，用于为对象属性提供默认值。在上述语句中，Factory 被传递给了 attrib 的参数 default，作为默认值生成器。
2023-05-24 15:05:09
74
原创 NTM中一些Logging包中函数的用法
作为 Logger 名称，可以确保每个模块中的 Logger 名称都是唯一的，不会与其他模块中的日志混淆。Logger 对象可以记录相关日志信息并发送到不同的目标，如文件、终端等，使得代码的调试和运行更加方便。这行代码是在配置 logging 模块的基本功能，格式化并定义日志级别。是 Python 日志模块中创建一个新的Logger对象的方法，通常在模块中使用。
2023-05-23 15:23:47
84
1原创 TF通过feature与label生成(特征,标签)集合,tf.data.Dataset.from_tensor_slices
tf.data.Dataset.from_tensor_slices
2022-08-10 08:20:15
402
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人