quzheng90的博客

原创 ImportError: cannot import name ‘prepare_model_for_int8_training‘ from ‘peft‘

尝试各种重装升级都不行，最后找peft里面居然没有prepare_model_for_int8_training. 使用的是prepare_model_for_kbit_training. textgen的版本没有跟上，需要手动在textgen gpt_model中修改 'prepare_model_for_int8_training'为prepare_model_for_kbit_training.

原创 修改jupyter文件位置

2、打开.jupyter文件，新建jupyter_notebook_config.py 这个文件。1、cmd中运行jupyter notebook --generate-config。返回.jupyter文件。

原创 Benchmark、Baseline、SOTA

Benchmark和baseline都是指最基础的比较对象。你论文的motivation来自于想超越现有的baseline/benchmark，你的实验数据都需要以baseline/benckmark为基准来判断是否有提高。唯一的区别就是baseline讲究一套方法，而benchmark更偏向于一个目前最高的指标，比如precision，recall等等可量化的指标。举个例子，NLP任务中BERT是目前的SOTA，你有idea可以超过BERT。那在论文中的实验部分你的方法需要比较的。

原创 encoder小问题

【代码】【无标题】

原创 latex 中文坑记录

中文参考文献知网给出的bibtex格式可能有问题。报错为too many commas in name“”，参考文献的作者格式应为 A，B&C，D&E。&和commas应该交替出现。写毕业论文用overleaf ，发现各种小坑，特此记录一下。学校的tex版本都是老的不能再老的，需要调整编译器版本适应。编译器xelatex。

原创 vscode不能识别conda

正常安装时，conda只会把根目录写进环境变量path中，需要使用conda中的包则需另外引入D:\Codes\Anaconda\ScriptsD:\Codes\Anaconda\Library\bin到path中。

原创 qlib使用问题：Do not import qlib package in the repository directory in case of importing qlib from . wit

vscode使用qlib报如上错误，方案如下If the error occurs when importing qlib package with PyCharm IDE, users can execute the following command in the project root folder to compile Cython files and generate executable files:python setup.py build_ext --inplace...

原创 使用 pytorch的dataloader

from torch.utils.data import DataLoaderfrom datasets import datasets = { 'train': Hijackdataset( input_ids=token_ids, lens=lens, mask=mask, labels=labels, task=task ), .

原创 AssertionError: text_pair input must of type str (single example), List[str] (batch or single pretok

做文本匹配的时候碰到这个问题，看起来是文本格式不对，但是反复确认转为str了仍然报错。注意查找发现元数据中存在纯数值，加入文本之后问题解决。在输入文本中尽量确定不要有纯数值、表情和特殊字符。问题解决也是从排查这类数据开始。...

原创 关于list的append与clear

使用list.append其他list时，在append之后调用clear清除追加的list中的内容，则追加对象的内容也会被清空。例如：此时pkl中的内容为空，因为lst_single被清除了。可以理解为append追加的是对象的地址。在输出结束后清除则不会存在该问题...

原创 mathtype使复制粘贴功能失效

解决方案：删除 C:\Program Files\Microsoft Office\root\Office16\STARTUP 中MathType Commands 2016.dotm将C:\Program Files (x86)\MathType\Office Support\64 中MathType Commands 2016.dotm 复制粘贴到C:\Program Files\Microsoft Office\root\Office16\STARTUP重启office...

原创 自用笔记

原创 Trajectory Privacy in Location-based Services and Data Publication

kdd 11年的文章LBS（location business service）的典型例子包括本地商业搜索、电子营销、社交网络和汽车流量监控。尽管LBS为移动用户提供了有价值的服务，但向可能不受信任的LBS服务提供商透露他们的私人位置会引发隐私问题。一般来说，LBS有两种类型，snapshot LBS和continuous LBS。对于快照LBS，移动用户只需向服务提供商报告一次其当前位置即可获得所需信息。另一方面，移动用户必须定期或按需的方式向服务提供商报告其位置，以获得所需的连续LBS。连续LBS中

原创 TrajGuard:一个全面的轨迹版权保护方案

上周五睡眼朦胧的时候，导师说我今年名额没申请下来，你挂在xx名下可以么？我竟一时不知道说什么好。算是被坑了一下。不过也不全是坏事，之前组里的气氛很让人头大，换个新组开始新研究，反倒觉得更有盼头了。ACM SIGKDDTrajGuard:A Comprehensive Trajectory Copyright Protection Scheme轨迹数据在许多城市应用中得到了广泛的应用。由于轨迹数据包含了运动目标的隐私信息，因此在有效监控下实现轨迹数据的共享是一项非常重要的任务。大公司通过购买用户的

原创 机器学习预测评论有用性

literature reviewsMethodologydataset：294,034 reviewers除了消费者的文本反馈外，还收集了消费者的社会地位、餐厅类型、评论日期、餐厅的个别评论者的星级等相关信息。此外，还获得了对每个独立审查的有用性投票数，以衡量审查在研究中的有用性dataprocess文本预处理过程遵循先前研究的步骤，包括消除非英语字符和单词、单词文本标记、词性标记、替换常见的否定词、单词词干提取和删除低频单词(少于2%)。Aspect Extraction.

原创 DID模型

E(yt1)E(yc1):政策变化前结果的均值。E(yt2)E(yc2):政策变化后结果的均值 delta(yt)反应实验组政策变化后的结果变化，delta（yc）反应control组证的变化前后的差。delta(delta(y))即是政策产生的影响。did前提：共同趋势假定政策的实施有滞后效应，因此需要把政策的实施变量dst滞后几期验证政策实施的平均效应。实现DID需要共同趋势检验方法：如果实验组与对照组不满足共同趋势假定，需如下处理：1、加权对照...

原创 区块链如何影响商业模型

(1)客户细分，(2)价值主张，(3)渠道，(4)客户关系，(5)收入来源，(6)关键资源，(7)关键活动，(8)关键合作伙伴关系，和(9)成本结构（1）客户细分区块链可以帮助企业达到以前无法到达的目标市场(Larios-Hernandez, 2017)，因此为企业创造了新的客户细分。比如Everest在非洲、亚洲和南美洲的目标客户群。Everest是一家使用基于以太协议的私有许可协议的公司，它提供了一种去中心化的分布式账本技术，其中包括一个支付解决方案、一个多货币钱包和一个生物识别系统，以方便向发

原创 中心化与标准化

中心化（又叫零均值化）和标准化（又叫归一化）概念及目的目的：消除数据间量纲的差异方法：中心化：减去均值；归一化：（1）减去均值并除以方差使之服从N（0，1）分布；（2）修改样本使之数值分布在[0,1]标准化是中心化的进一步处理归一化与中心化都可能提高精度；归一化使随机下降的速度加快；标准化更好的反应数据的特征。...

原创 A Ten-Step Decision Path to Determine When to Use Blockchain Technologies--区块链技术选择

This article presents a ten-step decision path that can help determine whether the application of blockchain is justified and, if so,which kind of blockchain technology to use. We describe how this decision path was used to develop a blockchain prototype

转载 Oracle数据库 sql%found,sql%notfound,sql%rowcount

执行dml(insert,update,delete)语句时,使用隐式游标,可使用sql%found （布尔类型，默认值为null）sql%notfound（布尔类型,默认值为null）sql%rowcount(数值类型默认值为0)sql%isopen(布尔类型)当执行一条DML语句后，DML语句的结果保存在四个游标属性中，这些属性用于控制程序流程或者了解程

原创 sql语句执行顺序

1.from2.where3.group by4.having5.select6.distinct7.order by8.top

转载 CASE WHEN 两种用法

(1)枚举这个字段的各个可能的值，对枚举到的每一个具体的值单独作出对应的处理 举例说明SELECT CASE a.AFTER_QUALITYWHEN '0' THEN '过免维期'WHEN '1' THEN '未过免维期'ELSE '错误数据'END AS AFTER_QUALITYFROM t_maintain_log a12345678