- 博客(45)
- 收藏
- 关注
RSS订阅原创 git使用
将一个分支source-branch中的特定文件添加到另一个分支target-branch中，而不合并整个分支。2、清除本次commit的文件改动，新建文件会被删除，回到上一次提交文件的状态【谨慎操作】将分支branchA中的所有改变合并到另一个分支branchB中，同步两个分支的代码。1、仅是撤销commit提交，修改后的文件会保留在暂存区，改动不会消失。1、 进入要同步代码的分支，落后的分支branchB。取消本地的一些改变，会撤销文件的所有改变。修改远程仓库的3次提交记录。取消已经add的改动。
2024-07-14 16:19:41
254
原创 python连接mysql数据库生成测试数据
有时候在做业务逻辑的时候免不了要和数据库进行交互，在大量查询、更新数据的时候可以简单测试一下业务代码的执行效率。使用mysql-connector连接数据库可以快速简单的生成大量的测试数据，方便后续自己测试使用。此时就需要保持数据库表中有大量的测试数据。
2024-07-11 18:53:59
168
1
原创 Python类实例的json
当然我们可以根据查询出来的实例对象，构建一个dict返回，这样会导致我们的代码非常的臃肿。web开发中有这么一个场景，我们从数据库中查询某一数据的时候，往往需要对数据进行一些转化之后才能传给前端。此时还有一个问题，如果我们只想通过dict(对象)返回特定的属性如何操作呢？如果一个类的属性比较多，我们只想根据传参的集合来构架字典从而序列化如何做呢？此时你会看到类变量通过__dict__函数是不会被转化字典从而被序列化的。调用类的__dict__函数将类的一些属性转化字典进行序列化。函数中指定返回的集合即可。
2024-07-06 16:22:39
247
原创 Python with语句
它主要用于确保在代码块执行完毕后，正确地释放资源，例如文件操作、锁、网络连接等。语句确保文件在操作完成后会被正确关闭，即使发生异常也是如此。语句可以确保即使在发生异常的情况下，资源也能被正确地关闭和清理。我在刚接触python的这个语法的时候，会认为。一般是上下文协议的对象或者资源管理器中使用。语句就应该差不多了，为什么倒数第二行打印是。语句是一种用于简化资源管理的语法结构。好像都是前面对象本身的类型，那是因为。后来发现是我肤浅了。都是上下文或者资源管理器。变量是一个什么是东西?显然这是没有营养的~
2024-06-07 16:27:30
159
原创 bert模型数据集加载方式
上述代码主要通过加载bert-base-chinese模型的分词器处理原始数据，之后实现一个Dataset的子类将数据封装到PyTorch框架可识别数据结构。Dataset 类是PyTorch框架中用于处理数据的基本组件，它允许用户定义自己的数据集类，以满足特定任务的需求。方法来根据索引返回数据集中的一个样本，通常会包含数据的加载、解码等操作。方法来初始化数据集，可能需要加载数据、解析数据等。，它们是所有数据集必须实现的方法。方法来返回数据集中样本的数量。现记录一下PyTorch 的。
2024-05-28 16:38:54
439
原创 matplotlib绘图二
matplotlib版本：3.7.5numpy版本：1.24.3pandas版本：2.0.3本文主要记录matplotlib对pandas的绘图，matplotlib的绘图技巧参考这里。
2024-04-28 15:04:32
295
1
原创 Transformer架构实现一
三个辅助函数注意力机制、module拷贝函数、从0-1搭建Transformer架构。3）编码层的多头注意力机制。3）编码层的多头注意力机制。4）编码层的前馈全连接。2）输入层的位置编码。2）输入层的位置编码。
2024-04-15 17:55:33
222
原创 Spark记录
Spark记录未整理，请以较平静的心态阅读。目的： 根据user_id进行分组，同时将同一user_id看过的anime_id转化为一个字符串数组（anime_ids），将anime_ids转化为二维的list [[[20, 81, 170, 263…],[]…]，最后构建一个关于anime_ids的邻接矩阵。
2024-04-08 23:53:42
777
原创 linux环境下vscode安装jupyter
1）pip install notebook -i https://mirrors.aliyun.com/pypi/simple/ # 下载依赖，最后使用临时镜像。2）jupyter notebook # 运行jupyter即可。
2024-03-31 23:49:20
170
原创 RNN实战二
相同实验条件下，LSTM确实会比RNN更有优势，但是LSTM的网络结构要比RNN复杂的多，我们只要明白他就是另一个RNN而已，只是他优化了RNN的梯度消失的问题。查阅文档发现LSTM层与层之间是没有内置规范化处理的，于是抱着试一试的态度，将LSTM最后一层隐藏状态的输出进行规范化后送入全连接层，验证一下这个所谓的规范化层的作用。在RNN中这个参数设置是不收敛的，可是在LSTM中确是收敛的，此参数下是没有发生梯度消失的，模型的权重也得到了更新，同等条件下，LSTM确实会比RNN要好很多。
2024-03-13 20:28:10
1158
原创 信息熵和交叉熵损失函数
是模型预测的各个类别的概率分布，两个向量的点乘求和（就是公式中里面那个求和计算）就是这个样本的一次交叉熵损失值了，这和信息熵几乎一样。可以看出torch实现的交叉熵损失函数F.cross_entropy 和我们实现的结果是一致的（注意两者的实现公式稍有不同）代码中cross_entropy函数对信息熵的计算和本文推导的公式稍有不同，本质一样，主要为了代码编写方便。信息熵较小，三个事件中倾向发生事件三，数据的确定性较高（等价数据的不确定性较低）。理解那个为1的类别其概率为100%，其他类别的概率都为0，
2024-02-28 15:19:10
933
原创 支撑向量机 SVM学习理解
支撑向量机（Support Vector Machine，简称svm） 是一种解决二分类问题的有监督的机器学习模型。核心思想就是寻找一个的决策边界（超平面）来区分两种不同类别的样本。
2024-02-17 23:32:38
1050
1
原创 K近邻算法
这样不一定是最好的，假设k=5，其中有两种类别的样本都是2票，此时产生平票的问题，当然我们可以随便选一个返回，这样做就过于简单直接了。实际使用knn时，往往需要根据业务场景对参数进行网格搜索，以便获取一组最佳的参数组合，本文只是knn算法学习理解，暂不涉及sklearn中网格搜索的内容。缓解上面平票情况，可以考虑距离的因素，离得近他的票就应该占比大，实际上这也是合理的，这种考虑距离的因素就是为前k个样本赋予了权重。k近邻算法是非常特殊的，可以被认为是没有模型的算法，仅统计当前样本中前k个样本的票数。
2024-02-05 14:34:59
876
1
原创 逻辑回归学习和理解
逻辑回归（Logistic Regression）解决二分类问题，改造算法可以实现多分类问题。本文主要从二分来推导分析逻辑回归算法。文章公式较多还请慢慢思考。我们来花费一些时间来推导逻辑回归的计算公式，主要是损失函数推导过程和梯度求解以及梯度的向量化，这是十分重要的，因为在使用RNN循环神经网络做分类的时候可能会和这里的推导有关系，这里的推导过程如果可以明白，那么我们完全可以使用numpy包实现一个简单的RNN的神经网络。强烈建议将这里的公式推导弄明白，再看RNN时，就不会被那么多公式劝退了。对于一个线
2024-01-20 17:35:50
871
原创 PCA 主成分分析法下
降维：PCA 算法通过选取较多信息量的前kkk个主成分来进行降维操作，这样原数据保留的信息最多。降噪：PCA降维后将数据返回到原本的高维空间过程中，可以实现”保证维度，但去掉方差很小的特征所带的信息。过拟合：PCA 保留了主要信息，但这个主要信息只是针对训练集的，而且这个主要信息未必是重要信息。有可能舍弃了一些看似无用的信息，但是这些看似无用的信息恰好是重要信息，只是在训练集上没有很大的表现，所以 PCA 也可能加剧了过拟合。特征独立：PCA 不仅将数据压缩到低维，它也使得降维之后的数据各特征相互独立。
2024-01-18 14:55:56
830
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人