南瓜派三蔬

原创 Git | git常用操作整理

文章目录1. 分支1.1 新建分支1.2 删除本地或远程分支1.3 重命名本地分支1.4 查看分支1. 分支1.1 新建分支新建本地分支并切换到新分支git checkout -b banch_name新建远程分支：本地建分支，推送到远端，并创建跟踪信息(如果不创建跟踪信息，pull该分支会报错，并给出提示信息)git push origin local_branch_name:remote_branch_namegit branch --set-upstream-to=origin/re

原创 python | vscode远程画图本地显示图片—报错—X Error: BadAccess (attempt to access private resource denied)

背景：我用vscode在远程服务器上画图，用的是X11插件。问题是，画图时经常报错 ：X Error of failed request: BadAccess (attempt to access private resource denied) Major opcode of failed request: 18 (X_ChangeProperty) Serial number of failed request: 12 Current serial number in outpu

原创 python | multiprocessing并行计算例子和资料

文章目录1. 进程池 Pool1.1 典型用法——并行计算，获取返回值1.2 apply vs apply_async vs map vs map_async2. Process2.1 典型用法——多进程执行，获取返回值1. 进程池 Pool1.1 典型用法——并行计算，获取返回值import time from multiprocessing import Pool def f_sum(arr): time.sleep(len(arr)) print('sleep

原创 python | 使用flask部署celery异步服务并用flower实时查看——初级代码教程

准备：要先安装redis；可以网上找其他教程，安装完之后，验证redis安装成功了再进行下一步；文章目录1. celery+flask代码结构及代码内容1.1 tasks.py1.2 congfig.py1.3 flask_service.py1.4 __init__.py2. 启动celery和flask服务3. 启动flower-任务实时监控页面1. celery+flask代码结构及代码内容1.1 tasks.py下面的代码是celery服务的核心计算代码：计算一个list中所有元素的和；计

原创 ML & DL | 资料汇总 | 机器学习 & 深度学习-基础知识

1.Dropout层和BN层和池化层的反向传播Dropout层和BN层和池化层的反向传播

原创 DL | 目标检测 YOLO系列模型 高质量文档整理

文章目录训练集和测试集长什么样mix precisonpytorch 技术

原创 DL | mmdetection笔记：安装+训练测试+部署服务

文章目录1.介绍2.安装3. 训练和测试3.1 coco数据集格式和构造3.2 训练参数配置3.3 训练3.3 测试4.部署服务4.1 部署4.1.1 安装docker或者nvidia-docker4.2 检查是否正常启动了服务4.3 调用服务-curl命令4.4 调用服务-post请求5.遇到的小坑1.介绍mmdetection是一个安装和使用方便，非常好用，非常优秀的一款国产cv框架。可以方便的用来做目标检测、语义分割等。2.安装按照官方文档就很方便，考虑到github经常卡的上不去，我还是把

原创 python | LeetCode笔记 | 看了就头疼的题目

文章目录1. 正则表达式1. 正则表达式

原创 python | LeetCode笔记 | 经典题型总结——动态规划

1.InPlace类-不需要额外存储空间1.1 三角形最小路径和120题：给定一个三角形 triangle ，找出自顶向下的最小路径和。class Solution: def minimumTotal(self, triangle: List[List[int]]) -> int: L=len(triangle) if L==1: return(triangle[0][0]) for i in range(L-2,-

原创 DEBUG | mmdetection报错ImportError: libcudart.so.11.0: cannot open shared object file

文章目录1. 报错说明2. 解决办法3. 原因分析1. 报错说明安装完mmdetection之后，运行测试案例，报错ImportError: libcudart.so.11.0: cannot open shared object file: No such file or directory我搜了一下，看到有些帖子，是 libcudart.so.10.1，libcudart.so.9.0等。2. 解决办法我是重装了pytorch（按照cuda==11.0）安装的，然后重新build mmd

原创 python | LeetCode笔记 | 超过时间限制的一些解决策略

以空间换时间

原创 FATE | 在线推理服务的使用和问题处理

文章目录1. 在线推理操作步骤1.1 配置文件设置1.2 推断单个样本-inference1.3 推断多个样本-batchInference2.遇到的问题2.1 remote rpc exception1. 在线推理操作步骤1.1 配置文件设置（1）load model 的模型配置文件修改vi fate_flow/examples/publish_load_model.json配置如下{ "initiator": { "party_id": "9999",

原创 python | LeetCode笔记 | 经典题型总结——链表

1. 链表的定义和基本结构_删除节点1.1 删除中间节点实现一种算法，删除单向链表中间的某个节点（即不是第一个或最后一个节点），假定你只能访问该节点。# Definition for singly-linked list.# class ListNode:# def __init__(self, x):# self.val = x# self.next = Noneclass Solution: def deleteNode(self, no

原创 Ubuntu | 安装GPU版本的pytorch

文章目录1. 安装命令2. 验证安装成功3.关于cuda的版本等问题1. 安装命令从下面链接找到符合自己环境的安装命令Pytorch官方：INSTALLING PREVIOUS VERSIONS OF PYTORCH我用的是：pip install torch==1.6.0+cu92 torchvision==0.7.0+cu92 -f https://download.pytorch.org/whl/torch_stable.html2. 验证安装成功进入python环境impor

原创 Ubuntu | 安装TensorFlow2-GPU方法

假设已经安装了合适版本的anacuda和cuda。1.根据系统和python版本找到相应文件的地址在这个页面的尾部根据系统类型和python版本选择相应的Tensorflow文件链接。例如我是ubuntu、python3.8，那么相应的TensorFlow文件地址为：、https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow_gpu-2.3.0-cp38-cp38-manylinux2010_x86_64.whl2.用pip3

原创 ML | XGBoost系统原理&论文要点整理

还有一些未解决的问题，以后明白了再补上。笔记比较粗略，详细内容参考原论文——XGBoost: A Scalable Tree Boosting System。文章目录1. 从损失函数到分裂评价准则1.1 Boosting Tree的数学表达式1.2 总函数的损失函数1.3 怎样计算一棵树——怎样进行节点分裂2. 防止过拟合：Shrinkage & Column Subsampling2.1 Shrinkage2.2 Column Subsampling3. 树的生成算法（分裂算法）3.1 Bas

原创 FATE | 宿主机运行docker容器内的py文件

1. docker exec -it Container_ID /bin/bash -c ‘python temp.py’我在一些资料里看到这一个，然而并不好使，会报错，“python3” command not found

原创 联合学习 | 纵向LR原理综述

【首先需要声明的是，这里面不少是我自己的理解，供参考；如果错了请指正】文章目录1.纵向LR的损失函数2.损失函数展开成多项式2.1 用到的泰勒展开式2.2 原损失函数展开并计算梯度3.关于同态加密4.纵向LR整体流程5.参考资料1.纵向LR的损失函数FATE的代码里和一些论文里，写的实现纵向LR训练的时候，损失函数都是：这个损失函数和我们常见的形式不太一样。怎么来的可以参考 标签为{+1,-1}时，逻辑回归损失函数推导。这种形式的损失函数的好处是，在多方联合计算损失函数的时候，怎么对各方结果

原创 ML | 标签为{+1,-1}时，逻辑回归损失函数推导

文章目录1.标签为{0,1}损失函数推导2.标签为{+1,-1}损失函数推导2.1 似然函数2.2 损失函数1.标签为{0,1}损失函数推导参考资料：本部分资料来自这个链接网上搜到的多数是标签为0-1的时候，损失函数是可以看到上述似然函数用到一个技巧：把标签0-1的两种情况在似然函数里用一个式子统一起来。 在这个基础上进行推导就得到这个损失函数。2.标签为{+1,-1}损失函数推导2.1 似然函数纵向逻辑回归的一篇论文中，当标签为{+1,-1}时候，损失函数为：这样的好处是在纵向联合学

原创 FATE | 单机版fate-模型训练-测试步骤

1. 启动fate环境cd docker_standalone-fate-1.5.0_previewsudo bash install_standalone_docker.sh2.获得容器idsudo docker ps -aqf "name=fate_python"CONTAINER_ID="030409291d39"sudo docker exec -t -i ${CONTAINER_ID} bash3. 运行环境测试案例bash ./python/federatedml/test/

原创 python | requests实现shell-curl的功能

这两个都可以用来请求服务，给服务一些数据，获得服务的返回值。文章目录1. curl的代码2. 相应的python代码3. 其他——返回值结果解析成字典1. curl的代码我当时用的是curl代码是：看到curl的参数有：-H -i --data，分别对应：Header，服务的IP的地址，请求的数据。$ curl -X POST -H 'Content-Type: application/json' -i 'http://192.168.7.1:8059/federation/v1/infer

原创 FATE | 集群版fate-模型训练-测试步骤

1. 进入并测试docker环境进入fate-docker环境$ docker exec -it confs-10000_python_1 bash测试系统是否正常$ cd /data/projects/fate/python/examples/toy_example/python run_toy_example.py 10000 9999 1若正常可以进行下一步；否则可以简单的重新部署：$ bash docker_deploy.sh all2. 纵向LR训练过程2.1 Host机

原创 FATE | ubuntu用KuteFATE在多台机器部署联合学习框架FATE——要点

【自己的理解和体验，可能有不对的地方，供新手参考，结合官方教程使用效果更佳】1. standalone-FATE、cluster-FATE、KubeFATE区别的个人理解Standalone-FATE：如字面意思，单击版本的FTAE，适合用来自己学习FATE；Cluster-FATE：字面意思是集群FATE，个人感觉更容易的理解是“多个party”联合训练的FATE，我们要进行真正的多台机器联合学习，要部署这种FATE；KubeFATE：它是在研发和测试环境下，用来部署集群FATE（Clust

原创 SMPC加密-计算平均值的-小例子-[有点神奇]

1. SMPC的概念全程为Secure Muti-party Computation，中问翻译为“多方安全计算”。可以用到联合学习的模型加密中。2. SMPC的应用场景比如有A、B、C三个单位，它们有三个模型。有一个中心节点，需要计算三个模型的平均值得到联合模型。但是怎么在不直接拿到ABC三个模型的实际参数的情况下，得到他们的平均值呢【这个有点神奇的】，其中一种技术就是SMPC。3. SMPC计算均值的小例子下述例子计算 A+B+C=22+44+35=97假设 有ABC三个人，他们各自有一个数

原创 DL | 序列标注模型-BiLSTM+CRF机理概述

1.序列标注模型简介序列标注问题包括自然语言处理中的分词，词性标注，命名实体识别，关键词抽取，词义角色标注等等。例如，命名实体识别（NER）的标注问题就是：对长度为N的输入序列，对其中的每个元素打上标签，得到长度也为N的label，例如人名、地点等标签。2.BiLSTM+CRF模型流程2.1 为什么用BiLSTM+CRF模型CRF是非常经典的序列标注模型，深度学习发展起来之后，深度学习+CRF的模型得到广泛应用。其中的代表就是BiLSTM+CRF。2.2 一种典型结构2.2.1 数据预处理字

原创 TensorFlow2 | RNN—时间序列预测—几个简单代码例子

代码整理自 《Hands On Machine Learning with sklearn,Keras and TensorFlow》Chapter 15: Processing Sequences Using RNNs and CNNs。文章目录1.生成模拟数据2.朴素预测方法作为基准预测方法3.TensorFlow线性回归预测4.simple RNN5. 多层 RNN6.预测未来的10个点6.1 10次预测10个点:Sequence-to-Vector RNN6.2 1次预测10个点:Sequen

原创 DL | 变分自编码器+要点综述+代码实现+生成图片

1.VAE的结构变分自编码器（Variational Autoencoders）是由Diederik Kingma和Max Welling在2014年提出来的。1.1 网络结构VAE的基本结构如下图所示,来自《Hands On ML》: Figure 15-11:Variational autoencoder (left), and an instance going through it (right)。上述的Hidden1,Hidden2可以使密集层或者卷基层。模型结构上来看Variation

原创 TensorFlow2 | 实现自编码器Tying Weights的一种简易方法

1.问题描述Tensorflow2 貌似没有内置的实现Tying Weights的方法。网上有若干资料，主要思路是写一个DenseTranspose的class，stackoverflow上就有好几个。感觉这种写一个新的Dense的class的思路，坑特别多，反正我搜的几个，没有一个能顺利实现的。自己写了一个不用Class的方法，基本实现这个功能。2.实现代码下面的代码是一个根据入参构建一个堆栈自编码器的函数。2.1 基本的思路（a）encoder部分可以用常规的Sequencial来构建。（

原创 TensorFlow2 | RNN-Variable Length Input-变长输入序列处理-例子

tensorflow1中处理变长字符串的一种方法是：（1）把所有字符串用补全的方式变成相同长度的；（2）然后训练的时候，通过一个参数 seqence_length来告诉模型，输入的‘可用长度’，后面补全的数值就‘无视’了。对于tensorflow2，处理的基本思想类似，不过使用Masking的方式，具体方法如下。1.对变长输入补全，变为相同长度例如原始输入sequence长度分别为3和...

原创 DL | Embedded Reber Grammar原理简述及一种python实现

1.Reber Grammar如上图所示，它基本是个‘有环的有向图’。从B开始经过各种可能的有向边（所代表的字母）到达E组成的字符串，就是满足Reber Grammar的字符串。例如 BTSXSE，BPTVVE等。2. Embedded Reber Grammar将Reber Grammar的字符串前面加上两个字母，后面加上两个字母，也就是把满足Reber Grammar的字符串Emb...

原创 DL | DeepDream过程和原理概要

1.过程1.1 输入和输出准备输入：训练好的神经网络模型，例如InceptionV3模型；　　　一张需要加工的图片，记做original_image，如下图所示；输出：经过DeepDream加工之后的图片，如下图所示，记做image。image初始值设置为original_image。1.2 选定输入的模型的某个（些）层，构造目标函数L目标函数L是对选定的所有的层，每层求均值，对这...

原创 TensorFlow2 | 并联神经网络-例子

【以下有自己搜索和理解的内容，未必全对，供有需要的同学参考。】1. 什么是并联神经网络如下图所示，有时候需要搭建一个如下图的网络：“并联”两个子网络，将他们的输出层Concat到一起，然后在二者合并之后的网络上继续添加隐层。2. tensorflow2 代码实现2.1 构造网络的图tensorflow2已经没有像tf1里面那么强调图，不过感觉像这种构造一些比较灵活的网络，其实隐含了“图......

原创 差分隐私[differential privacy]概念解析

原创 Tensorflow2 | 50行代码的迁移学习实例

1.问题描述在mnist数据集上，用0～4的图片训练一个模型，保存模型之后。复用其前几层，修改输出层。用新模型来训练5～9的图片（每张图片只用100张图片，原模型训练的时候每个数字是用大约6000张图片）。不过值得一提的是，这个小例子里用迁移学习，效果明显不如不用迁移学习，可能也是个反面案例，告诉我们迁移学习也不是总管用吧。2.TF2做迁移学习的关键技术点2.1 导入模型TF2比TF1在...

原创 python | 语法点-笔记

----不停更新中

原创 Ubuntu-语法点笔记

—不停更新中

原创 时间序列预测模型——ARIMA综述

参考资料 https://blog.csdn.net/qq_36810398/article/details/103381406。参考资料 https://stats.stackexchange.com/questions/19715/why-does-a-time-serieshave-to-be-stationary。有很多 API 可以直接返回最优的差分次数，例如 R 语言的 ndiff...

原创 R | forecast-动态谐波回归原理

——本文章中的动态谐波回归的一些个人的理解，仅供参考1. R中的动态回归模型（Dynamic Regression Models）对一个时间序列{y(n)}，设{x(n)}是{y(n)}的影响因素组成的时间序列，其中x(n)可以是一个向量。动态回归模型的意思就是：先用一个“机器学习模型”，用{x(n)}当做输入，{y(n)}当做目标，训练出一个机器学习模型（R中基本都是线性函数，我看有的资料...

原创 周期时间序列的傅里叶项：R-fourier()计算方法

一、傅里叶级数展开公式设周期函数f(x)，其周期为T，角频率为，则该函数可展开为下面三角形式的傅里叶级数(展开条件等这里略过):二、R中forecast::fourier用法library(forecast)y=c(1,2,3,4,1,2,3,4)y=ts(y,frequency=4)res=fourier(y,K=2)输出结果如图：三、fourier函数计算过程因为根据（...

原创 指数平滑预测系列算法ETS——简述

整理自 Forecast:Principle and Practice chapter7,如有不清楚的地方,请参考原书 如有不清楚的地方,如有不清楚的地方,请参考原书 请参考原书https://otexts.com/fpp2/ets.html 。...