- 博客(21)
- 资源 (6)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 mysql 双主同步(基于GTID)zabbix自动监控状态
一、主从介绍主从复制:主服务器可以读写,从服务器可以读,主服务器写的时候,从服务器也同步双主复制:两个服务器都是主服务器,都可以读写,互相同步,只要有一个写,另一个就会同步,但必须指定相同主键,初始状态需要相同。组复制:多个sever(半)同步复制GTID:不再依赖binlog文件名和文件中的位置,前几种都需要依赖,且极容易出错,需要flush logs,但需要5.7之后的版本...
2020-01-13 19:14:57
527
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 InfoGAN 网络训练过程介绍
一、InfoGAN是什么 简单的讲,就是一种常见的GAN,是在普通的GAN的基础上增加Q网络,可以通过无监督学习的方式学到生成的数据的类别。二、小故事 小D是一个很喜欢吃饺子的姑娘,喜欢吃不同的馅的饺子,而且对于饺子的要求十分高,尤其喜欢B城的一家饺子店的饺子,但是由于长期身在A城,没有办法吃到B城的饺子。 而她的男朋友小G和她是异地,而且恰好是在B城,是一个非常宠她的小伙子,经常为了让...
2018-01-19 17:19:07
3910
原创 爬虫 403 增加header和代理ip也没用?有可能是cloudflare在搞事情
当爬虫遇到了403,有可能的原因主要有:1. 你的User-Agent暴露了你,解决方案,增加headerimport requestsimport cfscrapefrom urllib import requestfrom urllib import parsefrom http.cookiejar import CookieJarheaders = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) App
2021-10-09 16:53:14
11603
1
原创 mysql 可视化工具总结
一、HeidiSQL简介:官网 githubHeidiSQL runs fine on Windows Vista, 7, 8 and 10. Using Wine, it mostly runs fine on Linux and MacOS. Connect to multiple servers in one window 支持sql语句 方便看到数据库的大小、列数 ...
2020-01-20 14:18:29
1492
原创 数据版本管理 DVC data version control 和git一起管理你的机器学习实验数据
数据版本管理的目的每个模型的在训练的时候,所使用的训练数据/测试数据都有可能是变化的,在进行复现实验结果的时候,除了使用同样的代码,config,使用同样的数据也是非常重要的。如下图,如果要人工记录数据版本以及模型版本,使之匹配是比较麻烦的,因此,数据版本管理是十分必要的。一、简介DVC 可以轻松地将数据存储在许多存储系统上,像本地磁盘、SSH 服务器或云系统(S3、GCP 等...
2020-01-20 13:28:01
6775
原创 baseline needs more love 简单网络vs复杂网络(1)——baseline
(一)背景说到baseline和art of start,做建模的同学应该都不会陌生吧,最近关于机器学习和深度学习的争执也是越来越多,其中就不乏会有人认为,其实深度学习能够做到的事情,机器学习也可以做到,还可以少花费一些时间来训练模型,计算资源的要求也会低一些,可是事实上到底是怎样的呢?baseline needs more love这篇论文(ACL2018)中就做了相关的实验来进行证明。说到NL...
2018-07-13 20:59:41
814
原创 爬虫报错 DLL load failed: 操作系统无法运行1%
查到的解决方案有三种:1)重新安装 scrapy,pip uninstall scarpy 2)把C:\Windows\System32目录下的libeay32.dll和ssleay32.dll删除即可(但是可能会对其他依赖这两个DLL的软件有影响)。(未尝试)3)pip install -I cryptography (建议使用此方法)...
2018-07-11 15:40:14
1566
原创 OS自动创建和系统时间名字一样的文件夹
利用OS自动创建和系统时间名字一样的文件夹例子:结果:创建一个文件夹2018_04_16_19_39_50,里边有三个文件夹FP/FN/TP#!/usr/bin/python# coding:utf-8'''# creat Folder same as system time# Copyright 2018.4.16 Pulse Analyze Project# Author: supe
2018-04-16 19:41:34
365
原创 Tensor must be 4-D with last dim 1, 3, or 4,bug记录
torch学习入坑(1) 记录一下第一个坑,防止自己忘记。 在用torchvision.utils.make_grid处理完图片之后,维度会变为三维,如果需要使用tf.summary.image ,需要增加batch size 的那一维,需要用到的函数为 tf.expand_dims。注意:1、torchvision.utils.make_grid函数 输入:Tensor of s...
2018-04-16 18:55:56
1972
翻译 tensorflow r1.5 版本差异调研
一、Breaking Changes1、预编制的二进制文件是针对CUDA 9 和 cuDNN 7制定的。2、Linux的二进制文件是使用 ubuntu 16构建的,在使用ubuntu 14引入glibc的时候,可能会出现不兼容的问题。3、从1.6的版本开始,预编译的二进制文件会使用AVX指令,可能会破坏CPU上的TF。(This may break TF on older CPUs)
2018-01-05 09:42:04
1775
原创 Alexnet 网络结构和原理介绍
一、Alexnet网络结构图* 二、Alexnet网络结构详细解读* 之前做过一个相关的ppt,下图是其中的一页,介绍的也比较详细,可以参考:Alexnet网络是由八层网络组成的,包括5层卷积层和3层全连接层,下面是详细的介绍: 首先,Alexnet的输入部分是224*224*3的图片,经过预处理之后,变为227*227*3的大小,作为网络的输入的部分。
2018-01-04 14:53:43
7508
原创 交叉验证 CrossValidation K折交叉验证
在机器学习或者深度学习的过程中,划分数据集是一个十分重要的工作,我们在进行交叉验证的时候,可以有效的减少过拟合的情况,尽可能的利用数据的全部的有效特征来进行训练模型。
2018-01-02 18:05:06
1341
原创 数据标准化 数据归一化 数据预处理 data normalization / scale
一、数据归一化的好处:数据标准化和归一化的区别和联系: 在进行处理数据的时候,标准化的方法是比较多的,其中数据归一化是一种常见的数据的标准化,只不过标准化只是将数据进行规范到一个范围之内,对于数据的归一化来说,是将数据规范到0到1之间或者是-1到1之间。在使用机器学习或者深度学习的模型的时候,数据预处理的阶段是十分重要的,我们在进行处理的时候,包括缺失值处理、异常值处理、重复值处理等很多方面,当然
2018-01-02 16:14:19
3415
原创 迁移学习基础知识 源域 多任务学习 目标域
迁移学习 简单的将就是举一反三,是将已经学习到的知识迁移到另一种未知的知识的学习,即从源域迁移到目标域。小故事 从前有一个商人,在帝都以卖猫的玩偶为生,他叫CNN,很厉害,是一个分辨高手,擅长区分不同的猫咪,如果有人拿猫咪想要坑他,基本是不可能的。名贵的猫咪的玩偶也就卖的贵一些。突然有一天,他不想卖猫了,想要卖狗狗和老虎的玩偶(只是比喻啦~保护小动物人人有责,违法乱纪的事坚决不能干)。 本以为
2018-01-02 15:27:53
19856
原创 重采样 上采样 下采样
重采样的原理: 重采样主要是分为上采样和下采样,在进行采样的过程中,需要注意采样的倍率的问题,并不是可以随意的改变采样率的大小的,根据采样定理:在进行模拟/数字信号的转换过程中,当采样频率fs.max大于信号中最高频率fmax的2倍时(fs.max>=2fmax),采样之后的数字信号完整地保留了原始信号中的信息,一般实际应用中保证采样频率为信号最高频率的5~10倍;采样定理又称奈奎斯特定理。(采样
2018-01-02 15:15:49
13803
原创 TP FP FN TN precision Recall Accuracy
TP: true postive,实际上是正样本,预测也为正样本,真正 FP:false postive,实际上是负样本,预测为正样本,真负 FN:false negative,实际上是正样本,预测为负样本,假负 TN:true negative,实际上是负样本,预测为负样本,真负 precision :精准率 = TP/(TP+FP) Recall :召回率 = TP/(TP+FN)
2017-12-29 16:28:19
822
原创 sklearn.model_selection中的train_test_split使用方法,分割数据集,划分训练集和测试集
sklearn.model_selection中的train_test_split使用方法,分割数据集,划分训练集和测试集
2017-12-28 16:50:55
2942
原创 调试神经网络的注意事项和技巧总结(一)
最近在调试神经网络的过程中,遇到了网络不收敛的情况,查阅了很多的相关的资料,根据相关的建议,作出了一些实验,来进行调试,下面这几点是我遇到的几个坑: 1.数据预处理 2. 数据规范化 3.正则化 4.batch size 5.使用了不适当的学习率 6.在最后一层使用了错误的激活函数 7.网络含有不良梯度 8.尝试不同的优化器 9.及时检查结果首先,对于一个神经网络来说,我们在进行建
2017-11-25 14:20:02
1602
原创 InfoGAN 论文阅读笔记 基本知识总结
最近的一些工作是在使用InfoGAN,查看了一些资料,发现相关的资料并不是很多,所以,写了这个博客,一方面希望对最近两个周看到的文献进行一个归纳总结,另一方面希望遇到在做这方面的工作的大佬们,请教学习,不足之处请指正,谢谢大家~。一、什么是InfoGANInfoGAN是一种常见的GAN 的变种,是由InfoGAN: Interpretable Representation Learning
2017-11-04 17:18:43
3900
原创 动脉硬化检测分析部分指标说明
1、脉压:为高低压差。正常一般为40mmHg,60脉压增大。脉压指的是收缩压和舒张压之间的差值,正常范围是30~50mmHg,在20~30mmHg之间或50~60mmHg之间临界值,此时如果伴随心脑血管病危险因素者应当积极治疗。说明:脉压是卒中的重要的预测因子,脉压每升高10mmHg,卒中的危险增加11%,全因死亡的概率增加16%。2、ABI(ankle brachial inde
2017-09-07 09:01:56
11682
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人