- 博客(14)
- 收藏
- 关注
RSS订阅原创 异常检测 Task3
#coding:utf-8#导入warnings包，利用过滤器来实现忽略警告语句。import warningswarnings.filterwarnings('ignore')import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport seaborn as snsfrom pyod.utils.data import generate_data# 读取数据Train_data = pd.rea
2021-01-18 17:36:56
239
3
原创 异常检测 Task2
基于统计学的方法1.概述假设：假定正常的数据遵从一个统计模型，不遵守该统计模型的数据为异常点方法参数方法：假设统计模型参数为θ\thetaθ，概率密度函数为f(x,θ)f(x,\theta)f(x,θ)非参数方法：不假定先验统计模型，非参数方法通常假定参数的个数和性质都是灵活的2.参数方法一元情况：假定分布为正态分布多元情况：特征独立：则对每一个维度分别考虑「一元情况」特征相关：多元高斯分布混合参数分布：在许多情况下假定数据是由正态分布产生的。当实际数据很复杂时，这种假定过于简单，可
2021-01-15 18:17:49
174
原创 DataWhale-异常检测-Task01
异常检测-Task01异常检测特点异常数据样本少。通常来讲，正常的数据占据总体数据量的大多数，而异常数据的占比极小。（例如99% 与 1%的占比）任务分类1）有监督：训练集的正例和反例均有标签2）⽆监督：训练集⽆标签3）半监督：在训练集中只有单⼀类别（正常实例）的实例，没有异常实例参与训练常见场景网络异常检测欺诈检测时间序列异常检测⽇志异常检测传统方法1）基于统计学假设数据服从某个分布，比如高斯分布，然后根据样本，运用极大似然估计求出分布的参数，然后把低概率区域的样本认为是异常
2021-01-13 01:35:23
154
原创 np.logical_and用法（有代码）
刚在网上搜了一下，发现全是copy paste，自己写一个给大家用代码：import numpy as npa = np.random.randint(1, 10, (4,3))b = np.zeros((4,3),dtype=int)b[:,0] = 1np.logical_and(a,b)
2020-09-24 06:48:38
658
原创 numpy中科学技术法和数组过长默认省略的问题
Numpy显示所有行，不要省略np.set_printoptions(threshold=‘nan’)取消科学计数法np.set_printoptions(suppress=True)
2020-09-24 06:25:40
184
原创 i++和++i
1、首先，单独拿出来说++i和i++，意思都是一样的，就是i=i+1。2、如果当做运算符来说，就是a=i++或者a=++i这样的形式。情况就不一样了。先说a=i++，这个运算的意思是先把i的值赋予a，然后在执行i=i+1；而a=++i，这个的意思是先执行i=i+1，然后在把i的值赋予a。一个例子：i=4a=i++ —>a=3，i=4a=++i —> i=4，a=4...
2020-07-06 12:12:54
292
原创 tf.meshgrid + stack函数
x = [0 , 0.2, 0.4, 0.6, 0.8]len(x) = 5y = [0, 0.33, 0.66]len(y) = 3x_shift, y_shift = tf.meshgrid(x, y)把Y的维度拿来给X的col维方向做延伸x_shift =[[0. , 0.2, 0.4, 0.6, 0.8],[0. , 0.2, 0.4, 0.6, 0.8],[0. , 0.2, 0.4, 0.6, 0.8]]把X的维度拿来给Y的Col维方向做延伸不过首先要将Y“竖起来”（先转
2020-06-17 08:28:21
282
原创 Tensorflow2.0 函数式网络 Reshape layers
遇到一个reshpe的问题，记录一下官方文档找到的一种解决方案model = tf.keras.Sequential()model.add(layers.Dense(7*7*256, use_bias=False, input_shape=(100,)))model.add(layers.BatchNormalization())model.add(layers.LeakyReLU())model.add(layers.Reshape((7, 7, 256)))assert model.out
2020-06-15 07:23:53
736
原创 tf.repeat(), Tensorflow2.1.0以上
今天看代码用到了tf.repeat()查了下资料没有人专门讲解这个，我来写一下，希望能帮到后人。官方文档：https://www.tensorflow.org/api_docs/python/tf/repeat?hl=ca调用该方法：tf.repeat(input, repeats, axis=None, name=None)参数：1）input: 一个tensor2）repeats: 重复的次数注意：len(repeats) must equal input.shape[axis]
2020-06-04 11:18:34
4629
原创 街道字符识别（五）
模型的构建的时候，就已经使用drop层了x = keras.layers.Dropout(0.2)(x)之前有在人脸关键点识别的项目里用过，获得了非常显著的效果。当时提高了识别准确率。Test Time Augmentation感觉没必要。
2020-06-02 20:34:25
313
原创 街道字符识别（四）Tensorflow2.0
这次是模型的训练和验证。因为比赛提供的数据集已经分好了训练集和验证集，就不用自己在手动划分了。前几天和组里一个同学聊到怎么划分数据集（给的数据没有帮你划分好），在这也写一下。1.读取数据首先把data读取进一个dataframe里，把列名设置为path（假如是读取图片数据集）同时再设定一个class列标记label2.调整列名在这一次比赛里，从json里读进来的数据会让path作为索引列，（就是dataframe最左边的一列，index列），要把它编程内容列，所以df_data.reset_
2020-05-31 05:15:50
276
原创 街道字符识别（三）Tensorflow2.0
考虑到长度为5和6的门牌号很少，最后只做一个预测门牌号长度<=4的模型统计不同门牌号长度的数量json是被处理过的DataFrame，可以看看上一篇blog5和6长度的门牌号总共就9个，样本分布不均衡，考虑到这是个练习项目，干脆把他们删掉了。搭建网络先定义一些训练用的参数width = 224height = 112channel = 1batch = 64因为我把图片都grayscale了，所以channel = 1如果没有这个步骤的话，channel = 3inpu
2020-05-26 19:56:26
409
原创 街道字符识别（二）Tensorflow2.0
街道字符识别（二）Tensorflow 2.0标签处理看一下门牌号的最大长度和最小长度因为需要预测的门牌号最多有6位数，所以可以弄一个补位，这样可以简化问题。在预测的时候，空位置就会被‘x’填上。数据增强读取一张图片看一看使用keras数据增强的API读取上面grayscale的图片，展示效果下一次数据集分割读取数据并喂给网络...
2020-05-23 20:46:49
332
原创 街道字符识别（一）
街道字符识别（一）赛题理解读取数据看一看1.使用 pandas 读取训练集数据2.把门牌号信息处理一下，加入到上面的表格里3. 弄一张图片看一下打包预测结果下一次赛题理解一开始以为在册实际上是要通过原图去预测门牌号码的，也就是说模型要能找到门牌号的位置。后来又读了几遍比赛要求，发现位置信息全都提供了，那么这个问题就容易很多，只是单纯的预测数字信息。数字的位数问题可以通过简单的算法来解决。读取数据看一看1.使用 pandas 读取训练集数据json = pd.read_json('mchar_t
2020-05-20 14:48:30
659
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人