X1996_的博客

原创 tensorflow中callbacks

tf.keras.callbacks是回调函数，在训练过程中可以访问用来做一些决策tf.keras.callbacks.EarlyStopping早停函数，当监控目标monitor训练patience轮都不下降时，结束训练tf.keras.callbacks.EarlyStopping( monitor='val_loss', min_delta=0, patience=0, verbose=0, mode='auto', baseline=None,

原创 tensorflow中model.compile()

model.compile()用来配置模型的优化器、损失函数，评估指标等里面的具体参数有：compile( optimizer='rmsprop', loss=None, metrics=None, loss_weights=None, weighted_metrics=None, run_eagerly=None, steps_per_execution=None, jit_compile=None, **kwargs)我

原创 python中*args和**kwargs的理解,Python中的*args和**kwargs的理解与用法

来自：https://blog.csdn.net/weixin_42312227/article/details/1161786031、*args和**kwargs 这两个是python中方法的可变参数。2、*args表示任何多个无名参数，它是一个tuple；3、kwargs表示关键字参数，它是一个dict。并且同时使用*args和kwargs时，必须*args参数列要在**kwargs前，像foo(a=1, b=‘2’, c=3, a’, 1, None, )这样调用的话，会提示语法错误“Synt

原创 google colab 训练模型时，第一轮为什么非常慢

google colab 训练模型时，第一轮为什么非常慢，怎么解决感谢这位老兄：https://www.xiaoheidiannao.com/249953.html我在这里找到了解决方案一开始我只是以为是刚训练时载入数据或模型初始化那些比较慢，第一轮训练后面连的训练耗时差了十几倍，一开始我的batch_size设置的大一点，第一轮训练大概要2个小时左右，后面把batch_size改小了一倍，第一轮训练直接要5到6个小时了，实在不能忍受了，毕竟一天GPU的使用时间有限，然后就去找了找原因，解决办法。

原创 7. LeNet

LeNet网络有两层卷积层，两层池化层，三层全连接层构成，搭建模型直接堆叠就好了搭建网络import tensorflow as tffrom d2l import tensorflow as d2ldef net(): return tf.keras.models.Sequential([ tf.keras.layers.Conv2D(filters=6, kernel_size=5, activation='sigmoid',

原创 6. 正则化 Dropout

正则化正则化主要是为了减少模型的过拟合，就像激活函数是为了增加网络的非线性。Dropout只是其中的一种方法，主要是以一个概率将隐藏层的隐藏单元置为03. 通常越浅层网络置0的概率越低。import tensorflow as tffrom d2l import tensorflow as d2l# 正则化 以dropout的概率丢弃张量输入X中的元素def dropout_layer(X, dropout): # 断言 判断dropout是否在0-1 assert 0 <

原创 5.搭建两层网络

跟前面的没什么差别，搭建两层网络就初始化两层网络的参数就好了1. 自己初始化参数模型那些，巴拉巴拉巴拉************会用到前面的训练、预测、评估部分函数，复制过来就好了没有***d2l***库的话安装就好了!pip install d2limport tensorflow as tffrom d2l import tensorflow as d2l# 分批载入数据集batch_size = 256train_iter, test_iter = d2l.load_data_fas

原创 4.简洁实现softmax分类

与3中的一样，只是把自己实现的函数用API接口代替了，看着简洁了import tensorflow as tffrom d2l import tensorflow as d2lbatch_size = 256train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)# 初始化模型参数net = tf.keras.models.Sequential()net.add(tf.keras.layers.Flatten(input

原创 3从0实现softmax训练，实现Fashion-MNIST分类

一. 数据集介绍Fashion-MNIST由10个类别的图像组成， 每个类别由训练数据集（train dataset）中的6000张图像 和测试数据集（test dataset）中的1000张图像组成。 因此，训练集和测试集分别包含60000和10000张图像。 测试数据集不会用于训练，只用于评估模型性能。Fashion-MNIST中包含的10个类别，分别为t-shirt（T恤）、trouser（裤子）、pullover（套衫）、dress（连衣裙）、coat（外套）、sandal（凉鞋）、shirt

原创 cv2.imshow() is disabled in Colab, because it causes Jupyter sessions to crash；（Colab解决显示图片问题）

cv2.imshow()在Colab不能显示图片问题虽然不了解原因，但是换一下就可以了from google.colab.patches import cv2_imshowimport cv2 as cvimport numpy as npimg = cv.imread("111.jpg")cv2_imshow(img)

原创 2利用API实现线性回归深度学习训练

这一个就是把昨天写的一些函数用API代替实现，不需要自己去写，比较简洁，实现的功能跟1一样，都是实现一个简单的线性回归网络import randomimport tensorflow as tf# 生成数据集 y = X*w + b + (误差)def Data(w, b, num): # 生成全0矩阵 X = tf.zeros((num, w.shape[0])) # 给x随机赋初值 X = X + tf.random.normal(shape=X.shape) # 计算X对

原创 1.实现一个最简单的线性回归深度学习训练

**一、实现深度学习训练主要有数据集的制作载入数据集定义模型并初始化模型参数定义损失函数定义优化函数设置迭代次数，batch_size大小，开始训练**import randomimport tensorflow as tf# 生成数据集 y = X*w + b + (误差)def Data(w, b, num): # 生成全0矩阵 X = tf.zeros((num, w.shape[0])) # 给x随机赋初值 X = X + tf.random.norma

原创 Google Colab中把pyth3.7版本更换成python3.6(tensorflow1.13)

1.把python默认版本3.7换成3.6，需要先把pip卸载了，换成3.6后再安装pip，不然后面pip下载安装的包在3.7的包下。#卸载python3.7下的pip!python -m pip uninstall pip2.删除python3.7的软连接，然后换成python3.61.先把这个路径下的文件删除“ /usr/local/bin/python2.把python3.6的软连接设置为python!sudo update-alternatives --remove pyt

原创 二、ZooKeeper集群分布式协调服务 - 集群分布式锁设施课后习题

1.ZooKeeper关键特性有哪些。*A .最终一致性B .实时性C .原子性D .顺序一致性正确答案：A,B,C,D2.ZooKeeper客户端常用命令使用包含哪些。*A .调用ZooKeeper客户端，执行命令：zkCli.sh –server 172.16.0.1:24002B .创建节点：zkCli.sh –server 172.16.0.1:24002C .列出节点子节点：ls /nodeD .创建节点数据: create /node正确答案：A,B,C,D3.Str

原创 一、大数据行业与技术趋势课后习题

1.大数据不能做什么。*A .不能替代管理的决策力B .不能替代有效的商业模式C .不能无目的的发现知识D .不能替代专家的作用正确答案：A,B,C,D2.大数据可以应用于哪些领域。*A .零售B .金融C .城市D .医疗正确答案：A,B,C,D3.FusionInsight SparkSQL具有以下哪些特性。*A .SQL兼容性B .数据更新和删除C .稳定和高性能的大规模SparkD .高可靠性正确答案：A,B,C4.Intel Hadoop利用SSD、CPU

原创 TypeError: __array__() takes 1 positional argument but 2 were given

np.array(image,np.float32)语句出现TypeError: array() takes 1 positional argument but 2 were given错误时：把np.array(image,np.float32)改成：np.asarray(image).astype('float32')基础不好，我也不知道为什么，以前能跑的代码现在不能跑了，改了一天才改好，记录一下。...

原创 7 元组

元组里定义的数据不能修改，但是元组里的字典可以修改，元组里的函数只有index，count，len

原创 6 列表操作

** 查找**通过下标直接查找2. 通过函数查找# 直接查找位置，找不到报错index()# 统计出现次数count()# 访问列表长度len()3. 判断某个数据是否存在列表中用 in ，存在返回true，否则false增加append()2. extend()这个方法跟append方法有点不同，当添加为一个序列时，这个方法会把序列拆开逐一添加3. 插入inser()在指定位置添加元素3. 删除del 删除整个列表或者删除某个列表元素2. pop()如果不

原创 5 字符串操作

字符串字符串的定义：字符串可以用单引号，双引号，三引号来定义，三引号定义时可以直接换行切片里面的参数取值正负都可以，步长为正数的时候是从左往右取，为负数时是从右往左取。（最后一个数的位置是-1）步长的方向与开始位置到结束位置的方向要一致，不然会报错常用操作查找find()# 从左向右rfind（）#从右向左index()#从左向右rindex()#从右向左count();find()返回下标或-1index()返回下标或报异常修改replace()#替换split()#

原创 4 运算符、随机数生成、三目运算符

运算符的分类not为非，取反

原创 3 输入和输出

输出占位符一些技巧s% 和 f{} 比较特殊：f{} 输出格式看着比较方便转义字符python输出默认带了一个换行符，可以自己换成其它在这里插入代码片print("hello", end=" ")print("world")print("hello")print("python")输出:hello worldhellopython输入因为输入的都是当作字符串，之后可以类型转换为自己需要的类型...

原创 2 常用数据类型

输出a的数据类型print(type(a))列表–list：a = [10, 20, 30]元组–tuple：a = {10， 20， 30}集合–set:a = (10, 20, 30)字典–dict：a = {‘name’: ‘TOM’, ‘age’: 18}

原创 1 Debug工具

断点为程序开始调试的位置

原创 0 PyCharm的基本设置

PyCharm的基本设置Theme调整风格，Use custom font调整菜单字体改代码字体字号在Editor里面，还有改变风格设置解释器

原创 11 cnn简介

主要简单介绍卷积层和池化层池化层全连接层

原创 10 tf.data

学到这一节，内容整理的很乱tf.data主要是tensorflow里面数据输入Data类以及相关操作还有TFRecord文件的保存和读取所有代码在notebook中编写的数据处理代码Dataset类Dataset类读取numpy数据import tensorflow as tfimport numpy as npimport matplotlib.pyplot as pltmnist = np.load("mnist.npz")x_train, y_train = mnist

原创 9 Tensorboard的使用

Tensorflow2.0下使用TensorBoard（Win10）一、keras版本下使用需要定义回调函数，并且设置参数各个参数的含义 log_dir：保存TensorBoard要解析的日志文件的目录路径。 histogram_freq：默认为0。计算模型各层的激活值和权重直方图的频率(以epoch计)。如果设置为0，将不会计算直方图。若想直方图可视化，必须指定验证数据(或分割验证集)。 write_graph：默认为True。是否在Tensor

原创 8 自定义评估函数

自定义评估函数跟自定义损失函数差不多，本文自定义一个评估函数，返回正确的个数自定义训练from __future__ import absolute_import, division, print_function, unicode_literalsimport tensorflow as tffrom tensorflow.keras.layers import Dense, Flatten, Conv2Dfrom tensorflow.keras import Modelimport n

原创 7 自定义损失函数

自定义损失函数这个实验需要用到mnist.npz数据集自定义训练和用自带的fit()函数训练好像差不多自定义训练头文件from __future__ import absolute_import, division, print_function, unicode_literalsimport tensorflow as tffrom tensorflow.keras.layers import Dense, Flatten, Conv2Dfrom tensorflow.keras im

原创 6 自定义层

自定义的层名不要与自带的层重名from sklearn import datasetsimport tensorflow as tfimport numpy as npiris = datasets.load_iris()data = iris.datalabels = iris.target# 定义一个全连接层class MyDense(tf.keras.layers.Layer): def __init__(self, units=32, **kwargs):

原创 5 模型保存与加载

一 keras模型保存与加载搭建模型并训练import numpy as npimport tensorflow as tfx_train = np.random.random((1000, 32))y_train = np.random.randint(10, size=(1000, ))x_val = np.random.random((200, 32))y_val = np.random.randint(10, size=(200, ))x_test = np.random.rando

原创 4 自定义模型训练

构建模型（神经网络的前向传播） --> 定义损失函数 --> 定义优化函数 --> 定义tape --> 模型得到预测值 --> 前向传播得到loss --> 反向传播 --> 用优化函数将计算出来的梯度更新到变量上面去自定义模型训练 无评估函数import numpy as npimport tensorflow as tfdata = np.random.random((1000, 32))labels = np.random.random((100

原创 3 keras版本模型训练

顺序模型from tensorflow.keras import layersimport tensorflow as tfimport numpy as npdata = np.random.random((1000, 32))labels = np.random.random((1000, 10))# 搭建模型model = tf.keras.Sequential()model.add(layers.Dense(64, activation='relu'))#第一层model.ad

原创 Failed to get convolution algorithm. This is probably because cuDNN failed to initialize

跑猫狗分类cnn时出现了这个，查资料，有让换版本的，但是看见一个说的挺有道理的，都2019年了，不存在换版本，哈哈哈，现在已经是2020年了。然后另一种方法是让加点东西，找了各种加进去都不行，然后我发现是我在jupyter notebook里用gpu跑了前一个程序，然后跑这个程序出现了这问题，我把它关了重新打开就行了。...

转载 手写数字体识别，用保存的模型跑自己的图片

原文博客：https://blog.csdn.net/X_m_w/article/details/101056156模型训练：https://blog.csdn.net/X1996_/article/details/108883710这里是用训练的模型直接来预测，模型训练可参考上篇文章主要是用opencv把图片处理成需要的图片格式，然后预测输入图片：输出：import cv2import numpy as npfrom keras import models# 反相灰度图，将黑白阈值颠倒

原创 （一）keras手写数字体识别并识别自己写的数字

训练数据用的是mnist，这是一个官网实例，我把它跑了一遍后把模型参数保存了下来，然后用参数来识别自己的图片数字。程序主要三部分：跑官网实例保存模型参数制作自己的图片，转换为需要的格式加载模型参数，测试自己的照片一、模型训练及参数保存from __future__ import print_functionimport kerasfrom keras.datasets import mnistfrom keras.models import Sequentialfrom keras.

原创 Anaconda3安装tensorflow 2.0版本cpu和gpu安装，Win10系统

tensorflow是在anaconda上安装的，所以先安装anconda一、安装anaconda3我安装的是这一个，anaconda自带python，所以不需要单独安装python点击安装，一路next下去（图不是我安装的图，哈哈）安装位置可以自己更改，记住自己的位置就好添加环境变量不要勾，自己后面手动添加比较好，然后一直next下去，直到完成。然后配置环境：先找到自己的安装位置，我的是装在E盘，需要添加的路径有这四个：E:\Anaconda3E:\Anaconda3\Scripts

原创 C语言读取数据

#include <iostream>#include <stdio.h>#include <stdlib.h>using namespace std;int main(){ //下面是写数据，将数字0~9写入到data.txt文件中 FILE *fpWrite1=fopen("out1.txt","w"); FILE *fpWrite2=fopen("out2.txt","w"); FILE *fpRead2=fopen("input2.txt","

原创 2 三种建模方式

三种建模方法Sequential方法 顺序模型 函数模型 子类化模型函数式API方法Model子类化自定义模型一、Sequential model#第一种Sequential model、from tensorflow.keras import layersimport tensorflow as tfmodel = tf.keras.Sequential()model.add(layers.Dense(64, activation='relu')) #第一层model.add(lay

原创 1 张量的简单使用