- 博客(22)
- 收藏
- 关注
RSS订阅原创 Attention Is All You Need
自注意力首先考虑一句话里面只有两个单词，这两个单词用各自用不同的向量表征。那么这两个向量的相关性可以用内积来表示。然后把这个思想放在多个词当中：这个a12，a13，a14就表示了a1和a2、a3、a4之间的相关性。那么a11，a12，a13，a14就像是权重，如果a4和a1相关性比较高，那么这个权重的值就会更大。这个v1可以看作是a1这个向量本身，拿向量本身与权重做乘法，就得到了受相关性约束的向量，再把这些向量相加得到b1，b1就包含了所有seq的信息了。...
2021-12-15 20:00:15
783
原创 训练Inception模型提取特征
总体思路（1）读取数据集并做预处理（2）创建Inception模型（3）训练模型前86层，不训练最后的全连接层（4）设定最后的全连接层输出并训练tips（1）读取数据集并做预处理training_datagen = ImageDataGenerator( rescale=1. / 255, rotation_range=40, width_shift_range=0.2, height_shift_range=0.2, shear_range=0.2,
2021-10-16 22:19:13
862
原创 pytorch ——线性回归
pytorch ——线性回归1.读取数据2.设定模型和loss function3.训练模型设定数据集先设定好真实的w和b，以及x是什么， y是什么：true_w = [2, -3.4]true_b = 4.2batch_size = 10为什么w十个二维向量呢？因为设定模型的时候就有两个参数。具体一点说，x1是房屋面积，而x2是房龄。w1和w2是两个参数的权重。得出的y是房屋的售价。然后我们首先设定x是取一个随机数，但是是二维的，因为x1和x2嘛。features = torch.
2021-10-11 21:43:11
458
原创 图像增强(image augmentation)
21年9月28日——吴恩达课程 图像增强在课程的第一周，我们选择用2000个subset来训练dog ves cat的模型，得出的结果出现了过拟合，即训练的acc很高，但是在验证集上的acc不高，就说明数据量不够，如果数据本身很难很难采集的话，可以使用翻转、改变亮度、添加噪声等操作来扩充数据量。这里补充一下，欠拟合一般是模型太过于简单导致的。实际上对过拟合简单的解释就是数据量太少，我见过的东西就是训练集里的，遇到其他我没见过的就无法判别，即在验证集中表现不好。在之前的模型中我们使用了ImageDa
2021-09-28 19:19:29
1355
原创 python学习笔记（5）
21年9月26日——python学习笔记（5）分而治之在讲快速排序之前，要先认识分而治之。分而治之的步骤就是：（1）找出基准条件（2）不断将问题分解具体图例请见算法图解p42快速排序首先设定数组第一个元素为基准，然后遍历li[1:]，讲比基准小的数放在左边，把比基准大的数放在右边。然后利用递归算法，对左边的序列做同样的操作，对右边的序列做同样的操作。def quick_sort(li): if len(li) < 2: return li base
2021-09-26 11:03:23
47
原创 python学习笔记（4）
21年9月23日——python学习笔记（4）插入排序：假设在打扑克，我抽到了一张7，那么我会放在5和10的中间。那么2、4、5、10就是我的手牌区，而7就是我抽的牌。对应到数组中：5和7就是我的手牌，而4就是我抽到的牌。那么4应该放在5的左边，5和7都应该往后移一个位置。那么大致上就是这个意思，从头开始！首先我认为5是我的手牌，而range(1,len(li))是我的抽牌堆，因为依次抽牌，那么这是一个for循环。我现在抽到的是7，那么我应该跟所有的手牌比较，首先比较第一个，比5大（设定5的
2021-09-23 15:08:59
74
1
原创 python算法学习笔记（3）
21年9月22日——python算法学习笔记（3）今日学习状况不佳~~选择排序选择排序指的是，首先第一趟，找出一个最小的数，跟li[0]（数组第一个元素）比较，把最小的数放在数组第一位，把本来在数组第一位的元素放在原本最小的数的位置（即交换）。那么有序区就是第一个元素，剩下的元素都是无序区。然后对无序区做上述操作，直至所有元素都排序好。def select_sort(li): for i in range(len(li)): min_loc = i for j in range(
2021-09-22 16:19:27
51
原创 图片裁剪与等比缩小
21年9月21日——图片裁剪与等比缩小做项目的时候需要太欧证图片大小，原图片是46082456，目标是要调整到224224。因为样本中图片的空白占了比较多的位置，所以我的思路是先裁剪再等比缩小。单独图片的裁剪import cv2img = cv2.imread('E:/test_input.jpg')print(img.shape)cropped = img[485:2920, 818:3676]cv2.imwrite('E:/test_output.jpg', cropped)imre
2021-09-21 19:07:42
343
原创 python算法学习笔记（2）
21年9月20日——python算法学习笔记（2）查找首先学习了线性查找，即通过for循环遍历整个列表来找到目标target；代码就不再解释了。其次，展示一下二分查找的代码：def binary_search(li, val): left = 0 right = len(li) - 1 while left <= right: mid = (left + right) // 2 if li[mid] < val: left = mid + 1
2021-09-20 18:47:33
75
原创 python算法学习笔记（1）
21年9月18日——算法学习笔记时间复杂度：略空间复杂度：是指用来评估算法占用内存空间大小的指标比如算法使用了几个变量，那么空间复杂度是O(1)；使用了长度为n的一维列表，O(n)；使用了m行n列的二维列表，O(mn)。递归：有两个特点，调用自身并且有结束条件。递归的经典例子，汉诺塔。假设n == 3，三个柱子a, b, c，大中小 三个方块，步骤就是：小块放在c，中块放在b，小块从c放在b，所以小和中都在b了（n-1个圆盘从a经过c移动到b），然后把大块放在c（把第n个从a移动到c），然后把
2021-09-18 14:23:47
79
原创 RNN（循环神经网络）
2021-09-15——RNN前言：对于一个订票系统而言，系统需要知道用户的destination和time of arrival，因此对于一句话:系统能够得到两个重要信息，比如可以用CNN的方法，输入是整个一个word，输出就是destination和time of arrival。那么如何把词汇作为输入呢？比如Word hashing，比如apple拆分的话为3维向量（看图上），维度为1可以找到app的位置，然后其余位置为0，ppl与ple类似。总而言之，输入是一个word，经过CNN框架，就
2021-09-15 20:50:39
94
原创 代码阅读笔记（2）
21年9月13日——代码阅读笔记（2）test的部分：def plot_matrix(y_true, y_pred, labels_name, title=None, thresh=0.8, axis_labels=None):该函数用于建立矩阵，稍后在建立混淆矩阵时使用，具体代码省略。def getimagedataandlabels(root_dir):def custom_gabor(shape, dtype=None):def squeeze_excitation_layer(x, o
2021-09-13 14:08:51
97
原创 代码阅读笔记（1）
21年9月13日——代码阅读笔记首先看模型部分：root_dir_train = 'dataset\\train\\'root_dir_test = 'dataset\\test\\'训练集与测试集的根目录def get_im_cv2(paths, img_rows, img_cols, color_type=3, normalize=True): ''' 参数： paths：要读取的图片路径列表 img_rows:图片行 img_
2021-09-13 11:07:58
185
原创 tensorflow学习笔记（3）
21年9月8日——CNNimport tensorflow as tfprint(tf.__version__)mnist = tf.keras.datasets.fashion_mnist(training_images, training_labels), (test_images, test_labels) = mnist.load_data()training_images = training_images.reshape(60000, 28, 28, 1)training_image
2021-09-08 19:27:30
106
原创 tensorflow学习笔记（2）
21年9月8日——NNimport tensorflow as tfprint(tf.__version__)mnist = tf.keras.datasets.fashion_mnist(training_images, training_labels), (test_images, test_labels) = mnist.load_data()class myCallback(tf.keras.callbacks.Callback): def on_epoch_end(self,
2021-09-08 19:17:23
75
原创 tensorflow学习笔记（1）
21年9月8日——tensorflow传统的编程思路是设计好函数（function），设置好输入，求得输出。而机器学习的思维是输入和输出都是数据集，计算机通过学习得出模型（model）。import kerasimport numpy as np#input_shape：张量的维度model = keras.Sequential([keras.layers.Dense(units = 1, input_shape = [1])])#sgd:随机梯度下降， mean_squared_err
2021-09-08 18:33:50
77
原创 softmax函数
21年9月8日 softmax函数学习记录首先softmax函数是用于多分类的，即输出结果是多个概率。那么既然输出是概率，那么就存在两个性质：输出结果非负概率之和等于1如果要使输出结果为负，考虑使用指数函数，即exp（x）。为了让又指数函数输出结果之和为1，方法很简单:z1 = y1 / (y1 + y2 + y3)其余以此类推参考博客：https://blog.csdn.net/lz_peter/article/details/84574716?ops_request_misc
2021-09-08 08:52:45
124
原创 CNN（深度卷积神经网络）
21年9月7日 CNN学习记录简单阐述一下CNN的流程：首先对图片卷积并池化，重复这个过程many times，随后进行扁平化，将得到的vector放入神经网络。接下来我们具体阐述各个步骤的方法。卷积（Convolution）图像卷积的步骤是选定滤波器大小，然后从输入图像的左上角开始，然后对两个矩阵做点积，得到输出的结果，该值就是输出矩阵a11的数值。随后依照stride（步长）来计算a12的值，以此类推。一般会有多个滤波器，因此卷积后的结果虽然矩阵的长宽变少了（输出矩阵边长为输入矩阵的边长-滤波
2021-09-07 20:07:13
198
原创 Why Deep?
21年9月7日———Why Deep深度卷积神经网络中的深度有什么作用，创建NN时常常选择“瘦而长”（层数多，每层的神经元数目较少），而不选择“胖而短”（只有1层，但这一层的神经元数目很多）的原因。对这种现象或者说设计模式的解释是：多层的神经元可以互相利用，利用率更高，单层的话冗余度太高，每一次使用的时候都要重新设计，就类似于我们更倾向于涉及多个function然后在各个函数中互相调用，而不是只创建一个main函数，每次要使用一个功能的时候都去重头设计。要记住深度这个概念是为了使模型结构化（Modu
2021-09-07 15:04:54
46
原创 2021-09-06
21年9月6日———有关深度学习的Tips**在训练的结果中，训练集和测试集都可能不会达到预期的结果，对于训练集结果不好的原因有:1.模型的架构有问题2.学习率的问题而对于测试集可能的原因是：1.早停2.正则化3.Dropout**首先针对训练集中模型的架构有问题进行解析：那么首先要知道一个现象叫做Vanishing Gradient Problem意思是说，因为sigmoid函数的存在，导致输入的变化并不会产生线性的输出变化（输出的变化率低于输入的变化率），如图所示：因此在多层的
2021-09-06 20:37:41
68
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人