- 博客(22)
- 收藏
- 关注
RSS订阅转载 docker 修改 shm-size
pytorch 在docker中用到多线程dataloader时往往会因为dockers对share memory的限制报错网上大多数解决方案要么是重建一个container 要么是把dataloader的num_worker设为0第一个对于配好的环境之后实在太麻烦第二种方案会导致训练速度明显变慢通过这篇文章中的方法，修改对应的shmsize参数即可解决https://blog.csdn.net/shmily_lsl/article/details/81166951...
2020-07-26 19:56:56
6281
原创 字节跳动提前批后台，一面面经
今天下午面了字节跳动飞书后台的一面，一共面了差不多一个半小时，面试官很耐心，问的有深度有广度。首先是一段自我介绍然后问的操作系统和组成原理相关的：1、线程和进程的区别 答：进程有独立资源，线程是进程的子结构，共享一个进程的资源2、设计线程和进程的目的 答：线程主要是为了充分利用CPU资源，在耗时操作的时候挂起I/O线程，CPU可以计算其他线程3、在什么情景下使用多线程什么情景下使用多进程 （I/O密集型场景和计算密集型场景）答：想了半天，I/O密集型场景...
2020-06-30 20:28:05
1173
原创 opencv ImportError解决方法
安装完opencv-python后直接使用可能会遇到以下两个错误，这是缺少运行文件，按照提示安装即可，这里稍微记录一下。ImportError: libSM.so.6: cannot open shared object file: No such file or directory解决方法：apt-get install libsm6ImportError: libXrender.s...
2019-11-23 11:43:45
700
原创 机器学习作业 3-layer Forward Neural Networks（BP算法）在ex4Data数据集
ML课堂作业，第五个是三层前向网络，老数据集ex4Data，首先把作业要求贴上来，一共可以分为两个部分，分别是手写版和tensorflow版，因为三层前向网络已经不是线性模型，所以也无法绘制出分类线，通过计算准确性来评估模型。数据集是老数据集了，需要下载的可以在图中或前面的文章找到链接。三层前向网络是一个非常基础的神经网络，可以看成是若干个感知机的复合，可以选择任意激活函数，这里为了求...
2018-10-14 11:19:13
1589
2
原创 机器学习笔记 perceptron（感知机） 在ex4Data数据集上的实现
惯例的ML课堂作业，第四个也是最后一个线性分类模型，感知机。感知机是一个非常简单的线性分类模型，简单来说就是一个神经元，其激活函数是门限函数，有n个输入和一个输出，和神经元结构十分相似。感知机的损失函数是看作是分类错的所有样本的输出值的和hw的输出就是模型的预测结果，对于二分类问题就是0/1两种，y是真实标记。当预测和真实一致时，求和项为0，当hw取1，真实样本为0，系数为...
2018-09-26 21:28:39
1418
2
原创 机器学习笔记 softmax的实现 ex4Data数据集
ML课的第三个练习作业总共实现两个优化算法一个是GD一个是SGD，逻辑回归的已经在前面的博客中实现过了数据集链接：http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex4/ex4.htmlsoftmax的模型实际就是一个相对概率模...
2018-09-21 15:12:48
1662
原创 机器学习笔记 tensorflow实现在cifar10数据集上的cnn
主要是试着使用一下cifar-10数据集，cifar-10数据集为60000张32*32*3的彩色图片，总共有10个类别，其中50000张训练集，10000张测试集。下载地址：http://www.cs.toronto.edu/~kriz/cifar.html 代码与google的例子和网上的版本大致相同，主要的区别是使用了cifar10的python版数据，自己写了一个读...
2018-09-19 15:55:52
5918
3
原创 机器学习作业-Logistic Regression（逻辑回归）
ML课堂的第二个作业，逻辑回归要求如下：数据集链接如下：http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex4/ex4.html逻辑回归的关键是运用了sigmod函数，sigmod函数有一个很好的性质是其导函数很好求函数图像...
2018-09-16 11:17:27
1875
转载 numpy 拼接矩阵
numpy中的矩阵拼接方法首先我们有一个数据是一个mn的numpy矩阵现在我们希望能够进行给他加上一列变成一个m(n+1)的矩阵import numpy as npa = np.array([[1,2,3],[4,5,6],[7,8,9]])b = np.ones(3)c = np.array([[1,2,3,1],[4,5,6,1],[7,8,9,1]])PRint(a)pr...
2018-09-15 10:12:59
7689
原创 机器学习作业-线性回归 南京房价预测
ML课上老师布置的第一个作业，利用线性回归预测南京房价，具体任务和数据如下图所示：首先我们可以很简单的看出这是一个递增的序列，所以2014年的价格大致应该是在13左右，这有助于我们调试程序。所谓线性回归就是用一条直线去拟合数据的关系，其拟合结果的理想情况当然是所有的数据点都能落到模型拟合的直线上，当然这基本是不可能的，线性回归的假设（或者说模型）便由下面这个公式表述：在我们这个...
2018-09-14 12:49:58
3219
1
原创 机器学习笔记 tensorboard的使用
tensorboard是一个功能强大的可视化工具，这里简单的介绍一下tensorboard的使用，首先给出中文社区的教程：http://www.tensorfly.cn/tfdoc/how_tos/summaries_and_tensorboard.htmltensorboard适应于tensorflow的计算图结构，我们将收集数据看成是tensorflow计算图中的一个节点，所以使用tens...
2018-09-12 17:12:49
345
原创 机器学习笔记 tensorflow mnist上实现CNN网络
mnist上的一个普通cnn例子，采用两层卷积和池化层加一层全连接，为了防止过拟合在全连接层用了dropout，是一个十分简单的例子import tensorflow as tfimport input_datamnist = input_data.read_data_sets("MNIST_data/",one_hot=True)x = tf.placeholder("float"...
2018-09-05 14:53:51
257
原创 机器学习-学习笔记 tensorflow上实现bp网络 分别在MNIST数据集和机器学习课后习题5.5
本来想根据机器学习书上的推导的梯度下降公式手写一个梯度下降，但是效果不好，后面用了tf自带的梯度下降后成功。发现方差作为代价函数不能在MNIST数据集上取得良好效果，训练正确率始终在0.1上下徘徊。MNIST上的优化函数得使用交叉熵，隐含节点个数有几个经验公式，大概取了一个附近的值，下面先给出MNIST上的代码。 import numpyimport input_dataim...
2018-08-01 20:59:57
734
原创 机器学习-学习笔记 Tensorflow教程 MNIST上的softmax回归
按着官网的教程写了一遍，注意一下python版本的语法问题，很容易就跑通了，如果MNIST数据集没法直接通过input_data下载，可以现在官网上下好，然后放到read_data_sets里设置的目录下，就可以了，不需要解压。import tensorflow as tfimport input_datamnist = input_data.read_data_sets("MNIST_...
2018-08-01 18:08:36
271
原创 机器学习-学习笔记（四） tensorflow+mnist数据集，实现最邻近算法
KNN在Mnist数据集上的实现，用的是L1距离（各像素差的绝对值的和），tf实现，十分简单的算法在MNIST上效果不错，测试正确率能大概在0.96import numpyimport input_dataimport tensorflow as tfmnist = input_data.read_data_sets("MNIST_data/",one_hot=True)x = ...
2018-08-01 17:55:49
355
原创 机器学习-学习笔记（三）第三章 习题3.3
用C语言实现了一下3.3中的对率回归问题，C语言求逆矩阵是个很麻烦的事情，这里参考了一些网上的博客，偷了懒。#include<stdio.h>#include<string.h>#include<math.h> typedef struct parameter{ double w[10]; int w_lenght; double b;}pa...
2018-07-19 18:24:35
720
原创 机器学习-学习笔记（三）第三章 线性模型
线性模型试图通过一个属性的线性组合来得到一个预测值进行预测，即或者可以写成矩阵形式，即其中和b通过学习得到，线性模型非常容易理解，他通过对所有属性进行综合考虑来进行预测，其中权值可以理解为某个属性的重要程度，例如在判断苹果是否成熟的问题上，表皮的颜色就是很重要的判断依据，而相对来说苹果的形状可能没有那么重要，在模型中则反映在权值的大小上。线性模型也是许多复杂模型的基础，理解线性模型...
2018-07-18 11:17:05
407
原创 机器学习-学习笔记（二）第二章 模型评估
西瓜书第二章的笔记，本章主要是如何评估一个学习算法的各种方法，类似传统算法书中用时间复杂度和空间复杂度来评估类似，机器学习算法的评估要复杂得多。...
2018-07-13 23:58:36
772
原创 机器学习-学习笔记（一）第一章 基本概念
看完了西瓜书的第一章，做一个简单的笔记。 一、基本概念属性（attribute）/特征（feature）-反映事件或对象在某方面的表现或性质的事项，属性张成的空间称为“属性空间”（attribute space）/“样本空间”（sample space）。示例（instance）/样本（sample）-关于一个事件或对象的描述，每个示例由d个属性描述可表示为是d维样本空间Y中的一个向量，，...
2018-07-12 12:27:08
351
原创 CodeVs 1026 逃跑的拉尔夫
题目描述年轻的拉尔夫开玩笑地从一个小镇上偷走了一辆车，但他没想到的是那辆车属于警察局，并且车上装有用于发射车子移动路线的装置。 那个装置太旧了，以至于只能发射关于那辆车的移动路线的方向信息。 编写程序，通过使用一张小镇的地图帮助警察局找到那辆车。程序必须能表示出该车最终所有可能的位置。 小镇的地图是矩形的，上面的符号用来标明哪儿可以行车哪儿不行。“.”表示小镇上那块地方是可以行车的，
2016-07-27 23:03:02
470
原创 浅谈Android Handler机制
Android系统的驱动机制是仿照Windows的消息驱动机制设计的。在Android中线程之间的通信就靠消息来完成。这套机制由以下几个类来实现。1.Message——消息2.Handler———消息处理者3.Looper——消息循环器4.MessageQueue———消息队列他们是如何工作开实现这套机制的，我画了一个流程图来描述。
2016-05-09 15:58:23
304
原创 Android APP严重卡顿BUG
最近做的一个项目，遇到了一个奇怪的BUG，主界面的动画效果卡顿严重，在手机上开启了GPU呈现模式分析之后，卡顿时条形图长度充满整个屏幕。后查明原因是由于某个ImageView使用的图片所导致，当播放动画效果需要覆盖或者改变该ImageView时，就会出现卡顿。后发现当该ImageView使用的图片为1001*1309左右时会产生该问题，图片大小大于或小于该值都不会产生卡顿。具体原因不明，解决方法是
2016-05-08 16:22:25
760
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人