- 博客(39)
- 收藏
- 关注
RSS订阅转载 服务器创建tensorflow环境，nni自动调参记录
一、anaconda安装记录1.1 下载安装脚本：wget https://repo.anaconda.com/archive/Anaconda3-5.2.0-Linux-x86_64.sh1.2 运行安装向导：bash Anaconda3-5.2.0-Linux-x86_64.sh1.3 确认是否安装成功：conda --version这个版本的Anaconda3-5....
2019-02-15 18:11:00
372
转载 L1和L2正则化。L1为什么能产生稀疏值，L2更平滑
参考博客：https://zhuanlan.zhihu.com/p/35356992 https://zhuanlan.zhihu.com/p/25707761 https://www.zhihu.com/question/37096933/answer/70426653 首先正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化的值会越大。 正则...
2018-12-04 16:35:00
548
转载 windows python的多进程
最近打比赛，apply操作极慢，队友使用了线程池，用多核开辟多线程跑，加速。在阿里平台上，都没问题。我是win10系统+jupyter notebook多线程那个模块运行，会显示一直运行，p.close()会被卡死from multiprocessing import Pooldef df_cut_word(data, c): data[c] = dat...
2018-12-03 21:08:00
273
转载 数据挖掘比赛，构建矩阵时的脑残行为
scipy.sparse.hstack(blocks,format=None,dtype=None)[source]¶Stack sparse matrices horizontally (column wise)Parameters:blockssequence of sparse matrices with compatible shapesforma...
2018-10-11 16:58:00
146
转载 ValueError: X needs to contain only non-negative integers.
for feature in short_cate_feature: enc.fit(data[feature].values.reshape(-1, 1)) base_train_csr = sparse.hstack((base_train_csr, enc.transform(train_x[feature].values.reshape(-1...
2018-10-10 17:30:00
506
转载 During handling of the above exception, another exception occurred:
今天在计算机矩阵相关性，准备删除相关性高的列中，出现了这样的问题：During handling of the above exception, another exception occurred:问题原因又说python版本过高，我确实是3.7有点高，还有其他的。不清楚，直接import ssl 解决 gameover转载于:https://www.cnblogs.c...
2018-10-08 21:43:00
16194
转载 np.nan is an invalid document, expected byte or unicode string.
ValueError Traceback (most recent call last)<ipython-input-12-1dc462ae8893> in <module>() 15 print('cv prepared!') 16 return df_x....
2018-10-07 01:27:00
1712
转载 df['']和df[['']]的区别
转载于:https://www.cnblogs.com/smartwhite/p/9682974.html
2018-09-20 19:57:00
1791
转载 dataframe一次小实验
老师搞不清，一个ndarray[df['columns']==a]，返回的是什么，目前看来应该是df[] == a 的索引转载于:https://www.cnblogs.com/smartwhite/p/9665122.html
2018-09-17 21:45:00
94
转载 记录groupby的一次操作
df = pd.DataFrame({'key1':list('aabba'), 'key2': ['one','two','one','two','one'], 'data1': np.random.randn(5), 'data2': np.random.randn(5)})df...
2018-09-17 19:31:00
96
转载 keras 文本序列的相关api
1、word_tokenizer = Tokenizer(MAX_WORD_NUMS) MAX_WORD_NUMS设置词典的最大值，为一个int型数值2、word_tokenizer.fit_on_texts(question_data["words"]) 解释：fit_on_texts(texts)使用一系列文档来生成token词典，texts为list类，每个元素...
2018-09-06 10:26:00
106
转载 networkX.core_number(graph)
今天在学习别人特征工程的时候，看到这样一个函数，max_kcore = pd.DataFrame(list(nx.core_number(graph).items()), columns=["qid", "kcore"])，找了半天找不到nx.core_number()函数返回的是什么。官方文档是这样介绍的：Return the core number for each vert...
2018-09-05 21:50:00
882
转载 关于无向图的最大团的问题。
今天观摩别人代码的时候，出现了求无向图最大团。描述：团就是最大完全子图。(极大团)给定无向图G=(V,E)。如果U包含于V，且对任意u，v属于U且有(u，v)属于E，则称U是G的完全子图。G的完全子图U是G的团当且仅当U不包含在G的更大的完全子图中，即U就是最大完全子图。G的最大团是指G中所含顶点数最多的团。（团中的顶点两两互连）// 最大团： V中取K个顶点，两点间...
2018-09-04 21:57:00
1528
转载 conda install 失败 http404
最近conda install keras出现各种问题，显示配置问你，配置了清华中科大的源，都不行估计原因是：配置各种源太多，最后全部删除只留一个清华源，成功暴力方法直接删除C:\Users\Administrator\.condarc中的channels即可转载于:https://www.cnblogs.com/smartwhite/p/9366478.html...
2018-07-25 16:07:00
643
转载 在spyder中无法import module
如果在anaconda中下载安装了模块，但是在spyder中无法import，可能是因为两个python环境并不一致，在promote重新conda install spyder即可转载于:https://www.cnblogs.com/smartwhite/p/9202395.html...
2018-06-20 10:02:00
2468
转载 逻辑回归感知机异同，损失函数思考
逻辑斯蒂回归和感知机的异同：两类都是线性分类器；损失函数两者不同：逻辑斯蒂回归使用极大似然（对数损失函数），感知机使用的是均方损失函数（即错误点到分离平面的距离，最小化这个值）逻辑斯蒂比感知机的优点在于对于激活函数的改进。前者为sigmoid function，后者为阶跃函数。这就导致LR是连续可导，而阶跃函数则没有这个性质。LR使得最终结果有了概率解释的能力（将...
2018-05-30 11:07:00
477
转载 保存与恢复变量和模型，tensorflow官方文档阅读笔记
官方中文文档的网址先贴出来：https://tensorflow.google.cn/programmers_guide/saved_modeltf.train.Saver类别提供了保存和恢复模型的方法。tf.train.Saver构造函数针对图中所有变量或指定列表的变量将save和restoreop 添加到图中。Saver对象提供了运行这些 op 的方法，指定了写入或...
2018-05-17 21:55:00
126
转载 tensorflow.python.framework.errors_impl.InvalidArgumentError: You must feed a value for placeholder ...
记一次超级蠢超级折磨我的bug。报错内容：tensorflow.python.framework.errors_impl.InvalidArgumentError: You must feed a value for placeholder tensor 'x_1' with dtype float and shape [?,227,227,3] [[Node: ...
2018-05-08 11:34:00
1930
转载 graph
tensorflow中graph包含一些操作对象，这些对象就是计算节点。而tensor表示的是不同操作间的数据节点。tensorflow会创建默认的图，可以通过tf.get_default_graph()来访问：代码:import tensorflow as tfimport numpy as npc=tf.constant(value=1)#print(assert c...
2018-05-04 10:30:00
80
转载 saver 的保存与恢复
模型保存，先要创建一个Saver对象：saver=tf.train.Saver()，max_to_keep 是用来设置保存模型的个数，默认为5，即保存最近的五个模型，saver=tf.train.Saver(max_to_keep=0)如果你只想保存最后一代的模型，则只需要将max_to_keep设置为1：saver=tf.train.Saver(max_to_keep=1)...
2018-05-04 09:47:00
320
转载 Batch Normalization
先说定义：batch normalization字面意思就是批量标准化。在每次SGD时。在activation前，对mini-batch做规范化操作，使得结果的均值为0，方差为1.转载于:https://www.cnblogs.com/smartwhite/p/8954721.html...
2018-04-26 19:55:00
80
转载 Resource exhausted: OOM when allocating tensor with shape[3,3,384,384] and type float on /job:localh...
报错信息：OP_REQUIRES failed at assign_op.h:111 : Resource exhausted: OOM when allocating tensor with shape[3,3,384,384] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator ...
2018-04-26 19:08:00
1602
转载 one-hot 编码
def onehot(labels): '''one-hot 编码''' #数据有几行输出 n_sample = len(labels) #数据分为几类。因为编码从0开始所以要加1 n_class = max(labels) + 1 #建立一个batch所需要的数组，全部赋0. onehot_labels = np.z...
2018-04-26 11:35:00
186
转载 typeError:The value of a feed cannot be a tf.Tensor object.Acceptable feed values include Python sca...
如上贴出了：错误信息和错误代码。这个问题困扰了自己两天，报错大概是说输入的数据和接受的格式不一样，不能作为tensor。后来问了大神，原因出在tf.reshape(),因为网络训练时用placeholder定义了输入格式，所以输入不能用tensor，而tf.reshape()返回结果就是一个tensor了，所以输入会报错。因此改为了这种格式灵机一动，全都使用n...
2018-04-25 18:59:00
414
转载 tensorflw-gpu 运行 。py程序出现gpu不匹配的问题
安装好了tensorflow-gpu版本，然后程序中写好了 with tf.device('/gpu:0'): 但是python3 .py程序时还是有错误。报错为：2018-04-24 12:58:02.460531: I tensorflow/core/platform/cpu_feature_guard.cc:140] Your CPU supports instruct...
2018-04-24 21:28:00
559
转载 RCNN论文阅读笔记
一摘要：两个主要工作：1将cnn和自上而下的区域提案结合进行定位和对象分割；2当训练数据稀缺时，先预训练然后微调。rccn工作分为四步：1输入一张图片 2用selective search算法对每张图片产生2000张自下而上的候选目标区域 3用cnn对每一个候选区域提取深度特征（因为候选区域大小形状不一致，而cnn输入大小要固定227*22...
2018-04-09 22:39:00
101
转载 Alexnet网络结构
最近试一下kaggle的文字检测的题目，目前方向有两个ssd和cptn。直接看看不太懂，看到Alexnet是基础，今天手写一下网络，记录一下啊。先理解下Alexnet中使用的原件和作用：激活函数使用了relu并用了多个cpu：提高了训练速度。重叠pool池化（不再是简单除以2的池化了，类似于卷积的计算过程，不过同样还是减少了参数）：提高了精度，不容易产生过拟合。局部响应归...
2018-03-19 12:28:00
207
转载 Knn和K-means
先开个标题，以后慢慢填充。k近邻算法（knn）属于监督学习一、 三个关键点：1、k的取值，当k值较小时，选取点较少，相当于会有在较小的范围内进行学习预测，学习误差会减小，但是估计误差会增大，因为训练样本中存在噪声，选取过小的区域，噪声干扰的权重会较大，因为影响泛化能力，k减小意味整体模型复杂，容易过拟合；k选较大值时，以为选取较大的邻域进行预测，可以减少估计误差，但缺点是学习近...
2018-03-09 10:53:00
84
转载 搜索引擎方案，仅脑构思
多媒体作业，自己定义一个多媒体搜索引擎，并写出方案，留下来，做个纪念爬虫(1) 通过网络爬虫大量地下载网页(可以考虑使用诸如Apache Nutch等开源网络爬虫)(2) 通过正则表达式等方式对网页内容进行去噪，过滤垃圾内容，如根据常见的视频格式.avi .rmvb .flv等设计正则表达式，获取视频链接(3) 根据视频链接下载视频(可以通过多线程等加快下载速...
2018-01-24 19:46:00
98
转载 并行度和并行体系结构的分类
高级计算机体系结构笔记：一、应用程序的并行分类： 1数据级并行（DLP）：同时操作多数据 2任务级并行（TLP）：创建了一些能够独立处理但大量采用并行方式执行的工作任务二、硬件的体系结构： 1指令并行：在编译器帮助下。利用流水线的思想开发数据级并行，利用推理执行的思想以中等水平开发数据集并行。 2向量体系结构和图像处理器：将单条指令并行应用于一个数...
2018-01-19 14:05:00
557
转载 激活函数
神经网络做的主要事情就是分类，在上课中，最简单的问题为二分类问题，利用单层感知机，可以画出一条线将平面隔开分类。同样如果增加感知机个数，可以得到更强的分类能力，但是无论如何都是一个线性方程。只不过是线性的复杂组合，当然曲线可以用无限的直线去逼近，但是这显然会带来巨大的计算量。因此加入了激活函数，这样原本的线性方程表成了一个非线性方程。如果不用激励函数（其实相当于激励函数是f(x) = x...
2017-11-25 10:23:00
84
转载 cnn卷积理解
首先输入图像是28*28处理好的图。第一层卷积：用5*5的卷积核进行卷积，输入为1通道，输出为32通道。即第一层的输入为：28*28图，第一层有32个不同的滤波器，对同一张图进行卷积，然后输出为32张特征图。需要32张特征图原因是能表示更多的特征。第二层卷积：卷积核同样为5*5，但是输入为32通道，输出为64通道。即以第一层卷积池化激活后的图作为输入，有64个不同的滤波器，对32...
2017-11-20 19:48:00
258
转载 tf.nn.conv2d函数和tf.nn.max_pool函数介绍
tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, name=None)介绍参数：input：指卷积需要输入的参数，具有这样的shape[batch, in_height, in_width, in_channels]，分别是[batch张图片, 每张图片高度为in_height, 每张图片宽度...
2017-11-11 18:36:00
211
转载 卷积池化函数
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)sess = tf.InteractiveSession() #创建一个新的senssion，这个命令会将这个session注册为默认的session，之后的运算也默认跑在这个session中，不同session之间的数据和运算应该是相互独立的。# 初始化权...
2017-11-10 21:08:00
85
转载 keyring源码加密解密函数分析
Encrypt the page data contents. Page type can't beFIL_PAGE_ENCRYPTED, FIL_PAGE_COMPRESSED_AND_ENCRYPTED,FIL_PAGE_ENCRYPTED_RTREE.是加密页面数据内容。 页面类型不能Shouldn't encrypte an already encrypted page....
2017-11-05 21:46:00
330
转载 mysql语句批量产生大量测试数据
CREATE TABLE `t_user` ( `id` bigint(20) NOT NULL AUTO_INCREMENT, `name` varchar(255) DEFAULT NULL, `age` tinyint(4) DEFAULT NULL, `create_time` datetime DEFAULT NULL, `update_time` datetime ...
2017-11-05 20:45:00
129
转载 InnoDB表存储结构及keyring加密
ibdata是InnoDB最重要的系统表空间文件，它记录了InnoDB的核心信息，包括事务系统信息、元数据信息，记录InnoDB change buffer的btree，防止数据损坏的double write buffer等等关键信息。InnoDB逻辑存储空间称为表空间，表是由段（segment）、区（extent）、页（page）组成。表空间：所有数据都被逻辑地存放在一个空间中...
2017-10-31 10:27:00
143
转载 cmake安装使用
1.安装命令：yum install -y gcc gcc-c++ make automake wget http://www.cmake.org/files/v2.8/cmake-2.8.10.2.tar.gztar -zxvf cmake-2.8.10.2.tar.gzcd cmake-2.8.10.2./bootstrapgmakegamke install2.使用说明：...
2017-10-22 19:33:00
115
转载 神经网络推导
今天花了大半天的时间，把三层神经网络，自己推导了一遍。对于其基础思想有了一定的了解，特写此文记录下。 首先介绍基本概念，三层分别为输入层、隐含层和输出层。横线箭头为权重。所要最求的目的就是，在此网络下的输出与真实的输出尽可能的接近。 其中截距项的作用：拟合平面上的一些点，的普适性肯定比好，能够是的所拟合的线平移。 激活函数...
2017-09-24 20:30:00
135
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人