- 博客(23)
- 收藏
- 关注
RSS订阅转载 Bayesian - Auto ML
auto ml主要是提供end-to-end的解决方案，目前也存在很多算法去解决最优解搜索的问题，常见的例如：gridsearch...就AutoML的流程而言，可以参考下图：整个过程中，柱形表示的是：数据，模型，以及要tune的数据对,如：（lr, accuracy)用户需要预设定一些数据对，然后算法会在数据对上寻找能使得accuracy最高的组合这里用的贝叶...
2019-03-08 08:55:00
158
转载 深度学习（七）object detection
目标检测（object detection）的基本思路： 检测（detection）+ 定位（localization）目标检测在很多场景有用，如无人驾驶和安防系统。传统方法 特征提取算法（如：haar特征，HOG特征）+分类器（如：svm）深度学习方法R-CNN (Regions with CNN features) 基于卷积神经网络特征的区域方法...
2018-09-06 21:24:00
142
转载 深度学习（十二）wide&deep model
推荐系统在电商等平台使用广泛，这里讨论wide&deep推荐模型，初始是由google推出的，主要用于app的推荐。概念理解Wide & Deep模型，旨在使得训练得到的模型能够同时获得记忆（memorization）和泛化（generalization）能力：记忆（memorization）即从历史数据中发现item或者特征之间的相关性。泛化（g...
2018-09-06 16:42:00
265
转载 深度学习（十）训练时的调参技巧
训练过程中需要适时的调整参数，以获得比较好的模型，下面介绍几种调参方式：参数初始化初始化参数对结果的影响至关重要，一定要做参数初始化，否则会出现收敛速度变慢，影响收敛结果，甚至造成nan的问题，下面介绍几种初始化方法Xavier 权重初始化太大容易发散，初始化太小容易弥散而不收敛，Xavier是让权重均值为0，方差为2/in+out，可以初始...
2018-08-20 17:50:00
402
转载 深度学习（九）过拟合和欠拟合
过拟合和欠拟合是在网络训练中常常碰到的问题过拟合（overfit）：训练误差小，但是对于测试集上的误差很大。可能模型过于复杂，训练中只”记住”了训练样本，然而其泛化误差却很高。欠拟合（underfit）：训练误差很大，无法找到合适的函数描述数据集下面介绍这两种情况下常用的一些trick方法如何防止过拟合 过拟合的原因基本是特征维度太多，模型过...
2018-08-17 18:53:00
153
转载 深度学习（二）常见概念
下面介绍深度学习算法中常用的一些概念。（1）层（Layer） 神经网络是由多层组成的，层（Layer）就是接受加权输入、经过非线性激励函数变换、作为输出传递给下一层的容器。 一层通常只含一种激励函数，如池化、卷积等等。第一层和最后一层分别称为“输入层”和“输出层”，中间的都称作“隐藏层”。（2）局部连接（Local connection），权值共享（weight sh...
2018-08-16 17:33:00
111
转载 深度学习（一）什么是深度学习
了解深度学习前，我们先理解下平时经常在各大新闻通稿中常听到的“人工智能”。人工智能就是研究用计算机实现人类的智能，如去模仿人类的知觉，推理，学习能力等。从而让计算机能够像人一样思考和行动，有图像识别(机器识别出猫猫狗狗)，人机对话(机器感知到人类的语义和情感并给出反馈)，围棋的人机对弈(AlphaGo,Master等让机器自己思考去如何下棋)等. 那么机器如何实现人类的...
2018-08-16 17:12:00
173
转载 Tensorflow 学习笔记（一）mac os 安装 tensorflow
Homebrew 安装pythonbrew install python安装pipcurl ‘https://bootstrap.pypa.io/get-pip.py’ > get-pip.pypython get-pip.pyps:安装完之后注意在PATH中指定pip的路径安装tensorflowpip3 intall tenso...
2018-08-15 18:42:00
123
转载 深度学习（四）RNN & Word2Vec
RNN（Recurrent Netural Network）循环神经网络，用来处理和预测序列数据，在语音识别，语言描述，翻译等领域有很好的运用。传统神经网络结构如CNN是假设所有的input之间是相互独立的，output之间也相互独立，但实际中会存在由前面几个字去推测后面的词，这个时候CNN的假设就不能成立了。而RNN可以通过时序结构来关联input，记住input之间的关系。...
2018-08-07 18:26:00
671
转载 python
1. 以python package 安装scipyTry to install it as a python package using pip as follows$ sudo apt-get install python-scipyIf you want to run a python 3.x script, install scipy by:$ pip3 ...
2017-07-18 13:59:00
77
转载 NUMA
在NUMA下，处理器访问它自己的本地存储器的速度比非本地存储器（存储器的地方到另一个处理器之间共享的处理器或存储器）快一些。在使用spark standalone或者yarn时，如果碰到跨cpu核数访问的情况，可以修改相应的代码。Yarn：--- hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-s...
2017-07-18 13:30:00
132
转载 nngraph
nngraph(全称：neural network graph)，是torch里面的一个packagecode example：require 'torch'require 'nn'require 'nngraph'function CreateModule(input_size) local input = nn.Identity()() -- n...
2017-07-18 11:49:00
267
转载 vtune工具的使用
1. 安装 intel parallel里面可以自带，或者单独下载安装2. 操作步骤先source amplex-vars.sh可能会出现一些warning：此时需要可以做一些set：3. 开始收集数据方法一：使用target-pid收集数据：amplex -cl collect locksandwaits -target-pid=xxx...
2017-06-30 15:05:00
326
转载 如何重新编译hadoop源码
1. 下载hadoop源码(以2.7.2为例子)https://github.com/apache/hadoop/tree/branch-2.7.2/hadoop-yarn-project/hadoop-yarn2. 安装protobuf下载release的repo： https://github.com/google/protobuf/releases/download...
2017-06-22 11:51:00
155
转载 spark
1.persist:默认cache()过程是将RDD persist在内存里，persist()操作可以为RDD重新指定StorageLevel.RDD的persist()和unpersist()操作，都是由SparkContext执行的（SparkContext的persistRDD和unpersistRDD方法）。Persist过程是把该RDD存在上下文的TimeStam...
2017-05-09 13:45:00
138
转载 bigdl深度学习框架设计-浅析
1. 环境设置因为spark conf 需要很多的环境设置，如：rdd shuffle的均匀性设置等数学运算需要的blas的使用2. 组件设计需要构建一些基础组件，如：layers，criterions，optim，tensor这种，以便后期使用。3. pre process 的过程设计4. train的过程设计5. validate的过程设计6. pre...
2017-03-28 13:00:00
91
转载 keros
keros 是基于python的deep learning library，可以运行在tensorflow或者Theano上。优点：1 架构灵活，model基于一层层的layer叠加，可插拔性十分强。2 rnn支持的比较全面，各种网络类型，各种网络结构都支持的较好。3 各种新式trick都有，比如Batch normalization，PRuLU等等。4 example很好，作为...
2017-03-06 13:39:00
194
转载 【深度学习】情感分析和文本分类资料汇总
This document summarizes some potentially useful papers and code repositories on Sentiment analysis / document classificationCNN:Related Paper:Convolutional Neural Networks for Sente...
2017-02-14 15:16:00
195
转载 一个表达式parse处理模块 [angular.js]
如何实现一个具有表达式解析功能的功能模块？解析一个表达式的目的：最基本的是能获取表达式的值；对后端获取数据的简单处理；具备一定的逻辑处理能力；最简单的实现方法：function parse (expr) { return function(scope) { with (scope) { return eval(expr); ...
2017-02-03 18:41:00
176
转载 微信小程序 加密解密算法的nodejs实现
加密数据解密算法接口如果涉及敏感数据（如wx.getUserInfo当中的 openid ），接口的明文内容将不包含敏感数据。开发者如需要获取敏感数据，需要对接口返回的加密数据( encryptData )进行对称解密。 解密算法如下：对称解密使用的算法为 AES-128-CBC，数据采用PKCS#7填充。对称解密的目标密文为 Base64_Decode(encryptD...
2017-02-03 16:16:00
401
转载 微信小程序 技术总结 分享
在组内做了一次关于微信小程序的分享。整理如下：转载于:https://www.cnblogs.com/lightsun/p/6164243.html
2016-12-12 14:00:00
494
转载 （总结）Weex若干特性总结分析
1.Weex是什么？ 背景：weex基于vue.js(2W+ star)，由阿里团队推出。是一款小巧轻量的前端开发框架，支持组件化和数据绑定。目前，尤雨溪以技术顾问的形式加入weex开发。weex目前在阿里已被用于去年天猫双十一，并准备投入今年双十一活动，有一定的业务实践经验。 核心思想：write once run everywhere && Native ...
2016-09-29 10:55:00
112
转载 Web前端面试题目整理（持续关注更新）
JavaScript介绍JavaScript的基本数据类型。－－>［五种基本类型：Number，string，Boolean，Null，Undefinded；一种复杂类型：Object］说说写JavaScript的基本规范？－－>1.不要在同一行声明多个变量。2.请使用 ===/!==来比较true/false或者数值3.使用对象字面量替代ne...
2016-06-21 19:55:00
228
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人