- 博客(23)
- 资源 (9)
- 收藏
- 关注
RSS订阅转载 Ubuntu创建新用户并增加管理员权限
某些情况下，Ubuntu 使用useradd 新用户名，在home 文件夹下面看不到新创建的用户文件夹，例如：root@worker:/home/kuku# useradd spark root@worker:/home/kuku# passwd spark Enter new UNIX password: Retype new UNIX password: passwd:
2018-01-31 17:05:06
3084
转载 定时任务框架APScheduler学习详解
定时任务框架APScheduler学习详解APScheduler简介在平常的工作中几乎有一半的功能模块都需要定时任务来推动，例如项目中有一个定时统计程序，定时爬出网站的URL程序，定时检测钓鱼网站的程序等等，都涉及到了关于定时任务的问题，第一时间想到的是利用time模块的time.sleep()方法使程序休眠来达到定时任务的目的，虽然这样也可以，但是总觉得不是那么的专业，^_^所以
2018-01-30 14:37:37
1196
转载 Using Keras and Deep Q-Network to Play FlappyBird
200 lines of python code to demonstrate DQN with KerasOverviewThis project demonstrates how to use the Deep-Q Learning algorithm with Keras together to play FlappyBird.This article is
2018-01-30 11:03:59
855
转载 什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
深度神经网络，相比于之前的传统机器学习方法，可以看成是一个全新的物种，这背后的原因，最明显的还是深度学习对机器算力的巨大需求，在深度学习入门最少需要知道什么？中介绍了深度学习所需的显卡资源，而当前大内存的机器不贵，而高性能，大显存的显卡就没那么便宜了。这使得使用深度学习去处理实际生活中遇到的问题，例如图像和语音的识别时，需要消耗大量的资源。而迁移可以改变这一切，显著的降低深度学习所需的硬件资源。
2018-01-30 09:40:40
89593
8
转载 剖析勇士如何成为新赛季夺冠热门：基于Spark GraphFrames的金州勇士传球网络分析
databricks 最近发布了 GraphFrames，这是一个用 DataFrames 封装图处理过程的Spark插件。我评估了网络分析并且利用丰富的NBA.com的数据对金州勇士的传球网络进行可视化。金州勇士的传球网络传接球联盟 MVP Stephen Curry 接到了大多数的传球，而团队中的 MVP Draymond Green则发动了最多的传球。
2018-01-26 13:42:11
1227
转载 #####好好好＃＃＃＃keras之预训练模型Application
Application应用Kera的应用模块Application提供了带有预训练权重的Keras模型，这些模型可以用来进行预测、特征提取和finetune模型的预训练权重将下载到~/.keras/models/并在载入模型时自动载入可用的模型应用于图像分类的模型,权重训练自ImageNet： Xception VGG16 VGG19 ResNet50 Ince
2018-01-26 09:19:05
1601
转载 keras系列︱Application中五款已训练模型、VGG16框架（Sequential式、Model式）解读（二）
不得不说，这深度学习框架更新太快了尤其到了Keras2.0版本，快到Keras中文版好多都是错的，快到官方文档也有旧的没更新，前路坑太多。 到发文为止，已经有theano/tensorflow/CNTK支持keras,虽然说tensorflow造势很多，但是笔者认为接下来Keras才是正道。 笔者先学的caffe，从使用来看，比caffe简单超级多，非常好用，特别是重新训练一个模型，但是呢
2018-01-25 19:18:09
515
转载 keras系列︱迁移学习：利用InceptionV3进行fine-tuning及预测、完美案例（五）
之前在博客《keras系列︱图像多分类训练与利用bottleneck features进行微调（三）》一直在倒腾VGG16的fine-tuning，然后因为其中的Flatten层一直没有真的实现最后一个模块的fine-tuning。 看到github上有一份InceptionV3的fine-tuning并且可以实现。我看到的keras微调的方式分为以下两种： fine-tuning方式
2018-01-25 19:14:10
641
3
转载 ###好好好######fine-tuning:利用已有模型训练其他数据集
尝试了将前面层的lr调成0，只训练全连接层，结果放在了每个微调网络的最后；另外添加了50层的ResNet进行fine-tuning，结果得到了进一步的提高，超越了SVM在这一数据集上的最佳performance(87%)--------------------------------------------------------------------------------
2018-01-25 10:01:43
395
转载 phoenix全局索引/本地索引测试以及hive连接教程
phoenix全局索引/本地索引测试以及hive连接教程。1.测试表说明原hbase表是只有1个列族，算上rowkey一共6个字段的hbase表。一共37个regions，数据量一共3亿6千4百万hbase中表描述数据样例数据量2.建立索引hbase的二级索引在phoenix中建立。建索引的语句如下,建好索引之后，有数据的变更索引数据
2018-01-24 17:04:25
1307
转载 卷积：如何成为一个很厉害的神经网络
什么是卷积神经网络？又为什么很重要？卷积神经网络(Convolutional Neural Networks, ConvNets or CNNs)是一种在图像识别与分类领域被证明特别有效的神经网络。卷积网络已经成功地识别人脸、物体、交通标志，应用在机器人和无人车等载具。图1在上面的图1当中，卷积网络能够识别场景而系统可以自动推荐相关标签如“桥”、“铁路”、“网球”等。图2则展示了卷积网
2018-01-22 10:19:20
543
转载 keras实现LeNet-5模型
先放一张LeNet-5模型的结构图关于LeNet-5模型每层具体的参数个数和如何连接本文不讲述，想了解的读者点击这个链接。下面的代码是使用keras实现，以theano为后端。#encoding:utf-8from keras.datasets import mnistfrom keras.models import Sequentialfrom keras.layers i
2018-01-22 10:17:40
1706
1
转载 XGBoost参数调优完全指南（附Python代码）
译注：文内提供的代码和运行结果有一定差异，可以从这里下载完整代码对照参考。另外，我自己跟着教程做的时候，发现我的库无法解析字符串类型的特征，所以只用其中一部分特征做的，具体数值跟文章中不一样，反而可以帮助理解文章。所以大家其实也可以小小修改一下代码，不一定要完全跟着教程做~ ^0^需要提前安装好的库：numpy,matplotlib,pandas,xgboost,scikit-learn简介如果你
2018-01-19 17:54:17
366
转载 #####好好好#####tensorflow conv2d的padding解释以及参数解释
1、padding的方式：说明：1、摘录自http://stackoverflow.com/questions/37674306/what-is-the-difference-between-same-and-valid-padding-in-tf-nn-max-pool-of-t2、不同的padding方式,VALID是采用丢弃的方式,比如上述的input_w
2018-01-16 09:16:08
261
转载 DCGAN基于Keras的实现
前几天学习了一下GAN的相关知识，有NIPS 2016中的教程， 还有知乎专栏的令人拍案叫绝的Wasserstein GAN，以及后续Wasserstein GAN最新进展：从weight clipping到gradient penalty，更加先进的Lipschitz限制手法 这两篇文章推导写的很好，有需要推荐直接看论文 还有深入浅出 GAN·原理篇文字版（完整）｜干货先
2018-01-12 11:32:08
2996
1
转载 pytorch入门教程（一）：Tensor＃＃＃tensor好好好＃＃＃＃
Zen君的配置是macbook pro，升级到Mac Serria安装不了qt，无法显示图片，好在发现了pytorch，正好Zen君以前也玩过python的，所以非常激动。这个教程系列也是趁着心情激动写下来的，不知道会不会持续更新，暂时别抱有期待：）一、pytorch安装安装pytorch之前，需要安装好python（废话），还没安装过python的宝宝请先移步到廖雪峰的python教程，待安装
2018-01-08 14:17:29
429
转载 keras上手之：与tensorflow混合编程 (tensorboard)
tensorflow具备许多优秀的函数和功能，比如tensorboard，keras作为tensorflow的高级API， 封装很多tensorflow的代码，使得代码模块化，非常方便。当然，由于keras的模型和层与tensorflow的张量高度兼容，可以用keras建模，用tensorflow输入输出。 例如下面的例子：import tensorflow as tffrom
2018-01-08 13:45:10
3700
转载 Keras 层layers总结
1.Dense 全连接层（对上一层的神经元进行全部连接，实现特征的非线性组合）keras.layers.core.Dense(units, activation=None, use_bias=True, kernel_initializer='glorot_uniform', bias_initializer='zeros', kernel_regularizer=None, bias_r
2018-01-05 17:53:11
18881
2
转载 keras中自定义验证集的性能评估（ROC,AUC）
在keras中自带的性能评估有准确性以及loss，当需要以auc作为评价验证集的好坏时，就得自己写个评价函数了：[python] view plain copy from sklearn.metrics import roc_auc_score [python] view plain copy from keras impo
2018-01-05 14:15:49
4495
4
转载 MCMC(Markov Chain Monte Carlo) and Gibbs Sampling
1. 随机模拟随机模拟(或者统计模拟)方法有一个很酷的别名是蒙特卡罗方法(Monte Carlo Simulation)。这个方法的发展始于20世纪40年代，和原子弹制造的曼哈顿计划密切相关，当时的几个大牛，包括乌拉姆、冯.诺依曼、费米、费曼、Nicholas Metropolis， 在美国洛斯阿拉莫斯国家实验室研究裂变物质的中子连锁反应的时候，开始使用统计模拟的方法,并在最早的计算机
2018-01-03 11:42:37
630
转载 蒙特卡洛采样之拒绝采样（Reject Sampling）
引子蒙特卡洛（Monte Carlo）方法是二十世纪四十年代中期由于科学技术的发展和电子计算机的发明，而被提出的一种以概率统计理论为基础的数值计算方法。它的核心思想就是使用随机数（或更常见的伪随机数）来解决一些复杂的计算问题。当所求解问题可以转化为某种随机分布的特征数（比如随机事件出现的概率，或者随机变量的期望值等）时，往往就可以考虑使用蒙特卡洛方法。通过随机抽样的方法，以随机事件
2018-01-03 11:38:58
6555
转载 ####好好好########随机采样和随机模拟
http://blog.csdn.net/pipisorry/article/details/50615652随机采样方法模拟方法:是一种基于“随机数”的计算方法，基于数值采样的近似推断方法,也被称为蒙特卡罗( MonteCarlo )方法、随机模拟方法。通常均匀分布Uniform(0,1) 的样本，即我们熟悉的类rand()函数，可以由线性同余发生器生成
2018-01-03 11:13:36
626
转载 ####好#几种更牛的采样方法###随机模拟的基本思想和常用采样方法（sampling）
通常，我们会遇到很多问题无法用分析的方法来求得精确解，例如由于式子特别，真的解不出来；一般遇到这种情况，人们经常会采用一些方法去得到近似解（越逼近精确解越好，当然如果一个近似算法与精确解的接近程度能够通过一个式子来衡量或者有上下界，那么这种近似算法比较好，因为人们可以知道接近程度，换个说法，一般一个近似算法被提出后，人们通常都会去考察或寻求刻划近似程度的式子）。本文要谈的随机模拟就
2018-01-03 11:01:17
490
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人