- 博客(59)
- 收藏
- 关注
转载 GAN基础
Generative Adversarial NetworksGAN框架GAN框架是有两个对象(discriminator,generator)的对抗游戏。generator是一个生成器,generator产生来自和训练样本一样的分布的样本。discriminator是一个判别器,判别是真实数据还是generator产生的伪造数据。discriminator使用传统的监督...
2019-04-07 22:09:00
498
转载 (转载)深度学习数据集
本文转载自:http://blog.csdn.net/qq_26898461/article/details/50593328海量数据(又称大数据)已经成为各大互联网企业面临的最大问题,如何处理海量数据,提供更好的解决方案,是目前相当热门的一个话题。类似MapReduce、 Hadoop等架构的普遍推广,大家都在构建自己的大数据处理,大数据分析平台。相应之下,目前对于海量数据处理人才...
2017-11-05 09:21:00
238
转载 Python问题解决记录
Python如何进行中文注释:网址解决Python UnicodeEncodeError: 'ascii' codec can't encode: 网址1、网址2、网址3Python 字符串转换为日期格式:网址1、网址2Python读写Json文件:网址python同时遍历两个list:网址 理解Python的With语...
2017-09-24 22:03:00
181
转载 Spark Mllib源码分析
1. Param Spark ML使用一个自定义的Map(ParmaMap类型),其实该类内部使用了mutable.Map容器来存储数据。如下所示其定义: Class ParamMap private[ml] (private val map.mutable.Map[Param[Any],Any]) 从上述定义可以看出,Para...
2017-09-07 21:12:00
224
转载 Spark MLlib框架详解
1. 概述1.1 功能 MLlib是Spark的机器学习(machine learing)库,其目标是使得机器学习的使用更加方便和简单,其具有如下功能:ML算法:常用的学习算法,包括分类、回归、聚类和过滤;特征:特征萃取、转换、降维和选取;Pipelines:其是一个工具,目标是用于构建、测量和调节;使用工具:包括线性代数、统计学...
2017-09-07 20:51:00
741
转载 Spark Structured Streaming框架(5)之进程管理
Structured Streaming提供一些API来管理Streaming对象。用户可以通过这些API来手动管理已经启动的Streaming,保证在系统中的Streaming有序执行。1. StreamingQuery 在调用DataStreamWriter方法的start启动Streaming后,会返回一个StreamingQuery对象。所以用户就可以通过这个...
2017-09-03 20:16:00
92
转载 Spark Structured Streaming框架(4)之窗口管理详解
1. 结构1.1 概述 Structured Streaming组件滑动窗口功能由三个参数决定其功能:窗口时间、滑动步长和触发时间.窗口时间:是指确定数据操作的长度;滑动步长:是指窗口每次向前移动的时间长度;触发时间:是指Structured Streaming将数据写入外部DataStreamWriter的时间间隔。图 11...
2017-09-03 20:08:00
338
转载 Spark Structured Streaming框架(3)之数据输出源详解
Spark Structured streaming API支持的输出源有:Console、Memory、File和Foreach。其中Console在前两篇博文中已有详述,而Memory使用非常简单。本文着重介绍File和Foreach两种方式,并介绍如何在源码基本扩展新的输出方式。1. File Structured Streaming支持将数据以File形式保存起来,...
2017-09-03 19:58:00
364
转载 Spark Structured Streaming框架(2)之数据输入源详解
Spark Structured Streaming目前的2.1.0版本只支持输入源:File、kafka和socket。1. Socket Socket方式是最简单的数据输入源,如Quick example所示的程序,就是使用的这种方式。用户只需要指定"socket"形式并配置监听的IP和Port即可。 val scoketDF = spark.r...
2017-09-03 19:43:00
390
转载 Spark Structured Streaming框架(1)之基本用法
Spark Struntured Streaming是Spark 2.1.0版本后新增加的流计算引擎,本博将通过几篇博文详细介绍这个框架。这篇是介绍Spark Structured Streaming的基本开发方法。以Spark 自带的example进行测试和介绍,其为"StructuredNetworkWordcount.scala"文件。1. Quick Example...
2017-09-03 19:30:00
132
转载 TensorFlow框架(6)之RNN循环神经网络详解
1. RNN循环神经网络1.1 结构 循环神经网络(recurrent neural network,RNN)源自于1982年由Saratha Sathasivam 提出的霍普菲尔德网络。RNN的主要用途是处理和预测序列数据。全连接的前馈神经网络和卷积神经网络模型中,网络结构都是从输入层到隐藏层再到输出层,层与层之间是全连接或部分连接的,但每层之间的节点是无连接的。图 ...
2017-09-01 19:40:00
558
转载 TensorFlow框架(5)之机器学习实践
1. Iris data set Iris数据集是常用的分类实验数据集,由Fisher, 1936收集整理。Iris也称鸢尾花卉数据集,是一类多重变量分析的数据集。数据集包含150个数据集,分为3类,每类50个数据,每个数据包含4个属性。可通过花萼长度,花萼宽度,花瓣长度,花瓣宽度4个属性预测鸢尾花卉属于(Setosa,Versicolour,Virginica)三个种类中的哪一类...
2017-09-01 18:48:00
237
转载 TensorFlow框架(4)之CNN卷积神经网络详解
1. 卷积神经网络1.1 多层前馈神经网络 多层前馈神经网络是指在多层的神经网络中,每层神经元与下一层神经元完全互连,神经元之间不存在同层连接,也不存在跨层连接的情况,如图 11所示。图 11 对于上图中隐藏层的第j个神经元的输出可以表示为:其中,f是激活函数,bj为每个神经元的偏置。1.2 卷积神经网络1.2.1 网络结构 卷积神经网...
2017-08-31 21:30:00
795
转载 TensorFlow框架(3)之MNIST机器学习入门
1. MNIST数据集1.1 概述 Tensorflow框架载tensorflow.contrib.learn.python.learn.datasets包中提供多个机器学习的数据集。本节介绍的是MNIST数据集,其功能都定义在mnist.py模块中。MNIST是一个入门级的计算机视觉数据集,它包含各种手写数字图片:图 11 它也包含每一张图片对应的标签,告...
2017-08-30 21:29:00
158
转载 TensorFlow框架(2)之TensorBoard详解
为了更方便 TensorFlow 程序的理解、调试与优化,TensorFlow发布了一套叫做 TensorBoard 的可视化工具。你可以用 TensorBoard 来展现你的 TensorFlow 图像,绘制图像生成的定量指标图以及附加数据。 TensorBoard工具通过读取TensorFlow产生的事件(events)文件来进行图像绘制,其中这个事件文件是在运行Tens...
2017-08-28 21:29:00
196
转载 TensorFlow框架(1)之Computational Graph详解
1. Getting Start1.1 import TensorFlow应用程序需要引入编程架包,才能访问TensorFlow的类、方法和符号。如下所示的方法: import tensorflow as tf2. Tensor TensorFlow用Tensor这种数据结构来表示所有的数据。可以把一个Tensor想象成一个...
2017-08-27 09:48:00
243
转载 Scikit-Learn框架
1. Dataset scikit-learn提供了一些标准数据集(datasets),比如用于分类学习的iris和digits数据集,还有用于归约的boston house prices 数据集。其使用方式非常简单如下所示: $ python >>> from sklearn import datasets >&...
2017-08-25 18:51:00
228
转载 TF-IDF模型详解
1. 理论基础 由于数据挖掘所有数据都要以数字形式存在,而文本是以字符串形式存在。所以进行文本挖掘时需要先对字符串进行数字化,从而能够进行计算。TF-IDF就是这样一种技术,能够将字符串转换为数字,从而能够进行数据计算。 TF-IDF(term frequency–inverse document frequency)是一种用于资讯检索与资讯探勘的常用加权技术。TF-...
2017-08-23 21:47:00
719
转载 (转载)2016 CCF大数据与计算智能大赛 开源资料整理
本文转载自:http://blog.sina.com.cn/s/blog_5399b8660102wxks.html2016 CCF 大数据与计算智能大赛已经落下帷幕,11个赛题由众多大神包揽奖项,其中有些还在赛后开源了比赛资料,现将目前已知的资料整理如下,供各位同学一起参考学习。若有意公开自己的比赛资料或者发现整理的列表中有遗漏的,可以联系我(金陵书生, netivs@qq.com ...
2017-08-21 17:14:00
259
转载 iOS 网络编程:XML解析
1 XML文档结构 1.1 简介 XML 指可扩展标记语言(eXtensible Markup Language)。XML 被设计用来传输和存储数据。其非常像HTML的标记语言,但与之不同的是,XML是用来传输和存储数据;而HTML是用来显示数据;同时XML 标签没有被预定义,需要自行定义标签,而HTML的标签是有明确的语义的。 XML 文档必须包含根...
2016-05-16 21:21:00
99
转载 iOS 网络编程:JSON解析
@import url(http://i.cnblogs.com/Load.ashx?type=style&file=SyntaxHighlighter.css);@import url(/css/cuteeditor.css);1 JSON文档结构 1.1 简介 JSON(javaScript Object Notation)是存储和交换文本信息的语法,类似 ...
2016-05-16 07:33:00
105
转载 iOS 网络编程:AFNetworking
1 简介 1.1 概念 AFNetworking网络框架并不是IOS自带的框架,而是第三方的开源框架。它是对NSURLConnection和NSURLSession API的封装,但是目前AFNetworking 3.0已经删除了基于 NSURLConnection API的所有支持,所以本文只记录基于NSURLSession API的相关接口。AFNetworki...
2016-05-15 22:38:00
105
转载 iOS 网络编程:NSURLConnection
1 简介 1.1 概念 NSURLConnection类似NSURLSession,都是进行网络数据传输的。其中NSURLSession是NSURLConnection的替代版本,目前IOS9.0几乎将NSURLConnection类废弃了。 1.2 第一个程序 如下是简单通过异步的方式请求HTTP数据: 1-(void)first...
2016-05-15 16:35:00
120
转载 iOS 网络编程:NSURLSession
NSURLSession类和相关的类提供很多API来下载HTTP的内容。这些API提供多种delegate协议来支持验证和执行后台下载任务。 1 URL Session 设计概念 Session中的任务行为依赖三件事: Session类型:在创建时,由configuration 对象决定; task类型:数据传输类型; session执行方...
2016-05-15 10:18:00
122
转载 iOS 并行编程:NSOperation Queues
1 简介 1.1 功能 Operation Queue也是IOS的一种并行编程技术,类似Dispatch Queue可以帮助用户管理多线程。但是Operation Queue将任务封装在NSOperation对象中,从而可以更好的控制任务的执行。并且Dispatch Queue的先入先出的执行方式不同,Operation Queue任务的执行顺序可以控制。其中IOS...
2016-05-14 20:30:00
109
转载 iOS 并行编程:GCD Dispatch Sources
1 简介 dispatch source是一种用于处理事件的数据类型,这些被处理的事件为操作系统中的底层级别。Grand Central Dispatch(GCD)支持如下的dispatch sources类型: Timer dispatch sources:定时器类型,能够产生周期性的通知事件; Signal dispatch sources:信号类型,当U...
2016-05-14 14:24:00
342
转载 iOS 并行编程:GCD Dispatch Queues
1 简介 1.1 功能 Grand Central Dispatch(GCD)技术让任务并行排队执行,根据可用的处理资源,安排他们在任何可用的处理器核心上执行任务。任务可以是一个函数(function)或者是一个block。 GCD的底层依然是用线程实现,不过这样可以让程序员不用关注实现的细节。 GCD中的队列称为dispatch queue,它...
2016-05-14 07:21:00
115
转载 iOS 并行编程:Thread
1 创建线程 1.1 NSThread 使用 NSThread 来创建线程有两个可以使用的方法: 1) 使用 detachNewThreadSelector:toTarget:withObject:类方法来生成一个新的线程。 2) 创建一个新的 NSThread 对象,并调用它的 start 方法。 这两种创建线程的技术都在你的应用...
2016-05-13 19:46:00
85
转载 iOS UIKit:TableView之编辑模式(3)
一般table view有编辑模式和正常模式,当table view进入编辑模式时,会在row的左边显示编辑和重排控件,如图 42所示的编辑模式时的控件布局;左边的editing control有表 61的两种图标。 表 61 table view编辑控件 图标描述Deletion控件In...
2016-05-12 19:30:00
217
转载 iOS UIKit:TableView之单元格配置(2)
Table View是UITableView类的实例对象,其是使用节(section)来描述信息的一种滚动列表。但与普通的表格不同,tableView只有一行,且只能在垂直方向进行滚动。tableView由多个section组成,而section又由行(row)组成,也可将行称为单元格(cell)。Cell是UITableViewCell类的实例对象。 1 UITable...
2016-05-11 19:26:00
243
转载 iOS UIKit:TableView之表格创建(1)
Table View是UITableView类的实例对象,其是使用节(section)来描述信息的一种滚动列表。但与普通的表格不同,tableView只有一行,且只能在垂直方向进行滚动。tableView由多个section组成,而section又由行(row)组成,也可将行称为单元格(cell)。Cell是UITableViewCell类的实例对象。 1 样式 ...
2016-05-10 19:05:00
199
转载 Linux平台的boost安装全解
@import url(http://i.cnblogs.com/Load.ashx?type=style&file=SyntaxHighlighter.css);@import url(/css/cuteeditor.css); 最近把cpp代码从开发机放到编译机去,遇到了不少路径问题,所以记录了本文。 一、安装方法 安装boost的时候,...
2016-05-10 06:42:00
130
转载 iOS UIKit:CollectionView之布局(2)
Collection view使用UICollectionViewFlowLayout对象来管理section中的cell,该对象是一种流布局方式,即在collection view中的section之间默认是往垂直方向分布,但在section中的cell则是往水平方向排列,若在一行中没有足够的空间容纳section的所有cell,则将剩下的cell放在下一行,如图 3...
2016-05-09 18:22:00
135
转载 iOS UIKit:CollectionView之设计 (1)
collection view(UICollectionView对象)使用灵活和可扩展的布局来描述有序的数据项,其一般情况下以网格的形式来展示内容,但并非一定如此。1 基础 为了将数据展示在屏幕中,Collection View需要搭配其它多种对象,其中有些是用户可选对象,而有些则是必须使用类型。 1.1 配合对象 collection vie...
2016-05-08 18:11:00
174
转载 iOS 网络编程:socket
@import url(http://i.cnblogs.com/Load.ashx?type=style&file=SyntaxHighlighter.css);@import url(/css/cuteeditor.css);1 Socket基础 在IOS中,根据不同的语言环境可以使用不同的方法来创建socket连接。 1) 在Objective-C语言环境使...
2016-05-08 11:16:00
121
转载 Objective-C:内存管理
1 传统内存管理 Objective-C对象的生命周期可以分为:创建、存在、消亡。 1.1 引用计数 类似Java,Objective-C采用引用计算(reference counting)技术来管理对象的生命周期。每个对象都定义有一个整数(称引用计数器)与之相关联,该数用以表示当前有多少个指针指向该对象。 1.1.1 操作方法 当...
2016-05-07 19:26:00
152
转载 iOS UIKit:TabBar Controller
1 结构剖析 IOS中的标签导航其实是一个UITabBarController对象,其也是一个Container View Controller。UITabBarController对象创建和管理了一组content View Controller,以及一个UITabBar对象(标签栏)。每个content View Controller都被占用一个tab(标签项),当用...
2016-05-07 12:29:00
120
转载 iOS UIKit:Navigation Controllers
navigation controller是一种层次结构的container view controller,即其通过一个view controllers栈来管理内部的content view controllers。如图 11所示最上两层属于Navigation view的层次结构。 图 11 The views of a navigation inter...
2016-05-07 04:58:00
164
转载 iOS UIKit:animation
@import url(http://i.cnblogs.com/Load.ashx?type=style&file=SyntaxHighlighter.css);@import url(/css/cuteeditor.css); UIView视图的动画功能,可以使在更新或切换视图时有放缓节奏、产生流畅的动画效果,进而改善用户体验。为了当UIView属性值发生改...
2016-05-06 19:07:00
84
转载 Objective-C:KVC
1 概述 1.1 访问方法 Key-value coding(KVC)是一种间接访问对象属性的机制,类似键值对,通过名字(或键)可以直接获得对象的属性值。事实上,key-value coding定义了一些模式和规则方法来实现属性的访问,这些基本方法在NSKeyValueCoding协议中声明,同时NSObject默认实现了该协议。 KVC存在两种形式的访问方法: ...
2016-05-05 19:09:00
146
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人