自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Java到底是编译还是解释型语言?编译和解释型语言有什么区别?

7.java语言执行过程与方式: 编译型语言: 是指使用专门的编译器、针对特定平台(操作系统)将某种高级语言源程序一次性“翻译”成可被该平台硬件运行的机器码(包括指令和数据),并包装成该平台的操作系统所能识别和运行的格式。这一过程称为“编译”。最后生成的程序(可执行文件)可以脱离开发环境在特定平台...

2020-03-06 10:59:45 82 0

原创 为什么引入神经网络来做识别,判断,预测?

马克-to-win @ 马克java社区:实名手机尾号:73203, 很多人学了神经网络很长时间,但一直就有一个最根本的问题困扰着自己。为什么要引入神经网络来做识别,判断,预测?为什么神经网络能做这事?其实我们在生活中,总在不知不觉的经常用神经网络。只不过我们没注意观察罢了。 比如经常有朋友会问我...

2019-10-16 16:16:25 175 0

原创 卷积神经网络的Helloworld例子

马克-to-win @ 马克java社区:防盗版实名手机尾号:73203。下面是keras官方的卷积神经网络在github上的例子。和原版的唯一区别是:mnist的数据因为在国外(由于翻墙的原因,报错Exception: URL fetch failure on https://s3.amazon...

2019-09-11 16:08:32 108 0

原创 如何在Anaconda虚拟环境安装Tensorflow与Keras

1 启动Anaconda虚拟环境 安装Tensorflow与keras前,先启动Tensorflow的Anaconda虚拟环境。 activate myTensorEnv2 安装Tensorflow 在命令提示符窗口输入下列命令,安装Tensorflow: pip install tensorfl...

2019-09-10 17:31:55 494 0

原创 如何建立安装Tensorflow所需的Anaconda虚拟环境

马克-to-win @ 马克java社区:防盗版实名手机尾号:73203。我们刚才安装的anaconda的实体环境,python版本是3 。但是如果使用Python开发网站系统,可能需要Python2的版本,(当然安装Tensorflow需要Python3的版本),此时就会发生版本不一致的问题。马...

2019-09-10 11:16:19 298 0

原创 Spyder的用法

Windows/开始菜单/Spyder 敲入以下代码:from skimage import io img = io.imread('i:/tmp/AnacondaIns1.jpg') print 'mark to win' io.imshow(i...

2019-09-10 10:52:05 84 0

原创 Jupyter notebook的用法

Windows/开始菜单/Jupyter notebook 更多请见:https://blog.csdn.net/qq_44639795/article/details/100689344

2019-09-10 09:34:17 46 0

原创 Anaconda Prompt的用法

Windows/开始菜单,打开Anaconda Prompt,这个窗口和cmd窗口一样的,用命令“conda list”查看已安装的包,从这些库中我们可以发现NumPy,Matplotlib,Pandas,说明已经安装成功了! 下一步可以测试随anaconda一起安装的python:(还是在...

2019-09-08 18:13:25 751 0

原创 dropout到底在干什么?

马克-to-win @ 马克java社区:防盗版实名手机尾号:73203。我们用dropout主要是为了防止CNN过拟合。所谓过拟合就是所建的模型在训练样本中表现得过于优越,而在测试数据集中表现不佳。那既然死死的一个神经网络可能被过度训练,我们能不能每次训练时,随机挑选一部分参数来构成一个子网,将...

2019-09-08 17:11:36 64 0

原创 卷积和神经网络有什么关系?

马克-to-win @ 马克java社区:防盗版实名手机尾号:73203。如上一段所述,卷积可以提取特征,但对于真实世界当中的大规模图片库,我们并不知道哪个局部特征有效,我们还是希望通过训练神经网络,自动学习出来,怎么做呢?还得用到前面学到的BP算法,但现在的问题是卷积和神经网络有什么关系呢?马克...

2019-09-08 16:06:38 53 0

原创 池化的名字由何而来?

马克-to-win @ 马克java社区:防盗版实名手机尾号:73203。根据前面的卷积过程,我们可以达到特征提取的作用。基本上已经判断出谁是C谁是D。底下可以再进一步做一次池化。数据库连接池记得吧?马克-to-win @ 马克java社区:把很多数据库连接放在一个池子里,想用时挑一个来用。这里做...

2019-09-08 09:44:04 61 0

原创 卷积到底有什么作用?如何做到特征提取?

马克-to-win @ 马克java社区:防盗版实名手机尾号:73203。经过前面的神经网络的基础学习,终于进入我们这章的核心部分,卷积神经网络(CNN, Convolutional Neural Networks)。很多同学学了半天卷积神经网络,但一直有一个最最根本的问题没有搞懂,他也知道怎么做...

2019-09-07 18:18:13 175 0

原创 BP(back propagation)误差逆传播神经网络

马克-to-win @ 马克java社区:防盗版实名手机尾号:73203。BP神经网络是一种按误差反向传播的神经网络,它的基本思想还是梯度下降法,中间隐含层的误差和最后一层的误差存在一定的数学关系,(可以计算出来),就像误差被反向传回来了,所以顾名思义BP。马克-to-win @ 马克java社区...

2019-09-07 17:23:36 116 0

原创 什么是梯度下降法与delta法则?

马克-to-win @ 马克java社区:防盗版实名手机尾号:73203。梯度下降法就是沿梯度下降的方向求解函数(误差)极小值。delta法则是使用梯度下降法来找到最佳权向量。拿数字识别这个案例为例,训练模型的过程通常是这样的。输入为1万张图片,也就是1万个样本,我们定义为D,是训练样例集合,输出...

2019-09-07 16:03:09 76 0

原创 什么是梯度?

在单变量的函数中,梯度可简单理解为只是导数。函数f的梯度方向是函数f的值增长最快的方向,最陡的方向,换句话说,在一个场中,函数在某一点处的梯度即为此点方向导数最大值。 更多请见:https://blog.csdn.net/qq_44639795/article/details/100592901...

2019-09-07 10:56:19 247 0

原创 什么是链式法则?

链式法则是微积分中复合函数的求导法则。 复合函数,是指一个函数作为另一个函数的自变量。 如f(x)=3x,g(z)=z+3,g(f(x))就是一个复合函数,并且g(f(x))=f(x)+3=3x+3 链式法则(chain rule): 若m(x)=f(g(x)),则m'(x)=f...

2019-09-07 09:53:39 567 0

原创 什么是导数和切线?以及他们的关系?

(引自高等数学)设函数y=f(x)在点x0的某个邻域内有定义,当自变量x在x0处有增量Δx,相应地函数取得增量Δy=f(x0+Δx)-f(x0);如果Δy与Δx之比当Δx→0时极限存在,则称函数y=f(x)在点x0处可导,并称这个极限为函数y=f(x)在点x0处的导数。马克-to-win @ 马克...

2019-09-06 15:33:30 300 0

原创 什么是sigmoid激活函数?

上面我们讲了引入激活函数的意义,激活函数有多种,下面我们拿一种激活函数sigmoid来做示例,其他的类似。sigmoid函数表达式如下: 它的函数曲线图是: 看到上面的函数曲线图,可以看出是一个sigmoid函数的特点就是当输入值从负无穷变到正无穷时,输出值在0和1之间,。。。。。。。...

2019-09-05 17:01:05 175 0

原创 为什么要引入激活函数?

马克-to-win @ 马克java社区:防盗版实名手机尾号:73203。根据上面的学习,我们已经知道,当我们接到客户的需求,让我们做识别,判断或者预测时,我们需要最终交付给客户我们的神经网络模型。其实我们千辛万苦训练出来的神经网络模型,就是从输入到输出的一个神秘未知函数映射。在大多数情况下,我们...

2019-09-05 15:11:28 96 0

原创 什么叫训练模型?

马克-to-win @ 马克java社区:根据上面的计算过程可知,下图的神经网络模型果然比较符合现实情况。带游泳池的首先大概率属于高档房,其次价格也比较高。不带游泳池的 属于低档房,而且价格较低。 为什么同样的模型,判断出的结果不一样呢? 1)w3比较大,为0.8,w4比较小,为0.001.意思就...

2019-09-04 14:23:52 1150 0

原创 给出一个生活中的最简单的两层神经网的实际例子

马克-to-win @ 马克java社区:防盗版实名手机尾号:73203。下面我们给出一个生活中的最简单的两层神经网的实际例子。比如,在我们的心目当中,只要有游泳池这种设施的房子就属于高档住宅。先进行一个初步判断,高还是低? 最后才进行最终的价格判断,所以这样就有了两层神经网络。先看是高档还是低档...

2019-09-04 09:10:53 43 0

原创 MapReduce当中全局变量的用法

全局变量:马克-to-win @ 马克java社区:如想传递变量,程序可以在main函数中,利用Congfiguraion类的set函数将一些简单的数据结构放到到Congfiguraion中,map或reduce task任务启动的过程中(比如setup函数)通过Configuration类的ge...

2019-06-02 09:40:57 403 0

原创 通过剖析源码单步调试详解MapReduce分组group遍历

通过剖析源码单步调试详解MapReduce分组group遍历:马克-to-win @ 马克java社区:mapreduce的group知识点是最难理解的,本小节将通过仔细剖析源码,单步调试,来详解之。另外注意:数据文件写时一定注意:结尾不能有回车和空格,通过在map里面加断点,F8(resume)...

2019-06-02 09:40:45 70 0

原创 MapReduce当中自定义输出:多文件输出MultipleOutputs

自定义输出:多文件输出MultipleOutputs马克-to-win @ 马克java社区:对于刚才的单独订单topN的问题, 如果需要把单独的订单id的记录放在自己的一个文件中,并以订单id命名。怎么办?multipleOutputs可以帮我们解决这个问题。注意:和我们本章开始讲的多文件输出不...

2019-06-02 09:40:36 95 0

原创 DBOutputFormat把MapReduce结果输出到mysql中

DBOutputFormat把MapReduce结果输出到mysql中现在有一个需求:就是如何使用DBOutputFormat把MapReduce产生的结果输出到mysql中。package com;import java.io.File;import java.io.IOException;im...

2019-06-02 09:40:23 114 0

原创 MapReduce当中map端做join

map端做join马克-to-win @ 马克java社区:map端做join和reduce端做join有何区别?我们前面讲的是Reduce端join,因为Reduce端join需要把所有的数据都经过Shuffle,非常消耗资源,效率要远远低于Map端join。Map端join是指只有map工作,...

2019-06-02 09:40:10 75 0

原创 MapReduce当中什么叫数据倾斜(data skew)?

马克-to-win @ 马克java社区:什么叫数据倾斜(data skew)?假如,你有两个reduce节点,数据都跑到第一个节点,(比如p_id=p1的数据非常多)第二个节点没什么数据, 结果第一个节点,工作完成总是卡在99.99%,一直99.99%不能结束。 更多请见下节:https://...

2019-06-02 09:39:59 197 0

原创 MapReduce当中寻找用户间的共同好友

寻找用户间的共同好友马克-to-win @ 马克java社区:下面我们给出一个经典的案例:寻找用户间的共同好友。(有意思的是:网上讨论这个案例的虽多,但都有这那的错误,不是数据错就是程序错, 总有同学和我比对,实际和我的是不一样的)马克-to-win @ 马克java社区:下面给出用户的好友关系列...

2019-06-02 09:39:47 160 0

原创 MapReduce当中topN问题的解决方法

topN问题:马克-to-win @ 马克java社区:防盗版实名手机尾号:73203。topN问题就是输出每组中最大的一个或几个。为什么说是一个或几个呢?因为输出一个或者输出几个的算法是一样的。我们下面以输出一个为例子,做一个示范。6个订单如下:o1,p2,250.0o2,p3,500.0o2,...

2019-06-01 09:57:57 296 0

原创 MapReduce当中排序sort的方法

排序sort:马克-to-win @ 马克java社区:防盗版实名手机尾号:73203。注意:想自己实现Sort得不偿失,但如想借助Hadoop MapReduce技术框架排序,key必须实现WritableComparable接口。具体做法见下。需求是先按id比,再按amount比。packag...

2019-06-01 09:57:41 285 0

原创 Spark Scala当中reduceByKey的用法

/*reduceByKey(function) reduceByKey就是对元素为KV对的RDD中Key相同的元素的Value进行function的reduce操作(如前所述),因此,Key相同的多个元素的值被reduce为一个值,然后与原RDD中的Key组成一个新的KV对。 reduceByK...

2019-06-01 09:56:52 412 0

原创 Spark Scala当中reduceByKey(_+_) reduceByKey((x,y) => x+y)的用法

马克-to-win@ 马克java社区:reduceByKey(_+_)是reduceByKey((x,y) => x+y)的一个 简洁的形式 */ val rdd08 = sc.parallelize(List((1, 1), (1, 4),(1, 3), (3, 7), (3, 5))...

2019-06-01 09:55:29 955 0

原创 Spark和Scala当中的collect方法的用法和例子

/*马克-to-win @ 马克java社区:collect: 收集一个弹性分布式数据集的所有元素到一个数组中,这样便于我们观察,毕竟分布式数据集比较抽象。Spark的collect方法,是Action类型的一个算子,会从远程集群拉取数据到driver端。最后,将大量数据 汇集到一个driver节...

2019-06-01 09:55:14 1829 0

原创 Win7 Eclipse 搭建spark java1.8(lambda)环境:WordCount helloworld例子

Win7 Eclipse 搭建spark java1.8(lambda)环境:WordCount helloworld例子 马克-to-win @ 马克java社区:lambda表达式是java8给我们带来的一个重量的新特性,借用lambda表达式可以让我们的程序设计更加简洁。 package c...

2019-06-01 09:36:52 62 0

原创 System memory 259522560 must be at least 4.718592

/*没有下面的话,会报一个错误,java.lang.IllegalArgumentException: System memory 259522560 must be at least 4.718592E8(470M). Please use a larger heap size.这是memory...

2019-06-01 09:36:34 91 0

原创 Win7 Eclipse 搭建spark java1.8环境:WordCount helloworld例子

Win7 Eclipse 搭建spark java1.8环境:WordCount helloworld例子马克-to-win @ 马克java社区:在eclipse oxygen上创建一个普通的java项目,然后把spark-assembly-1.6.1-hadoop2.6.0.jar这个包导进工...

2019-06-01 09:28:04 149 0

原创 Win7 Eclipse 搭建spark java1.8编译环境,JavaRDD的helloworld例子

Win7 Eclipse 搭建spark java1.8编译环境,JavaRDD的helloworld例子:马克-to-win @ 马克java社区:在eclipse oxygen上创建一个普通的java项目,然后把spark-assembly-1.6.1-hadoop2.6.0.jar这个包导进...

2019-06-01 09:27:21 93 0

原创 Windows Eclipse Scala编写WordCount程序

Windows Eclipse Scala编写WordCount程序:1)马克-to-win @ 马克java社区:无需启动hadoop,因为我们用的是本地文件。先像原来一样,做一个普通的scala项目和Scala Object。但这里一定注意版本是2.10.6,因为缺省的不好使。改的方法是:右击...

2019-06-01 09:19:14 92 0

原创 Spark Scala当中reduce的用法和例子

马克-to-win @ 马克java社区:reduce将RDD中元素前两个传给输入函数,产生一个新的return值,将新产生的return值与RDD中下一个元素(即第三个元素)组成两个元素,再被传给输入函数,这样递归运作,直到最后只有一个值为止。*/ val rdd07 = sc.paralle...

2019-05-31 18:34:53 1153 0

原创 MapReduce当中的reduce当中的cleanup的用法

reduce当中的cleanup的用法:马克-to-win @ 马克java社区:上面的topN是解决每个组里的topN,比如每个订单中的最小的。但如果需要横向的比较所有的key(初学者忽略:cleanup方法慎用, 如果所有的key的数据巨大量怎么办?Map map = new HashMap(...

2019-05-31 17:41:25 798 0

提示
确定要删除当前文章?
取消 删除