自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 一篇文章看懂大型网站的架构技巧

一、写在前面 “架构”一词,是一个非常大命题,通常很难用语言来描述这个东西,我们先不谈“架构“这个词,我们先来看一些现象。 1、对于真正做实事的开发者来说,通常会有类似的感觉,架构师通常就画画ppt,代码也写不了,画的各种ppt也就看看,也解不了什么实际问题。 2...

2019-10-13 18:06:00

阅读数 32

评论数 0

原创 一篇文章看懂自然语言处理——word表示技术的变迁(从bool模型到BERT)

一、背景 自然语言处理就是要让计算机理解人类的语言,至于到目前为止,计算机是否真的理解的人类的语言,这是一个未知之数,我的理解是目前为止并没有懂得人类语言,只是查表给出一个最大概率的回应而已。那么自然语言处理(NLP)包括哪些领域的东西呢?文本分类(如:垃圾邮件分类、情感分析)、机器...

2019-09-25 00:12:00

阅读数 17

评论数 0

原创 如何利用deeplearning4j中datavec对图像进行处理

一、导读 众所周知图像是有红绿蓝三种颜色堆叠而成,利用deeplearning对图像处理,必须把图像转化为张量,每一张图片由有三维张量组成,三维分别是[depth、height、width],直观来讲,就是用三个矩阵堆叠起来,每一个矩阵代表一个通道,如下图。有时候需要对图片进行旋转、...

2019-09-22 21:25:00

阅读数 24

评论数 0

原创 通俗话说一说各种Normalization以及用deeplearning4j实现Layer Normalization

一、Normalization是什么 Normalization一句话概括来说就是用一种办法,将一组数据压到均值为0,方差为1的正态分布上去,具体做法是数据集的每一个元素减去均值再除以标准差。公式如下:(请忽略参数g,g的问题很诡异,后面说) 这个公式说的更直白一点就是...

2019-09-20 13:09:00

阅读数 17

评论数 0

原创 如何用Deeplearning4j实现GAN

一、Gan的思想 Gan的核心所做的事情是在解决一个argminmax的问题,公式: 1、求解一个Discriminator,可以最大尺度的丈量Generator 产生的数据和真实数据之间的分布距离 2、求解一个Generator,可以最大程度减小产生数据和真实数...

2019-08-14 13:10:00

阅读数 19

评论数 0

原创 DL4J之CNN对今日头条文本分类

一、数据集介绍 数据来源:今日头条客户端 数据格式如下: 6551700932705387022_!_101_!_news_culture_!_京城最值得你来场文化之旅的博物馆_!_保利集团,马未都,中国科学技术馆,博物馆,新中国 6552368441838272771...

2019-08-13 23:31:00

阅读数 7

评论数 0

原创 ND4J自动微分

一、前言 ND4J从beta2开始就开始支持自动微分,不过直到beta4版本为止,自动微分还只支持CPU,GPU版本将在后续版本中实现。 本篇博客中,我们将用ND4J来构建一个函数,利用ND4J SameDiff构建函数求函数值和求函数每个变量的偏微分值。 二、构建函数 ...

2019-05-25 11:28:00

阅读数 9

评论数 0

原创 eclipse撸一发Keras卷积神经网络对手写数字识别

一、导读 1、window10 python环境Anaconda安装 2、keras安装 3、tensorflow安装 4、eclipse python开发插件PyDev安装,配置 5、keras卷积神经网络对手写数字识别 二、环境安装 ...

2019-05-25 10:13:00

阅读数 19

评论数 0

原创 一篇文章看懂事务的一致性

一、前言 事务一直以来是一个玄之又玄的东西,非常难以理解。难以理解倒不是因为事务本身有多难,而是事务这个概念被各种刻意包装,以至于让人晕头转向,摸不着头脑。例如各种抽象的概念,一致性、持久性、原子性、持久性、读未提交、读已提交、可重复读、序列化,Spring也抽象了事务的传播属性,数...

2019-03-25 19:40:00

阅读数 94

评论数 0

原创 剖析Hadoop和Spark的Shuffle过程差异(二)

上一篇博客《剖析Hadoop和Spark的Shuffle过程差异(一)》剖析了Hadoop MapReduce的Shuffle过程,那么本篇博客,来聊一聊Spark shuffle。 Spark shuffle相对来说更简单,因为不要求全局有序,所以没有那么多排序合并的操作。...

2019-03-12 23:22:00

阅读数 17

评论数 0

原创 Spark RDD操作之Map系算子

本篇博客将介绍Spark RDD的Map系算子的基本用法。 1、map map将RDD的元素一个个传入call方法,经过call方法的计算之后,逐个返回,生成新的RDD,计算之后,记录数不会缩减。示例代码,将每个数字加10之后再打印出来,代码如下 import ...

2019-03-07 20:12:00

阅读数 13

评论数 0

原创 分布式定时任务框架Elastic-Job的使用

一、前言 Elastic-Job是一个优秀的分布式作业调度框架。 Elastic-Job是一个分布式调度解决方案,由两个相互独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。 Elastic-Job-Lite定位为轻量级无中心化...

2019-03-06 20:37:00

阅读数 22

评论数 0

原创 剖析Hadoop和Spark的Shuffle过程差异(一)

一、前言 对于基于MapReduce编程范式的分布式计算来说,本质上而言,就是在计算数据的交、并、差、聚合、排序等过程。而分布式计算分而治之的思想,让每个节点只计算部分数据,也就是只处理一个分片,那么要想求得某个key对应的全量数据,那就必须把相同key的数据汇集到同一个Reduce...

2019-03-05 23:33:00

阅读数 7

评论数 0

原创 Spark RDD操作之ReduceByKey

一、reduceByKey作用 reduceByKey将RDD中所有K,V对中,K值相同的V进行合并,而这个合并,仅仅根据用户传入的函数来进行,下面是wordcount的例子。 import java.util.Arrays; import java.util.List; ...

2019-03-04 19:49:00

阅读数 11

评论数 0

原创 解析Sharding-Sphere的SQL执行引擎

一、前言 Sharding-JDBC 是一款优秀的分库分表框架,从3.0开始,Sharding-JDBC更名为Sharding-Sphere,之前用Sharding-JDBC 2时,对于同库分表而言,sql执行是串行的,因为同数据源的connection只会获取一个,并且对于conn...

2018-12-15 19:57:00

阅读数 19

评论数 0

原创 deeplearning4j——卷积神经网络对验证码进行识别

开发十年,就只剩下这套架构体系了! >>&...

2018-10-09 20:02:00

阅读数 768

评论数 0

原创 ND4J的基本操作

开发十年,就只剩下这套架构体系了! >>&...

2018-10-08 19:53:00

阅读数 319

评论数 0

原创 对基于深度神经网络的Auto Encoder用于异常检测的一些思考

一、前言     现实中,大部分数据都是无标签的,人和动物多数情况下都是通过无监督学习获取概念,故而无监督学习拥有广阔的业务场景。举几个场景:网络...

2018-07-23 00:00:00

阅读数 5491

评论数 2

原创 梯度下降法求多元线性回归及Java实现

开发十年,就只剩下这套架构体系了! >>&...

2018-07-17 19:28:00

阅读数 89

评论数 12

原创 ND4J求多元线性回归以及GPU和CPU计算性能对比

上一篇博客《梯度下降法求多元线性回归及Java实现》简单了介绍了梯度下降法,并用Java实现了一个梯度下降法求回归的例子。本篇博客,尝试用dl4j的...

2018-07-17 00:00:00

阅读数 101

评论数 0

原创 ND4J求多元线性回归以及GPU和CPU计算性能对比

    上一篇博客《梯度下降法求多元线性回归及Java实现》简单了介绍了梯度下降法,并用Java实现了一个梯度下降法求回归的例子。本篇博客,尝试用dl4j的张量运算库nd4j来实现梯度下降法求多元线性回归,并比较GPU和CPU计算的性能差异。    一、ND4J简介    ND4J是DL4J提供的...

2018-06-03 19:01:47

阅读数 569

评论数 0

原创 梯度下降法求多元线性回归及Java实现

    对于数据分析而言,我们总是极力找数学模型来描述数据发生的规律, 有的数据我们在二维空间就可以描述,有的数据则需要映射到更高维的空间。数据表现出来的分布可能是完全离散的,也可能是聚集成堆的,那么机器学习的任务就是让计算机自己在数据中学习到数据的规律。那么这个规律通常是可以用一些函数来描述,函...

2018-06-02 23:16:52

阅读数 2181

评论数 4

原创 将博客搬至CSDN

博客将迁移至csdn,博客地址:https://blog.csdn.net/dong_lxkm

2018-06-02 00:00:00

阅读数 58

评论数 0

原创 神经网络算法对车牌价格的预测

声明:     本篇博客纯粹是技术的探讨。 一、前言     北京、上海、深圳、杭州等很多城市都对小客车增量进行调控,获取车牌的其中一个办法是竞价,那么是哪些因...

2018-03-26 00:00:00

阅读数 1474

评论数 0

原创 整合DL4J训练模型与Web工程

一、前言     上一篇博客《有趣的卷积神经网络》介绍如何基于deeplearning4j对手写数字识别进行训练,对于整个训练集只训练了一次,正确率是0.9897,...

2018-03-21 00:00:00

阅读数 1594

评论数 4

原创 有趣的卷积神经网络

一、前言     最近一直在研究深度学习,联想起之前所学,感叹数学是一门朴素而神奇的科学。F=G*m1*m2/r²万有引力描述了宇宙星河运转的规律,E=mc²描述了...

2018-03-19 00:00:00

阅读数 298

评论数 1

原创 一篇文章看懂Java并发和线程安全(二)

一、前言    上一篇博客《一篇文章看懂Java并发和线程安全(一)》讲述了多线程中,程序总不能按照我们所看到的那样执行,必须保证共享数据的可见性和执行临界区代码的...

2018-01-26 00:00:00

阅读数 71

评论数 0

原创 一篇文章看懂Java并发和线程安全(一)

一、前言     长久以来,一直想剖析一下Java线程安全的本质,但是苦于有些微观的点想不明白,便搁置了下来,前段时间慢慢想明白了,便把所有的点串联起来,趁着思路清...

2018-01-20 00:00:00

阅读数 347

评论数 8

原创 一篇文章看懂爬虫

一、导读     1、爬虫基础知识     2、优秀国产开源爬虫框架webmagic剖析 二、爬虫基础     1、爬虫的本质     爬虫的本质:基于H...

2017-12-12 00:00:00

阅读数 564

评论数 3

原创 如何基于TeaFramework进行web开发

    前面几篇博客介绍了TeaFramework的实现,本篇博客将介绍如果利用Teaframework进行web开发,写了一个demo,包括一套完整的增删改查,分...

2017-12-08 00:00:00

阅读数 65

评论数 0

原创 TeaFramework——MVC框架的实现

    web MVC模式拆解来看,就做了以下几件事:     1、将web页面传过来的零散数据赋值给Model,这里的model就是普通java对象,如pojo、...

2017-12-05 00:00:00

阅读数 101

评论数 0

原创 TeaFramework——事务的实现

    事务的本质:让程序像我们看到的那样执行。     数据库事务就是对于界定为同一个事务的一组数据库操作,要么同时成功,要么同时失败,不可能出现部分成功的中间状...

2017-12-04 00:00:00

阅读数 36

评论数 0

原创 TeaFramework——AOP的实现

    AOP是拦截的方法后要做对应的织入,那么先定义几种通知:前置通知、后置通知、异常通知、结束通知,代码如下: public interface AopAdvi...

2017-12-04 00:00:00

阅读数 43

评论数 0

原创 简单又复杂的人工神经网络

    最近正在看吴军博士的一本书《数学之美》,受到了很多启发,恶补了几天线性代数和高等数学,趁着自己思路清晰,把自己对人工神经网络的想法记录下来,顺便推导一下公式。...

2017-11-30 00:00:00

阅读数 786

评论数 0

原创 架构的变迁

一、背景     目前正在做的事大部分与数据处理、机器学习、自然语言处理相关,一直想对web进行一些总结,一是想回顾一下这些年web架构的变迁,二是想记录下来方便日...

2017-11-28 00:00:00

阅读数 113

评论数 0

原创 关于AOP和代理的一点想法

    AOP从本质上讲是在我们可视之外改变了程序的运行轨迹,比方说,有个方法method执行完,就结束了,通过AOP在method前插入N个操作、在method后插...

2017-11-23 00:00:00

阅读数 61

评论数 0

原创 TeaFramework——IOC容器实现(二)

    上一篇讲了生成的Bean这样放在Map容器里已经属性的注入过程,这一篇中将讲到Class怎么被扫描以及怎么被实例化的。     对于web工程而言,要扫描的...

2017-11-22 00:00:00

阅读数 34

评论数 0

原创 TeaFramework——IOC容器实现(一)

    Spring的IOC/DI让层与层之间解耦,让接口和实现类不必强依赖,提高程序的扩展性和对需求的适应性。TeaFramework也提供了一个IOC容器,帮我们...

2017-11-21 00:00:00

阅读数 30

评论数 0

原创 TeaFramework——ORM框架的实现(四)

    在本篇博客中,聊聊分页的问题,对于每一个数据库,分页语句都不相同,如:mysql用limit分页、oracle用rownum分页等,那么要实现代码可以移植到不...

2017-11-20 00:00:00

阅读数 41

评论数 0

原创 TeaFramework——ORM框架的实现(三)

    上一篇博客详细描述了SQL占位符的替换以及SQL的执行过程,对于查询语句返回的是一个List<CaseInsensitiveMap&lt...

2017-11-20 00:00:00

阅读数 37

评论数 0

提示
确定要删除当前文章?
取消 删除