- 博客(56)
- 收藏
- 关注
RSS订阅原创 如何用DL4J对人脸识别模型进行攻击
一、前言 上一篇博客《如何用DL4J构建起一个人脸识别系统》介绍了如何用DL4J构建一个人脸识别服务，在文章的结尾提到了MLAttack，本篇博客就来介绍...
2020-09-17 16:57:00
822
原创 Netty的七七八八
Netty被广泛使用在各种场景，如Dubbo服务的远程通信、Hadoop的shuffle过程、游戏领域的client和server通讯等等。Netty可以非常...
2020-09-11 18:47:00
229
原创 windows10下cuda9.2升级到cuda10.2
一、文章主要内容 1、Windows10下从cuda9.2升级到cuda10.2 2、Windows10下cudnn安装 3、cuda9...
2020-09-09 13:02:00
12461
原创 一篇文章看懂大型网站的架构技巧
一、写在前面 “架构”一词，是一个非常大命题，通常很难用语言来描述这个东西，我们先不谈“架构“这个词，我们先来看一些现象。 1、对于真正做实事的开发者来说，通常会有类似的感觉，架构师通常就画画ppt，代码也写不了，画的各种ppt也就看看，也解不了什么实际问题。 2...
2019-10-13 18:06:00
382
原创 一篇文章看懂自然语言处理——word表示技术的变迁(从bool模型到BERT)
一、背景 自然语言处理就是要让计算机理解人类的语言，至于到目前为止，计算机是否真的理解的人类的语言，这是一个未知之数，我的理解是目前为止并没有懂得人类语言，只是查表给出一个最大概率的回应而已。那么自然语言处理（NLP）包括哪些领域的东西呢？文本分类（如：垃圾邮件分类、情感分析）、机器...
2019-09-25 00:12:00
439
原创 如何利用deeplearning4j中datavec对图像进行处理
一、导读 众所周知图像是有红绿蓝三种颜色堆叠而成，利用deeplearning对图像处理，必须把图像转化为张量，每一张图片由有三维张量组成，三维分别是[depth、height、width]，直观来讲，就是用三个矩阵堆叠起来，每一个矩阵代表一个通道，如下图。有时候需要对图片进行旋转、...
2019-09-22 21:25:00
813
原创 通俗话说一说各种Normalization以及用deeplearning4j实现Layer Normalization
一、Normalization是什么 Normalization一句话概括来说就是用一种办法，将一组数据压到均值为0，方差为1的正态分布上去，具体做法是数据集的每一个元素减去均值再除以标准差。公式如下：（请忽略参数g，g的问题很诡异，后面说） 这个公式说的更直白一点就是...
2019-09-20 13:09:00
380
原创 如何用Deeplearning4j实现GAN
一、Gan的思想 Gan的核心所做的事情是在解决一个argminmax的问题，公式： 1、求解一个Discriminator，可以最大尺度的丈量Generator 产生的数据和真实数据之间的分布距离 2、求解一个Generator，可以最大程度减小产生数据和真实数...
2019-08-14 13:10:00
356
1
原创 DL4J之CNN对今日头条文本分类
一、数据集介绍 数据来源：今日头条客户端 数据格式如下： 6551700932705387022_!_101_!_news_culture_!_京城最值得你来场文化之旅的博物馆_!_保利集团,马未都,中国科学技术馆,博物馆,新中国6552368441838272771...
2019-08-13 23:31:00
729
1
原创 ND4J自动微分
一、前言 ND4J从beta2开始就开始支持自动微分，不过直到beta4版本为止，自动微分还只支持CPU，GPU版本将在后续版本中实现。 本篇博客中，我们将用ND4J来构建一个函数，利用ND4J SameDiff构建函数求函数值和求函数每个变量的偏微分值。 二、构建函数 ...
2019-05-25 11:28:00
306
原创 eclipse撸一发Keras卷积神经网络对手写数字识别
一、导读 1、window10 python环境Anaconda安装 2、keras安装 3、tensorflow安装 4、eclipse python开发插件PyDev安装，配置 5、keras卷积神经网络对手写数字识别 二、环境安装 ...
2019-05-25 10:13:00
649
原创 一篇文章看懂事务的一致性
一、前言 事务一直以来是一个玄之又玄的东西，非常难以理解。难以理解倒不是因为事务本身有多难，而是事务这个概念被各种刻意包装，以至于让人晕头转向，摸不着头脑。例如各种抽象的概念，一致性、持久性、原子性、持久性、读未提交、读已提交、可重复读、序列化，Spring也抽象了事务的传播属性，数...
2019-03-25 19:40:00
1603
原创 剖析Hadoop和Spark的Shuffle过程差异（二）
上一篇博客《剖析Hadoop和Spark的Shuffle过程差异（一）》剖析了Hadoop MapReduce的Shuffle过程，那么本篇博客，来聊一聊Spark shuffle。 Spark shuffle相对来说更简单，因为不要求全局有序，所以没有那么多排序合并的操作。...
2019-03-12 23:22:00
369
原创 Spark RDD操作之Map系算子
本篇博客将介绍Spark RDD的Map系算子的基本用法。 1、map map将RDD的元素一个个传入call方法，经过call方法的计算之后，逐个返回，生成新的RDD，计算之后，记录数不会缩减。示例代码，将每个数字加10之后再打印出来，代码如下 import ...
2019-03-07 20:12:00
1056
原创 分布式定时任务框架Elastic-Job的使用
一、前言 Elastic-Job是一个优秀的分布式作业调度框架。 Elastic-Job是一个分布式调度解决方案，由两个相互独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。 Elastic-Job-Lite定位为轻量级无中心化...
2019-03-06 20:37:00
706
原创 剖析Hadoop和Spark的Shuffle过程差异（一）
一、前言 对于基于MapReduce编程范式的分布式计算来说，本质上而言，就是在计算数据的交、并、差、聚合、排序等过程。而分布式计算分而治之的思想，让每个节点只计算部分数据，也就是只处理一个分片，那么要想求得某个key对应的全量数据，那就必须把相同key的数据汇集到同一个Reduce...
2019-03-05 23:33:00
268
原创 Spark RDD操作之ReduceByKey
一、reduceByKey作用 reduceByKey将RDD中所有K,V对中，K值相同的V进行合并，而这个合并，仅仅根据用户传入的函数来进行，下面是wordcount的例子。 import java.util.Arrays;import java.util.List;...
2019-03-04 19:49:00
1956
原创 解析Sharding-Sphere的SQL执行引擎
一、前言 Sharding-JDBC 是一款优秀的分库分表框架，从3.0开始，Sharding-JDBC更名为Sharding-Sphere，之前用Sharding-JDBC 2时，对于同库分表而言，sql执行是串行的，因为同数据源的connection只会获取一个，并且对于conn...
2018-12-15 19:57:00
1247
原创 对基于深度神经网络的Auto Encoder用于异常检测的一些思考
一、前言 现实中，大部分数据都是无标签的，人和动物多数情况下都是通过无监督学习获取概念，故而无监督学习拥有广阔的业务场景。举几个场景：网络流量是正常流量还是攻击流量、视频中的人的行为是否正常、运维中服务器状态是否异常等等。有监督学习的做法是...
2018-07-23 00:00:00
16717
2
原创 ND4J求多元线性回归以及GPU和CPU计算性能对比
上一篇博客《梯度下降法求多元线性回归及Java实现》简单了介绍了梯度下降法，并用Java实现了一个梯度下降法求回归的例子。本篇博客，尝试用dl4j的张量运算库nd4j来实现梯度下降法求多元线性回归，并比较GPU和CPU计算的性能差异。 一、...
2018-07-17 00:00:00
392
原创 ND4J求多元线性回归以及GPU和CPU计算性能对比
上一篇博客《梯度下降法求多元线性回归及Java实现》简单了介绍了梯度下降法，并用Java实现了一个梯度下降法求回归的例子。本篇博客，尝试用dl4j的张量运算库nd4j来实现梯度下降法求多元线性回归，并比较GPU和CPU计算的性能差异。 一、ND4J简介 ND4J是DL4J提供的张量运算库，提供了多种张量运算的封装，以下内容复杂于ND4J官网： ND4J和ND4S是JVM的...
2018-06-03 19:01:47
1566
原创 梯度下降法求多元线性回归及Java实现
对于数据分析而言，我们总是极力找数学模型来描述数据发生的规律， 有的数据我们在二维空间就可以描述，有的数据则需要映射到更高维的空间。数据表现出来的分布可能是完全离散的，也可能是聚集成堆的，那么机器学习的任务就是让计算机自己在数据中学习到数据的规律。那么这个规律通常是可以用一些函数来描述，函数可能是线性的，也可能是非线性的，怎么找到这些函数，是机器学习的首要问题。 本篇博客尝试用梯度下...
2018-06-02 23:16:52
4463
7
原创 神经网络算法对车牌价格的预测
声明： 本篇博客纯粹是技术的探讨。 一、前言 北京、上海、深圳、杭州等很多城市都对小客车增量进行调控，获取车牌的其中一个办法是竞价，那么是哪些因素决定着车牌的价格呢？是否有算法可以预测车牌的价格呢？本篇博客尝试着做一些探讨。 二、因子选择 ...
2018-03-26 00:00:00
4207
原创 整合DL4J训练模型与Web工程
一、前言 上一篇博客《有趣的卷积神经网络》介绍如何基于deeplearning4j对手写数字识别进行训练，对于整个训练集只训练了一次，正确率是0.9897，随着迭代次数的增加，网络模型将更加逼近训练集，下面是对训练集迭代十次的评估结果，总之迭代次数的增加会...
2018-03-21 00:00:00
2478
4
原创 有趣的卷积神经网络
一、前言 最近一直在研究深度学习，联想起之前所学，感叹数学是一门朴素而神奇的科学。F＝G*m1*m2/r²万有引力描述了宇宙星河运转的规律，E=mc²描述了恒星发光的奥秘，V=H*d哈勃定律描述了宇宙膨胀的奥秘，自然界的大部分现象和规律都可以用数学函数来描...
2018-03-19 00:00:00
920
1
原创 一篇文章看懂Java并发和线程安全（二）
一、前言 上一篇博客《一篇文章看懂Java并发和线程安全（一）》讲述了多线程中，程序总不能按照我们所看到的那样执行，必须保证共享数据的可见性和执行临界区代码的有序性，才能让多线程程序运行成我们想要的样子，本篇博客将继续深入讲解一个有序而又乱序的Java世界。...
2018-01-26 00:00:00
282
原创 一篇文章看懂Java并发和线程安全（一）
一、前言 长久以来，一直想剖析一下Java线程安全的本质，但是苦于有些微观的点想不明白，便搁置了下来，前段时间慢慢想明白了，便把所有的点串联起来，趁着思路清晰，整理成这样一篇文章。 二、导读 1、为什么有多线程？ 2、线程安全描述的本...
2018-01-20 00:00:00
649
8
原创 一篇文章看懂爬虫
一、导读 1、爬虫基础知识 2、优秀国产开源爬虫框架webmagic剖析 二、爬虫基础 1、爬虫的本质 爬虫的本质：基于Http协议请求目标地址获取响应结果解析并存储。 2、HTTP请求 （1）、请求头（...
2017-12-12 00:00:00
1058
3
原创 如何基于TeaFramework进行web开发
前面几篇博客介绍了TeaFramework的实现，本篇博客将介绍如果利用Teaframework进行web开发，写了一个demo，包括一套完整的增删改查，分页、AOP等等，基于LayUI做了一套界面（感谢@贤心的LayUI）。demo已经上传至码云，地址：h...
2017-12-08 00:00:00
204
原创 TeaFramework——MVC框架的实现
web MVC模式拆解来看，就做了以下几件事： 1、将web页面传过来的零散数据赋值给Model，这里的model就是普通java对象，如pojo、domain、vo等等。 2、控制返回值，返回值可以是普通的视图，例如jsp、freema...
2017-12-05 00:00:00
395
原创 TeaFramework——事务的实现
事务的本质：让程序像我们看到的那样执行。 数据库事务就是对于界定为同一个事务的一组数据库操作，要么同时成功，要么同时失败，不可能出现部分成功的中间状态。 对于JDBC原生事务，首先要设置自动提交为false：connection.setA...
2017-12-04 00:00:00
114
原创 TeaFramework——AOP的实现
AOP是拦截的方法后要做对应的织入，那么先定义几种通知：前置通知、后置通知、异常通知、结束通知，代码如下： public interface AopAdvice { public void before(Proxy proxy); public v...
2017-12-04 00:00:00
149
原创 简单又复杂的人工神经网络
最近正在看吴军博士的一本书《数学之美》，受到了很多启发，恶补了几天线性代数和高等数学，趁着自己思路清晰，把自己对人工神经网络的想法记录下来，顺便推导一下公式。 一场人工智能狂潮正在悄悄的到来，也许要不了多久，各种智能产品将会环绕再我们的周围，坐在智...
2017-11-30 00:00:00
1799
原创 架构的变迁
一、背景 目前正在做的事大部分与数据处理、机器学习、自然语言处理相关，一直想对web进行一些总结，一是想回顾一下这些年web架构的变迁，二是想记录下来方便日后查看。 二、架构的变迁 软件架构有C/S和B/S之分。C/S即client/serve...
2017-11-28 00:00:00
417
原创 关于AOP和代理的一点想法
AOP从本质上讲是在我们可视之外改变了程序的运行轨迹，比方说，有个方法method执行完，就结束了，通过AOP在method前插入N个操作、在method后插入N个操作，那么这时要执行method方法，需要执行前面的N个操作才能进入，要退出，还得把后面的N个...
2017-11-23 00:00:00
212
原创 TeaFramework——IOC容器实现（二）
上一篇讲了生成的Bean这样放在Map容器里已经属性的注入过程，这一篇中将讲到Class怎么被扫描以及怎么被实例化的。 对于web工程而言，要扫描的class有两个来源： 1、项目中写的class，放在classpath路径下 ...
2017-11-22 00:00:00
145
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人