2017年12月_陈伟chenwei

原创增强学习（二）——策略迭代与值迭代

在上一篇文章中，我主要介绍了马尔可夫决策过程（MDP）。在了解了增强学习的基本思想后，我们便可以继续讨论“最优策略”的求解方法：我们之前已经说到了MDP可以表示成一个元组（X, A, Psa, R），我们对最优策略的求解方法自然也就与这个元组密切相关：如果该过程的四元组均为已知，我们称这样的模型为“模型已知”，对这种已知所有环境因素的学习称为“有模型学习”（model-basedl

2017-12-29 00:15:25 2835 1

原创增强学习（一）——马尔科夫决策过程（MDP）

最近因为研究需要，要开始学习机器学习了。之前只是懂些CNN什么的皮毛，对机器学习的整体认识都比较缺乏，后面我会从头开始一点点打基础，正好也用博客把自己的学习历程记录一下，如果有大牛看到博文中有错误，欢迎指正！正好目前有个智能控制的小项目，我就先从增强学习开始。主要的参考文献是吴恩达的专题论文：Shaping and policy search in Rei

2017-12-29 00:09:53 2867

原创动态规划

终于来到了算法设计思想中最有趣的这部分，在去年的google笔试中，7道算法设计题有2道动态规划（Dynamic Programming）。看了这么久的算法，这部分也是唯一感觉到了比较难的地方，从这篇文章开始，将花连续的篇幅来讨论一些对动态规划的认识和其中的问题。这包括一些例子：计算二项式系数，Warshall算法求传递闭包，Floyd算法求完全最短路径，构造最有二叉查找树

2017-12-28 23:18:31 263

原创分段，分页与段页式存储管理

一. 分页存储管理1.基本思想用户程序的地址空间被划分成若干固定大小的区域，称为“页”，相应地，内存空间分成若干个物理块，页和块的大小相等。可将用户程序的任一页放在内存的任一块中，实现了离散分配。1) 等分内存页式存储管理将内存空间划分成等长的若干物理块，成为物理页面也成为物理块，每个物理块的大小一般取2的整数幂。内存的所有物理块从0开始编号，称作物理页

2017-12-28 21:31:23 1137

转载增强学习（二）----- 马尔可夫决策过程MDP

1. 马尔可夫模型的几类子模型大家应该还记得马尔科夫链(Markov Chain)，了解机器学习的也都知道隐马尔可夫模型(Hidden Markov Model，HMM)。它们具有的一个共同性质就是马尔可夫性(无后效性)，也就是指系统的下个状态只与当前状态信息有关，而与更早之前的状态无关。马尔可夫决策过程(Markov Decision Process, MDP)也具有马尔可夫性，

2017-12-27 17:34:34 422

原创遗传算法的基本原理和matlab实现

遗传算法解决全局优化（即为最值点如图中C，D），而局部最优解决的是极值点问题（如图中A，B）1. 遗传算法流程； [plain] view plain copy%遗传算法的伪代码描述： %Procedure GA %Begin % T=0; % Initial

2017-12-23 21:42:26 8477 1

原创正则表达式

目录跳过目录本文目标如何使用本教程正则表达式到底是什么东西？入门测试正则表达式元字符字符转义重复字符类分枝条件反义分组后向引用零宽断言负向零宽断言注释贪婪与懒惰处理选项平衡组/递归匹配还有些什么东西没提到联系作者网上的资源及本文参考文献本文目标30分钟内让你明白正则表达式是什么，并对它有一些基本的了解，让你可以在自己的程序或网页里使用它。如何使用本教程

2017-12-20 20:43:26 640

原创 Nginx之hander模块

handler模块(100%)handler模块简介相信大家在看了前一章的模块概述以后，都对nginx的模块有了一个基本的认识。基本上作为第三方开发者最可能开发的就是三种类型的模块，即handler，filter和load-balancer。Handler模块就是接受来自客户端的请求并产生输出的模块。有些地方说upstream模块实际上也是一种handler模块，只不过它产生的内容

2017-12-20 20:38:26 209

转载 web.xml中load-on-startup的作用

如下一段配置，熟悉DWR的再熟悉不过了： dwr-invoker org.directwebremoting.servlet.DwrServlet debug true 1 dwr-invoker /dwr/*我们注意到它里面包含了这段配置：1，那么这个配置有什么作用呢？贴一段英文原汁原

2017-12-20 12:15:06 187

转载内连接、左外连接、右外连接、交叉连接区别

有两个表A和表B。表A结构如下： Aid：int；标识种子，主键，自增ID Aname：varchar 数据情况，即用select * from A出来的记录情况如下图1所示：图1:A表数据表B结构如下： Bid：int；标识种子，主键，自增ID Bnameid：int 数据情况，即用select * from B出来的记录情况如下图2所示：图2:B

2017-12-19 19:44:04 377

转载 Spring@Autowired注解与自动装配

1 配置文件的方法我们编写spring 框架的代码时候。一直遵循是这样一个规则：所有在spring中注入的bean 都建议定义成私有的域变量。并且要配套写上 get 和 set方法。 Boss 拥有 Office 和 Car 类型的两个属性：清单 3. Boss.java [

2017-12-19 19:31:02 592

原创数据结构与算法--栈、队列(队列)

首先，举两个生活中的常见例子。相信大家，在用电脑工作娱乐时，都会碰到这样的现象。当我们点击程序或进行其他操作时，电脑处于死机状态。正当我们准备Reset时，它突然像打了鸡血似的，突然把刚才我们的操作，按顺序执行了一遍。之所以会出现这个现象，是因为操作系统的多个程序，需要通过一个管道输出，而按先后顺序排队造成的。还有有个例子，在我们打客服热线时，有时会出现等待的现象。当其他客户挂断电话，客服

2017-12-19 11:43:42 518

转载 .ftl文件是什么文件

1、Freemarker模板的文件后缀名2、Freemarker其实是一种比较简单的网页展示技术，说白了就是网页模板和数据模型的结合体。这种结合模式的好处就是，分离了网页界面设计人员和编程人员的工作，让他们各司其职。据个人理解，Freemarker大致的工作方式是，网页模板里面嵌入了数据模型中的数据、Freemarker自定义流程控制语言、Freemarker自定义的操作函数等等，

2017-12-18 22:49:32 13169

原创 Docker简单介绍

Docker 镜像我们都知道，操作系统分为内核和用户空间。对于 Linux 而言，内核启动后，会挂载 root 文件系统为其提供用户空间支持。而 Docker 镜像（Image），就相当于是一个 root 文件系统。比如官方镜像 ubuntu:16.04 就包含了完整的一套 Ubuntu 16.04 最小系统的 root 文件系统。Docker 镜像是一个特殊的文件系统，除了提供容器运行时

2017-12-18 17:46:35 408

原创 nginx平台初探

众所周知，nginx性能高，而nginx的高性能与其架构是分不开的。那么nginx究竟是怎么样的呢？这一节我们先来初识一下nginx框架吧。nginx在启动后，在unix系统中会以daemon的方式在后台运行，后台进程包含一个master进程和多个worker进程。我们也可以手动地关掉后台模式，让nginx在前台运行，并且通过配置让nginx取消master进程，从而可以使nginx以单进程方

2017-12-17 21:17:28 263

转载正则表达式

一前言　　对于正则表达式，相信很多人都知道，但是很多人的第一感觉就是难学，因为看第一眼时，觉得完全没有规律可寻，而且全是一堆各种各样的特殊符号，完全不知所云。其实只是对正则不了解而以，了解了你就会发现，原来就这样啊正则所用的相关字符其实不多，也不难记，更不难懂，唯一难的就是组合起来之后，可读性比较差，而且不容易理解，本文旨在让大家对正则有一个基本的了解，能看得懂简单的正则表达式，

2017-12-17 20:26:31 209

原创 Netty Buffer（缓冲）

正如我们先前所指出的，网络数据的基本单位永远是 byte(字节)。Java NIO 提供 ByteBuffer 作为字节的容器，但这个类是过于复杂，有点难以使用。Netty 中 ByteBuffer 替代是 ByteBuf，一个强大的实现，解决 JDK 的 API 的限制，以及为网络应用程序开发者一个更好的工具。但 ByteBuf 并不仅仅暴露操作一个字节序列的方法;这也是专门的Netty

2017-12-11 22:43:04 2854

转载对Java Serializable（序列化）的理解和总结

1、序列化是干什么的？简单说就是为了保存在内存中的各种对象的状态（也就是实例变量，不是方法），并且可以把保存的对象状态再读出来。虽然你可以用你自己的各种各样的方法来保存object states，但是Java给你提供一种应该比你自己好的保存对象状态的机制，那就是序列化。2、什么情况下需要序列化 a）当你想把的内存中的对象状态保存到一个文件中或者数据库中时候

2017-12-11 20:41:04 186

原创归并排序(JAVA)

package com.hbu;import java.util.Arrays;/** * Created by chenwei on 2017/12/6. */public class MergeSort { /** * 归并排序 * 简介:将两个（或两个以上）有序表合并成一个新的有序表即把待排序序列分为若干个子序列，每个子序列是有序的。然后再把有序

2017-12-06 15:37:48 151

原创磁盘IO原理

一般咱们所说的数据结构都是存放在内存之中的，因为CPU的运算速度是非常快的，而存储器当中只有内存的速度足够快能跟上CPU的处理速度，所以一般情况下数据机构都是存在内存中的，内存速度跟上CPU速度，解释：CPU每次从磁盘获取一批数据进行处理，每次获取时间假设为10秒，但是CPU每次处理完一批数据用时1秒，那么CPU有很长时间处于等待状态，当然，实际速度差别更大，这时候需要一个中间存储，能够缩小与

2017-12-03 01:19:52 2505

原创数据库索引

讲数据库的索引，是因为面试的时候这是道面试题。索引可以理解成为一种特殊的目录。sqlserver数据库提供了两种索引：聚集索引（也叫聚类索引、聚簇索引等）和非聚集索引首先，聚集索引是唯一的。一张表里，只能有一个聚集索引因为聚集索引中键值的逻辑顺序就是表中对应行的物理顺序比如数据表中存的是一个电话本，在姓氏上建立聚集索引，这一列就按abcdefg这种字母顺序裴谞排序对应到物理存储上，也是按这

2017-12-03 00:50:54 225

原创 HTTP协议

什么是HTTP协议HTTP是HyperText Transfer Protocol（超文本传输协议）的缩写。它的发展是万维网协会（WorldWide Web Consortium）和Internet工作小组IETF（InternetEngineering Task Force）合作的结果，（他们）最终发布了一系列的RFC，RFC 1945定义了HTTP/1.0版本。其中最著名的就是RFC2

2017-12-02 23:35:52 241

转载使用Redis存储Nginx+Tomcat负载均衡集群的Session

环境：Cent OS 7.0（虚拟机环境）、Nginx 1.9.8、Redis 3.2.1一、背景在使用Nginx+Tomcat实现负载均衡的时候，由于Nginx对不同的请求分发到某一个Tomcat，Tomcat在运行的时候分别是不同的容器里，因为会出现session不同步或者丢失的问题。二、Nginx安装与配置1、Nginx安装网上的资源对于安装Nginx

2017-12-02 20:36:28 228

原创小白入门：大型网站技术架构负载均衡技术

十年间，负载均衡的前沿技术层出不穷，令用户眼花缭乱。经常在技术网站、文档中出现的“四层负载均衡”、“七层负载均衡”字眼有什么含义?有什么区别?对客户网络有哪些不同的优化?在大型的网站服务器集群中，负载均衡技术是必不可少的。使用负载均衡的技术架构，能够有效避免后端服务出现单点故障，提升服务的稳定性。一、负载均衡简介负载均衡，英文名称为LoadBalance，其

2017-12-02 20:29:04 1274

原创 MySQL笔记-锁、事务与并发控制

MySQL用的时间也不短了，但从没有做过总结。今天就来总结一下吧。MySQL服务器逻辑架构每个连接都会在mysql服务端产生一个线程（内部通过线程池管理线程），比如一个select语句进入，mysql首先会在查询缓存中查找是否缓存了这个select的结果集，如果没有则继续执行解析、优化、执行的过程；否则会之间从缓存中获取结果集。MySQL并发控制

2017-12-02 00:33:52 272

原创数据库高并发解决方法总结

一个项目刚开始的时候是为了实现基本功能，随着版本和功能的迭代，大数据和高并发成了软件设计必须考虑的问题!本质很简单，一个是慢，一个是等。两者是相互关联的，因为慢，所以要等，因为等，所以慢，解决了慢，也就解决了等，解决了等，也就解决了慢。关键是如何解决慢和等，核心一个是短，一个是少，一个是分流,最后一个是集群/横向扩张/读写分离/建立主从。短是指路

2017-12-01 23:27:16 1850

转载详解MySQL基准测试和sysbench工具

前言作为一名后台开发，对数据库进行基准测试，以掌握数据库的性能情况是非常必要的。本文介绍了MySQL基准测试的基本概念，以及使用sysbench对MySQL进行基准测试的详细方法。文章有疏漏之处，欢迎批评指正。目录一、基准测试简介　　1、什么是基准测试　　2、基准测试的作用　　3、基准测试的指标　　4、基准测试的分类二、sys

2017-12-01 22:29:25 938 1

DavidChen的博客