陈伟chenwei-CSDN博客

原创 Java序列化与反序列化

Java序列化与反序列化是什么？为什么需要序列化与反序列化？如何实现Java序列化与反序列化？本文围绕这些问题进行了探讨。 1.Java序列化与反序列化 Java序列化是指把Java对象转换为字节序列的过程；而Java反序列化是指把字节序列恢复为Java对象的过程。 2.为什么需要序列化与反序列化我们知道，当两个进程进行远程通信时，可以相互发送各种类型的数据，包括文本、图片、音频

2017-08-12 23:07:02 225

原创五大常用算法之二：动态规划算法

一、基本概念动态规划过程是：每次决策依赖于当前状态，又随即引起状态的转移。一个决策序列就是在变化的状态中产生出来的，所以，这种多阶段最优化决策解决问题的过程就称为动态规划。二、基本思想与策略基本思想与分治法类似，也是将待求解的问题分解为若干个子问题（阶段），按顺序求解子阶段，前一子问题的解，为后一子问题的求解提供了有用的信息。在求解任一子问题时，列出各种可能

2017-08-08 22:47:39 278

原创动态规划之背包问题——Java实现

背包问题具体例子：假设现有容量10kg的背包，另外有3个物品，分别为a1，a2，a3。物品a1重量为3kg，价值为4；物品a2重量为4kg，价值为5；物品a3重量为5kg，价值为6。将哪些物品放入背包可使得背包中的总价值最大？首先想到的，一般是穷举法，一个一个地试，对于数目小的例子适用，如果容量增大，物品增多，这种方法就无用武之地了。　　其次，可以先把价值最大的物体放入，这已经是贪婪算法的

2017-08-08 22:32:15 5950 1

原创 python序列化

在程序运行的过程中，所有的变量都是在内存中，比如，定义一个dict：d = dict(name='Bob', age=20, score=88)可以随时修改变量，比如把name改成'Bill'，但是一旦程序结束，变量所占用的内存就被操作系统全部回收。如果没有把修改后的'Bill'存储到磁盘上，下次重新运行程序，变量又被初始化为'Bob'。我们把变量从内存中变成可存储或传输的过程称之为

2017-08-07 13:27:03 318

原创几种压缩算法原理介绍

1 RLERLE 又叫 Run Length Encoding ，是一个针对无损压缩的非常简单的算法。它用重复字节和重复的次数来简单描述来代替重复的字节。尽管简单并且对于通常的压缩非常低效，但它有的时候却非常有用（例如， JPEG 就使用它）。1.1 原理图 2.1 显示了一个如何使用 RLE 算法来对一个数据流编码的例子，其中出现六次的符号‘ 93 ’已经用 3 个字节来代替：一个标

2017-08-06 01:53:56 5115

原创集束搜索（Beam Search Algorithm ）

看计算机科学中最重要的32个算法，其中有个是集束搜索（又名定向搜索，Beam Search）——最佳优先搜索算法的优化。使用启发式函数评估它检查的每个节点的能力。不过，集束搜索只能在每个深度中发现前m个最符合条件的节点，m是固定数字——集束的宽度。泛泛的介绍，不是很能理解清楚，于是有百度又google，写篇东西备忘。先贴维基百科的地址：Beam Search翻译过来就是：Beam Se

2017-08-06 00:46:06 15370 2

翻译 Python Decorators入门（一）

我预计它会成为python最重要的几个特性之一。而问题是我见过的所有介绍decorators的文章都很容易让人感到困惑。所以我打算在这里给以纠正以正视听。(本系列文章将录入开源类书籍Python3之模式和用法) Decorators vs. Decorator模式首先，你得明白使用 “decorator”一词是十分谨慎的决定，因为它可能会让人联想到Design Patterns

2017-08-05 23:48:21 302

原创 MyISAM存储引擎

MyISAM存储引擎每个MyISAM在磁盘上存储成三个文件。第一个文件的名字以表的名字开始，扩展名指出文件类型。.frm文件存储表定义。数据文件的扩展名为.MYD (MYData)。索引文件的扩展名是.MYI (MYIndex)。要明确表示你想要用一个MyISAM表格，请用ENGINE表选项指出来： CREATE TABLE t (i INT) ENGINE = MYISAM;

2017-08-01 00:35:59 481

原创 innodb存储引擎

innodb存储引擎数据库和实例数据库(database):物理操作系统文件或其他形式文件类型的集合实例(instance):mysql数据库由后台线程以及一个共享内存区组成。通常情况下，两者是一对一关系；但是，在集群情况下可能存在一个数据库被多个数据实例使用的情况。 mysql实例在系统上的表现就是一个进程； InnoDB存储架构

2017-08-01 00:21:38 284

原创 Linux 软件安装到 /usr，/usr/local/ 还是 /opt 目录？

Linux 的软件安装目录是也是有讲究的，理解这一点，在对系统管理是有益的/usr：系统级的目录，可以理解为C:/Windows/，/usr/lib理解为C:/Windows/System32。/usr/local：用户级的程序目录，可以理解为C:/Progrem Files/。用户自己编译的软件默认会安装到这个目录下。/opt：用户级的程序目录，可以理解为D:/Softwar

2017-07-30 14:27:02 560

原创递归算法

程序调用自身的编程技巧称为递归（ recursion）。递归做为一种算法在程序设计语言中广泛应用。递归有直接递归和间接递归•直接递归：函数在执行过程中调用本身。•间接递归：函数在执行过程中调用其它函数再经过这些函数调用本身。•表达方式：•递归算法有四个特性：（1）必须有可最终达到的终止条件，否则程序将陷入无穷循环；（2）子问题在规模上比原问题小，或更

2017-07-29 22:37:00 457

原创 7种回归分析方法

什么是回归分析？回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。例如，司机的鲁莽驾驶与道路交通事故数量之间的关系，最好的研究方法就是回归。回归分析是建模和分析数据的重要工具。在这里，我们使用曲线/线来拟合这些数据点，在这种方式下，从曲线或线到数据点的距离差异最小。我会在接下来的部

2017-07-29 18:44:02 1772

原创概率分析和随机算法

一、随机分析考虑一个雇佣问题，面试n个人，在面试的过程中，只要更为优秀的人出现，就雇佣更为优秀的人，但是更换人选需要花费一笔费用c，现在估算这笔费用。这个问题相当于维护一个当前的“获胜者”。最坏的情形当然是替换n次，那么费用就会是cn.随机的情况：第i个人比前i-1个人更为优秀的概率为1/i，那么期望E[X] = 1/1 +1/2 +1/3 + …… = ln n +

2017-07-27 11:25:54 771

原创红黑树java实现

概要前面分别介绍红黑树的理论知识、红黑树的C语言和C++的实现。本章介绍红黑树的Java实现，若读者对红黑树的理论知识不熟悉，建立先学习红黑树的理论知识，再来学习本章。还是那句老话，红黑树的C/C++/Java实现，原理一样，择其一了解即可。目录1. 红黑树的介绍2. 红黑树的Java实现(代码说明)3. 红黑树的Java实现(完整源码)4. 红黑树的Jav

2017-07-26 23:50:15 734

原创 Django使用自己的用户系统

用过django的人应该都会知道admin,不过，需求是多变的，比如，你有一个变态的用户系统，用户可能有大中小三张头像，除了fisrt name ,last name外还有middle name,T^T name巴拉巴拉，django 的用户系统可能满足不了你的需求，这时候需要用自己的用户系统了，如何能在满足需求的时候充分又利用到django的用户系统？django使用自己的用户系统ste

2017-07-25 23:47:07 5053

原创 Centos系统下的文件目录说明

目录内容和用途/根目录。一般不含任何文件，除了可能的标准的系统引导映象，通常叫/vmlinuz 。所有其他文件在根文件系统的子目录中。/bin 一般用户使用的命令/boot 放置内核及LILO、GRUB等导引程序(bootloader)的文件，用于启动。/dev 硬盘，分区，键盘，鼠标，USB，tty等所有的设备文件都放在这个目录。/etc 系统的所有配置文件都存放在此目录中。

2017-07-25 13:15:00 5811

原创 Apache Maven 构建生命周期

Maven - 构建生命周期什么是构建生命周期构建生命周期是一组阶段的序列（sequence of phases），每个阶段定义了目标被执行的顺序。这里的阶段是生命周期的一部分。举例说明，一个典型的 Maven 构建生命周期是由以下几个阶段的序列组成的：阶段处理描述prepare-resources资源拷贝本阶段可以自定义需要拷贝的资

2017-07-25 10:21:01 349

原创 python关键字

python3.3.2中的关键字如下：The following identifiers are used as reserved words, or keywords of the language, and cannot be used as ordinary identifiers. They must be spelled exactly as written here:F

2017-07-21 20:55:19 429

原创 JVM运行时数据区域及GC

JVM在执行Java程序的过程中会把它所管理的内存划分为若干个不同的数据区域。这些区域都有各自的用途、创建和销毁的时间。本文以Sun公司HotSpot虚拟机为例进行说明，JRockit和IBM J9会有所不同。HotSpot运行时数据区分为堆和栈两种类型，堆空间为线程共享，栈空间为线程私有。堆空间又分为方法区和堆，栈细分为虚拟机栈、本地方法栈和程序计数器，但HotSpot栈的实现将本地方法栈中

2017-07-20 22:16:19 343

转载计算机网络--HTTP协议

Fiddler介绍Fiddler是一个http协议调试代理工具，它能够记录并检查所有你的电脑和互联网之间的http通讯，设置断点，查看所有的“进出”Fiddler的数据（指cookie,html,js,css等文件，这些都可以让你胡乱修改的意思）。 Fiddler 要比其他的网络调试器要更加简单，因为它不仅仅暴露http通讯还提供了一个用户友好的格式。Fiddler显示IPFiddle

2017-07-19 23:53:45 651

原创通信协议——Http、TCP、UDP

CP HTTP UDP: 都是通信协议，也就是通信时所遵守的规则，只有双方按照这个规则“说话”，对方才能理解或为之服务。TCP HTTP UDP三者的关系:TCP/IP是个协议组，可分为四个层次：网络接口层、网络层、传输层和应用层。在网络层有IP协议、ICMP协议、ARP协议、RARP协议和BOOTP协议。在传输层中有TCP协议与UDP协议。在应用层有FTP

2017-07-19 23:36:17 236

原创 TopN算法

在系统中，我们经常会遇到这样的需求：将大量（比如几十万、甚至上百万）的对象进行排序，然后只需要取出最Top的前N名作为排行榜的数据，这即是一个TopN算法。常见的解决方案有三种：（1）直接使用List的Sort方法进行处理。（2）使用排序二叉树进行排序，然后取出前N名。（3）使用最大堆排序，然后取出前N名。第一种方案的性能是最差的，后两种方案性能会好一些，但是还是不能满

2017-07-19 21:39:47 5347

原创 Spark RDD

这篇文章想从Spark当初设计时为何提出RDD概念，相对于Hadoop，RDD真的能给spark带来何等优势。之前本想开篇是想总体介绍spark，以及环境搭建过程，但个人感觉RDD更为重要铺垫在hadoop中一个独立的计算，例如在一个迭代过程中，除可复制的文件系统（HDFS）外没有提供其他存储的概念，这就导致在网络上进行数据复制而增加了大量的消耗，而对于两个的MapReduce作业

2017-07-16 22:19:51 720 1

原创 SparkContext简介

本篇文章就要根据源码分析SparkContext所做的一些事情，用过Spark的开发者都知道SparkContext是编写Spark程序用到的第一个类，足以说明SparkContext的重要性；这里先摘抄SparkContext源码注释来简单介绍介绍SparkContext，注释的第一句话就是说SparkContext为Spark的主要入口点，简明扼要，如把Spark集群当作服务端那Spark

2017-07-15 23:00:44 832

转载非常详细的docker笔记

一、Docker 简介Docker 两个主要部件：Docker: 开源的容器虚拟化平台Docker Hub: 用于分享、管理 Docker 容器的 Docker SaaS 平台 -- Docker Hubdocker 使用客户端-服务器 (C/S)架构模式。Docker 客户端会与 Docker 守护进程进行通信。Docker 守护进程会处理复杂繁重的任务，例如

2017-07-15 01:27:42 4435 1

原创 mysql数据库锁定机制

前言为了保证数据的一致完整性，任何一个数据库都存在锁定机制。锁定机制的优劣直接应想到一个数据库系统的并发处理能力和性能，所以锁定机制的实现也就成为了各种数据库的核心技术之一。本章将对MySQL中两种使用最为频繁的存储引擎MyISAM和Innodb各自的锁定机制进行较为详细的分析。 MySQL锁定机制简介数据库锁定机制简单来说就是数据库为了保证数据的一致性而使各种共享资源在被并发访问

2017-07-14 14:50:00 418

原创最全面的Java多线程用法解析

1.创建线程在Java中创建线程有两种方法：使用Thread类和使用Runnable接口。在使用Runnable接口时需要建立一个Thread实例。因此，无论是通过Thread类还是Runnable接口建立线程，都必须建立Thread类或它的子类的实例。Thread构造函数：public Thread( );public Thread(Runnable target);public T

2017-07-14 01:36:22 218

原创理解事务的4种隔离级别

数据库事务的隔离级别有4种，由低到高分别为Read uncommitted 、Read committed 、Repeatable read 、Serializable 。而且，在事务的并发操作中可能会出现脏读，不可重复读，幻读。下面通过事例一一阐述它们的概念与联系。Read uncommitted读未提交，顾名思义，就是一个事务可以读取另一个未提交事务的数据。事例：老板要给程序员

2017-07-13 14:04:46 305

原创 HotSpot的算法实现

HotSpot VM，相信所有Java程序员都知道，它是Sun JDK和OpenJDK中所带的虚拟机，也是目前使用范围最广的Java虚拟机。前面从理论上介绍了对象存活判定算法和垃圾收集算法，而在HotSpot虚拟机上实现这些算法的时候必须对算法的执行效率有严格的考量才能保证虚拟机高效运行。接下来说三点：1、枚举根节点2、安全点

2017-07-13 13:44:25 560

原创 mysql之事务详解

我们知道，应用中的一个业务逻辑，往往由多条语句组合完成。那么我们就可以简单地将事务理解为一组SQL语句的集合，要么这个集合全部成功集合，要么这个集合就全部失败退回到第一句之前的状态。语法我们先来看看事务的语法。现在的社会比较浮躁，大家往往只在乎如何解决问题，而不去考虑问题的本质到底是什么。所以我决定先来介绍事务的语法： 1. 开启事务start transaction，可以简写

2017-07-12 23:09:33 233

原创主键与外键

主键与外键一、什么是主键、外键：关系型数据库中的一条记录中有若干个属性，若其中某一个属性组(注意是组)能唯一标识一条记录，该属性组就可以成为一个主键比如学生表(学号，姓名，性别，班级) 其中每个学生的学号是唯一的，学号就是一个主键课程表(课程编号,课程名,学分) 其中课程编号是唯一的,课程编号就是一个主键成绩表(学号,课程号,成绩) 成绩

2017-07-12 20:40:59 890

范式：英文名称是 Normal Form，它是英国人 E.F.Codd（关系数据库的老祖宗）在上个世纪70年代提出关系数据库模型后总结出来的，范式是关系数据库理论的基础，也是我们在设计数据库结构过程中所要遵循的规则和指导方法。目前有迹可寻的共有8种范式，依次是：1NF，2NF，3NF，BCNF，4NF，5NF，DKNF，6NF。通常所用到的只是前三个范式，即：第一范式（1NF），第二范式（2NF）

2017-07-12 20:18:32 280

原创 MySQL体系结构

了解MySql必须牢牢记住其体系结构图，Mysql是由SQL接口，解析器，优化器，缓存，存储引擎组成的 1 Connectors指的是不同语言中与SQL的交互 2 Management Serveices & Utilities：系统管理和控制工具 3 Connection Pool: 连接池。管理缓冲用户连接，线程处理等需要缓存

2017-07-12 20:06:54 333

原创数据库索引类型及实现方式

数据库索引类型及实现方式1、索引定义　　数据库索引好比是一本书前面的目录，能加快数据库的查询速度。索引是对数据库表中一个或多个列（例如，employee 表的姓氏 (lname) 列）的值进行排序的结构。如果想按特定职员的姓来查找他或她，则与在表中搜索所有的行相比，索引有助于更快地获取信息。2、建立索引的优缺点：优点： 1.大大加快数据的检索速度;

2017-07-12 18:43:23 26697 1

原创 HTML文档中小meta标签的大作用

-- HTML文档中小meta标签的大作用meta是用来在HTML文档中模拟HTTP协议的响应头报文。meta 标签用于网页的＜head＞与＜/head＞中，meta 标签的用处很多。meta 的属性有两种：name和http-equiv。name属性主要用于描述网页，对应于content（网页内容），以便于搜索引擎机器人查找、分类（目前几乎所有的搜索引擎都使用网上机器人自动查找met

2017-07-10 17:39:45 305

原创 Linux Socket编程（不限Linux）

“一切皆Socket！”话虽些许夸张，但是事实也是，现在的网络编程几乎都是用的socket。——有感于实际编程和开源项目研究。我们深谙信息交流的价值，那网络中进程之间如何通信，如我们每天打开浏览器浏览网页时，浏览器的进程怎么与web服务器通信的？当你用QQ聊天时，QQ进程怎么与服务器或你好友所在的QQ进程通信？这些都得靠socket？那什么是socket？socket的类型有哪些？还有

2017-07-10 00:43:42 229

原创 Spring MVC原理及配置

【spring】Spring MVC原理及配置1.Spring MVC概述：Spring MVC是Spring提供的一个强大而灵活的web框架。借助于注解，Spring MVC提供了几乎是POJO的开发模式，使得控制器的开发和测试更加简单。这些控制器一般不直接处理请求，而是将其委托给Spring上下文中的其他bean，通过Spring的依赖注入功能，这些bean被注入到控制器中。Spr

2017-07-09 14:54:19 315

原创第三章：Javascript类型、值和变量。

第三章：Javascript类型、值和变量。计算机程序的运行需要对值(value)比如数字3.14或者文本"hello world"进行操作，在编程语言中，能够表示并操作的值的类型叫做数据类型(type),编程语言最基本的特性就是主持多种数据类型。当程序需要将值保持起来以备将来使用时，便将其赋值给(将值“保存”到)一个变量(variable)。变量是一个值的符号名称，可以通过名称获得对

2017-07-09 11:40:45 681

原创 JS语言核心——词法结构

JS语言核心——词法结构知识点：1.JS字符集：unicode字符集编写，区分大小写；2. 格式控制符：空格可以自动忽略；3. 注释：//和/**/； 4. 直接量：程序中直接使用的量； 5. 标识符和保留字； 6. 分号可选；上面

2017-07-09 01:36:17 332

原创 Hadoop二次排序及MapReduce处理流程实例详解

一、概述MapReduce框架对处理结果的输出会根据key值进行默认的排序，这个默认排序可以满足一部分需求，但是也是十分有限的，在我们实际的需求当中，往往有要对reduce输出结果进行二次排序的需求。对于二次排序的实现，网络上已经有很多人分享过了，但是对二次排序的实现原理及整个MapReduce框架的处理流程的分析还是有非常大的出入，而且部分分析是没有经过验证的。本文将通过一个实际的MapRe

2017-07-06 21:36:27 2518

空空如也

空空如也