2018年02月_liyuling52011

转载 Netty自定义协议开发

目录(?)[-]私有协议介绍Netty协议栈功能设计网络拓扑图协议栈功能描述通信模型消息定义Netty协议支持的字段类型Netty协议的编解码规范链路的建立链路的关闭可靠性设计安全性设计可扩展性设计Netty协议栈开发数据结构定义消息编解码握手和安全认证心跳检测机制基础类客户端服务端测试结果通信协议从广义上区分，可以分为公有协议和私有协议。由于私有协议的灵活性，它往往会在某个公司或者组织内部...

2018-02-27 22:19:11 1704

转载学习笔记系列之五：自定义通讯协议

etty中，通讯的双方建立连接后，会把数据按照ByteBuf的方式进行传输，例如http协议中，就是通过HttpRequestDecoder对ByteBuf数据流进行处理，转换成http的对象。基于这个思路，我自定义一种通讯协议：Server和客户端直接传输java对象。实现的原理是通过Encoder把java对象转换成ByteBuf流进行传输，通过Decoder把ByteBuf转换成java对象...

2018-02-27 22:04:32 157

转载 Netty 5用户指南

原文地址：http://netty.io/wiki/user-guide-for-5.x.html 译者:光辉勇士校对：郭蕾前言问题现如今我们使用通用的应用程序或者类库来实现系统之间地互相访问，比如我们经常使用一个HTTP客户端来从web服务器上获取信息，或者通过web service来执行一个远程的调用。然而，有时候一个通用的协议和他的实现并没有覆盖一些场景。比如我们无法使用一...

2018-02-27 15:07:57 124

转载 Netty——基本使用介绍

1.为什么选择Netty上一篇文章我们已经了解了Socket通信（IO/NIO/AIO）编程，对于通信模型已经有了一个基本的认识。其实上一篇文章中，我们学习的仅仅是一个模型，如果想把这些真正的用于实际工作中，那么还需要不断的完善、扩展和优化。比如经典的TCP读包写包问题，或者是数据接收的大小，实际的通信处理与应答的处理逻辑等等一些细节问题需要认真的去思考，而这些都需要大量的时间和经历，以及丰富的经...

2018-02-27 14:57:20 609

转载性能瓶颈调优

性能测试的目标是评价系统当前性能；寻找瓶颈，优化性能；预测系统未来的性能，可扩展性；性能测试瓶颈分析的关键步骤：步骤一：性能测试与数据收集；步骤二：性能瓶颈分析；步骤三：性能调优解决方案。步骤一：性能测试与数据收集；数据收集，需要收集那些内容呢，下面来列一下关键点： 1、客户端性能指标：并发用户数、事务响应时间、每分钟事务数； 2、非客户端性能指标：服务器资源、网络资源： a、操作系统：如...

2018-02-09 11:24:05 242

转载常用数据库连接池 (DBCP、c3p0、Druid) 配置说明

1. 引言1.1 定义数据库连接是一种关键的有限的昂贵的资源，这一点在多用户的网页应用程序中体现得尤为突出。对数据库连接的管理能显著影响到整个应用程序的伸缩性和健壮性，影响到程序的性能指标。数据库连接池正是针对这个问题提出来的。数据库连接池负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的数据库连接，而不是再重新建立一个；释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数据...

2018-02-09 10:14:04 171

转载消息队列使用的四种场景介绍

消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题实现高性能，高可用，可伸缩和最终一致性架构使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ二、消息队列应用场景以下介绍消息队列在实际应用中常用的使用场景。异步处理，应用解耦，流量削锋和消息通讯四个场景2.1异步处理场景说明：用户注册后，需要发注册邮件和注...

2018-02-09 10:05:22 153

转载 java如何处理高并发

对于一些大型网站，比如门户网站，在面对大量用户访问、高并发请求方面，基本的解决方案集中在这样几个环节：使用高性能的服务器、高性能的数据库、高效率的编程语言、还有高性能的Web容器。这几个解决思路在一定程度上意味着更大的投入。工具/原料一定的java开发技术，具备架构能力计算机服务器方法/步骤1.使用缓存；对于数据库层面使用缓存，如：使用nosql（redis）做热点数据的缓存；或者是在代码层面对热...

2018-02-09 10:02:59 265

转载高并发处理

在java web项目开发者，最难解决的是高并发问题，我为搞并发解决方案，想出了一个解决方案。 a.应用层面：读写分离、缓存、队列、集群、令牌、系统拆分、隔离、系统升级（可水平扩容方向）。 b.时间换空间：降低单次请求时间，这样在单位时间内系统并发就会提升。 c.空间换时间：拉长整体处理业务时间，换取后台系统容量空间。 1.使用缓存服务器使用Redis...

2018-02-09 09:57:13 136

转载 spark中使用sparksql对日志进行分析（属于小案例）

一：使用sparksql开发1.sparksql开发的两种方式　　HQL：SQL语句开发　　　　eq : sqlContext.sql("xxxx")　　DSL : sparkSql中DataFrame的API调用方式　　　　eq：val df=sqlContext.xxx　　　　　　 df.select("number") 二：HQ

2018-02-06 14:18:28 1482

转载 Scala--样例类(case)详解

概述：case类在模式匹配和actor中经常使用到，当一个类被定义成为case类后，Scala会自动帮你创建一个伴生对象并帮你实现了一系列方法且带来了不少好处，如下：1.实现了apply方法，意味着你不需要使用new关键字就能创建该类对象scala> case class People(name:String,age:Int)defined class Peoplescala

2018-02-06 10:43:03 394

转载 sparkSQL学习记录DATAFrame操作

在SPARKSQL中也可以运行SQL语句来生成DataFrame。如val df=sqlContext.sql("SELECT * FROM table")Spark SQL支持2种方式转换存在的RDDS为DataFrames，第一中方式是使用反射去推断包含特定类型的对象的RDD的表的模式。当你在写Spark应用程序时，已经知道表的模式这种基于反射的方法会使代码更简洁，使用起来方便

2018-02-06 10:40:36 265

liyuling52011的博客