SuperWang1993-CSDN博客

原创 freemarker

Freemarker简单入门简单来说，freemarker是一种模版引擎，结合java生成文本输出。好处：有些数据库中的数据（比如有些配置信息），需要被前台频繁调用，数据库压力比较大，但是这些数据的更新频率也很小，在数据库更新时，将相应的内容静态化，避免了大量的数据库请求。模板开发 ftl模板使用的数据一般为后台返回的modelandview中的对象，整个数据是一个树形结构，用点

2019-05-07 10:45:36 534

Docker入门docker设想是交付运行环境如同海运，OS如同一个货轮，每一个在OS基础上的软件都如同一个集装箱，用户可以通过标准化手段自由组装运行环境，同时集装箱的内容可以由用户自定义，也可以由专业人员制造。这样，交付一个软件，就是一系列标准化组件的集合的交付，如同乐高积木，用户只需要选择合适的积木组合，并且在最顶端署上自己的名字(最后个标准化组件是用户的app)。这也就是基于docker的Pa

2019-05-07 10:38:43 504

原创 linux-grep awk sed

grep awk sed 简单使用介绍GREP功能linux中查看文件内容可以用more，tail，cat甚至vi等等，但是经常只需要检索文件中含有某些内容的行，而且文件可能有上千上万行，则前面几种工具会很崩溃，然而grep和awk则可以很容易的从文件中检索到你所需要的内容。用法 grep [options] ‘表达式’ 文件列表或文件夹路径选项 option 功能 -c 输

2019-05-07 10:38:22 702

原创 Hadoop-HDFS

所谓HDFS（Hadoop Distributed File System），是一种分布式文件管理系统，通过允许文件在不同电脑之间分享。这种文件系统比较适合大文件的存储。HDFS具有通透性，从程序和上层开发人员看来，就像是访问本地文件一样。HDFS在设计的时候考虑到了容错性，每一份文件在不同的电脑上默认存在3个副本，这样在有些电脑故障的时候，仍然可以正常使用整个系统。 HDFS包...

2019-05-07 10:37:53 401

原创 MapReduce

MapReduce是一种分布式计算模型，由Google提出，解决海量数据运算的问题。它由Map和Reduce两种函数组成。Map即映射，将HDFS或数据库中的信息提取出来，按照key-value的形式输送给Reduce。Reduce即化简，是将Map传送过来的数据按照一定的业务逻辑排序提取，得到输出结果。MapReduce的执行顺序Map1.1读取文件内容，解析成key-valu...

2019-05-07 10:37:33 1104

原创网关上实现https私有证书的管理

api网关作为后端服务的代理，提供网络请求的反向代理，需要保证http请求的安全性。根据实际服务对安全性的不同要求，一般可以采用http协议结合认证方式来保证报文防篡改，或采用https协议保证数据传输的安全。本文主要介绍http的几种认证方式、https的原理以及https私有证书的管理扩展。httphttp协议下，传输的报文是明文传输，对于敏感数据，需要服务提供方和消费方约定加密方式，对...

2019-03-01 15:27:23 3409

原创 spring集成redis哨兵slave写问题解决

redis哨兵实现读写分离和高可靠，使用过程中是不是会出现两种问题，一种是会报socket reset异常考虑分析可能是master节点故障，客户端仍然连接旧的master; 一种是报slave写错误，考虑是故障节点重启后，仍然往旧的master中写数据。单独写了测试类复现分析这个头疼的问题。架构Client： spring data redis、 jedisRedis 3台，1台mas...

2019-02-21 16:44:43 3336

原创 spring开发实践手记

项目结构分层Sofaboot 中SpringMVC分层App biz service-impl（manager层接口的实现以及VO和model的转换） shared（manager层的接口） common dal（数据库层面，比如mybatis相关代码） service façade（给其他微服务模块提供的接口） integration（集成其他...

2019-02-18 14:58:28 402

原创【设计模式】模板方法模式

定义在一个方法中定义一个算法的骨架，将一些步骤延迟到子类中。模板方法使得子类可以不改变算法结构的情况下，重新定义算法中的某些步骤。优点模板类主导一切，拥有且保护算法。算法修改方便。新增加一个实现类，只需要重写自己的方法就可以了。模板类专注算法本身，由子类提供完整的实现。定义一个模板/** * 定义的抽象类,它被声明为抽象，作为基类 */public abstract cla...

2019-02-01 16:40:52 140

原创单应用架构和微服务架构

单应用架构和微服务架构1、单应用架构一个完整应用程序（monolithic application）构建成一个单独的单元。某个模块升级，需要升级整个服务。优点在开发团队规模比较小时，单应用架构开发非常高效项目部署也比较容易依靠部署多台复制品，配合负载均衡实现高可用和高并发。缺点当项目功能迭代到非常大，功能模块之间界限不是非常明确，逐渐增加维护难度。开发时，...

2019-01-31 14:02:21 935

原创【Redis】redis基础知识

RedisRedis 是一个开源的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。完全基于内存，绝大部分请求是纯粹的内存操作，非常快速。数据存在内存中，类似于HashMap，HashMap的优势就是查找和操作的时间复杂度都是O(1)；数据结构简单，对数据操作也简单，Redis中的数据结构是专门进行设计的；采用单线程，避免了不必要的上下文切换和竞争条件，也不存在多进程或...

2018-08-22 20:54:02 249

原创 Spark计算模型

Spark计算模型标签（空格分隔）： sparkSpark依靠Scala强力的面向函数的编程、Actor通信模式、闭包、容器、泛型，借助统一资源分配调度框架Mesos，融合了MR和dryad，形成了简洁灵活高效的大数据分布式框架。Spark程序模型Created with Raphaël 2.1.0startdata(HDFS等)RDD 1 textFile() 把HDFS中的数据读入RDDRDD

2016-06-27 22:03:15 821

原创 spark环境搭建

Spark环境搭建一、准备工作软件版本下载地址 Centos 6.5 https://www.centos.org/download/ VMWare 比较新的版本即可 https://my.vmware.com/cn/web/vmware/downloads JDK 1.7.0_79 http://www.oracle.com/ hadoop

2016-06-26 17:24:22 519

进击的Coder，Fighting！