关于处理大文本数据的实现方法

一、freemarker入门

freemarker 介绍

FreeMarker 是一款 模板引擎： 即一种基于模板和要改变的数据， 并用来生成输出文本(HTML网页，电子邮件，配置文件，源代码等)的通用工具。 它不是面向最终用户的，而是一个Java类库，是一款程序员可以嵌入他们所开发产品的组件。

模板编写为FreeMarker Template Language (FTL)。它是简单的，专用的语言， 不是 像PHP那样成熟的编程语言。 那就意味着要准备数据在真实编程语言中来显示，比如数据库查询和业务运算， 之后模板显示已经准备好的数据。在模板中，你可以专注于如何展现数据， 而在模板之外可以专注于要展示什么数据。

 1. 基础语法种类

 1.1 插值（Interpolation）：即 ${..} 部分,freemarker会用真实的值代替${..}

        Hello ${name}

1.2 FTL指令：和HTML标记类似，名字前加#予以区分，Freemarker会解析标签中的表达式或逻辑。

<# >FTL指令</#> 

1.3 文本，仅文本信息，这些不是freemarker的注释、插值、FTL指令的内容会被freemarker忽略解析，直接输出内容。  

<#--freemarker中的普通文本-->
我是一个普通的文本  

2. 集合指令（List和Map）

2.1 Map集合数据展示

#方式一 

通过map['keyname'].property

#方式二

通过map.keyname.property

#遍历Map集合

#${k_index}： index：得到循环的下标，使用方法是在stu后边加"_index"，它的值是从0开始

<#list stuMap?keys as key >

 <tr>
            <td>${key_index}</td>
            <td>${stuMap[key].name}</td>
            <td>${stuMap[key].age}</td>
            <td>${stuMap[key].money}</td>
        </tr>
    </#list>

2.2  List集合数据展示

<#list stus as object>
        <tr>
            <td>${object_index+1}</td>
            <td>${object.name}</td>
            <td>${object.age}</td>
            <td>${object.money}</td>
        </tr>
    </#list>

3. if指令

if 指令即判断指令，是常用的FTL指令，freemarker在解析时遇到if会进行判断，条件为真则输出if中间的内容，否则跳过内容不再输出。

<#if ></if>

4. 运算符

FreeMarker表达式中完全支持算术运算,FreeMarker支持的算术运算符包括:

• 加法： +

• 减法： -

• 乘法： *

• 除法： /

• 求模 (求余)： %  

 5. 空值处理

5.1 判断某变量是否存在使用 “??”

    <#if stus??>
        ......
    </#if>

5.2 缺失变量默认值使用 “!”

• 使用!要以指定一个默认值，当变量为空时显示默认值

  例： ${name!''}表示如果name为空显示空字符串。

• 如果是嵌套对象则建议使用（）括起来

  例： ${(stu.bestFriend.name)!''}表示，如果stu或bestFriend或name为空默认显示空字符串。

二、 MinIO入门

1. MinIO简介

MinIO基于Apache License v2.0开源协议的对象存储服务，可以做为云存储的解决方案用来保存海量的图片，视频，文档。由于采用Golang实现，服务端可以工作在Windows,Linux, OS X和FreeBSD上。配置简单，基本是复制可执行程序，单行命令可以运行起来。

MinIO兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。

S3 （ Simple Storage Service简单存储服务）

基本概念

• bucket – 类比于文件系统的目录

• Object – 类比文件系统的文件

• Keys – 类比文件名

官网文档：MinIO Object Storage for Kubernetes — MinIO Object Storage for Kubernetes

2. MinIO特点

• 数据保护

  Minio使用Minio Erasure Code（纠删码）来防止硬件故障。即便损坏一半以上的driver，但是仍然可以从中恢复。

• 高性能

  作为高性能对象存储，在标准硬件条件下它能达到55GB/s的读、35GB/s的写速率

• 可扩容

  不同MinIO集群可以组成联邦，并形成一个全局的命名空间，并跨越多个数据中心

• SDK支持

  基于Minio轻量的特点，它得到类似Java、Python或Go等语言的sdk支持

• 有操作页面

  面向用户友好的简单操作界面，非常方便的管理Bucket及里面的文件资源

• 功能简单

  这一设计原则让MinIO不容易出错、更快启动

• 丰富的API

  支持文件资源的分享连接及分享链接的过期策略、存储桶操作、文件列表访问及文件上传下载的基本功能等。

• 文件变化主动通知

  存储桶（Bucket）如果发生改变,比如上传对象和删除对象，可以使用存储桶事件通知机制进行监控，并通过以下方式发布出去:AMQP、MQTT、Elasticsearch、Redis、NATS、MySQL、Kafka、Webhooks等

3. 快速入门 

 3.1 安装MinIO

在虚拟机中采用docker拉取最新镜像，通过docker创建容器

docker pull minio/minio


docker run -p 9000:9000 --name minio -d --restart=always -e "MINIO_ACCESS_KEY=minio" -e "MINIO_SECRET_KEY=minio123" -v /home/data:/data -v /home/config:/root/.minio minio/minio server /data

通过访问虚拟机IP地址端口号9000进入客户端

 3.2 导入pom依赖

        <dependency>
            <groupId>io.minio</groupId>
            <artifactId>minio</artifactId>
            <version>7.1.0</version>
        </dependency>

3.3 编写测试文件

public class MinIOTest {


    public static void main(String[] args) {

        FileInputStream fileInputStream = null;
        try {

            fileInputStream =  new FileInputStream("D:\\list.html");;

            //1.创建minio链接客户端
            MinioClient minioClient = MinioClient.builder().credentials("minio", "minio123").endpoint("http://192.168.200.130:9000").build();
            //2.上传
            PutObjectArgs putObjectArgs = PutObjectArgs.builder()
                    .object("list.html")//文件名
                    .contentType("text/html")//文件类型
                    .bucket("leadnews")//桶名词  与minio创建的名词一致
                    .stream(fileInputStream, fileInputStream.available(), -1) //文件流
                    .build();
            minioClient.putObject(putObjectArgs);

            System.out.println("http://192.168.200.130:9000/leadnews/ak47.jpg");

        } catch (Exception ex) {
            ex.printStackTrace();
        }
    }

}

4. 处理数据流程图