2021年04月_王清欢Randy

12月 11月 10月 09月 08月 06月 05月 04月 03月 01月

原创基于深度模型的日志序列异常检测

基于序列的深度模型日志异常检测日志异常检测的核心是利用人工智能算法自动分析系统日志来发现并定位故障。根据送入检测模型的数据格式，日志异常检测算法模型分为序列模型和频率模型，其中序列模型又可以分为深度模型和聚类模型。自 2017 年 Min Du 等人提出 DeepLog 以来，基于序列的深度学习建模逐渐成为近年来研究的热点。深度模型的日志异常检测基本流程深度学习使用神经网络的多层体系结构，从原始输入中逐步提取特征，不同的层处理不同级别的特征抽象。由于神经网络在复杂关系建模方面表现出了卓越的能力

2021-04-23 13:43:16 15577 10

原创 C++ 标准模板库 STL 概述

C++ 标准模板库 STL 概述泛型程序设计C++ 的特点： C++ 的核心优势之一就是便于软件重用，而软件的重用在 C++ 中主要体现在以下两个方面：面向对象的思想：继承、多态和标准类库泛型程序设计的思想：模板机制和标准模板库 STL泛型程序设计：泛型程序设计通俗地讲就是使用模板的程序设计方法。泛型程序设计中将一些常用的数据结构（例如链表、数组和二叉树等）和算法（例如排序和查找等）写成模板，这样在后续的使用中不管数据结构中存放的是什么数据对象，算法应用于什么类型的数据对象，都不需要

2021-04-16 19:54:52 9385 15

原创 C++ string类

C++ string类string 的初始化使用 string 类要导入头文件 #include <string>，string 类是模板类 typedef basic_string<char> string; 从 basic_string 类模板实例化生成的。string 类有多种构造函数，string 对象的几种初始化方式如下string s1("Hello");string month = "March";string s2(8,'x'); // 生成具有8个x

2021-04-15 21:29:56 9330

原创知识图谱基于CRF的命名实体识别模型

基于CRF的命名实体识别模型条件随机场 CRF 条件随机场 CRF 是在已知一组输入随机变量条件的情况下，输出另一组随机变量的条件概率分布模型；其前提是假设输出随机变量构成马尔可夫随机场；条件随机场可以应用于不同类型的标注问题，例如：单个目标的标注、序列结构的标注和图结构的标注等。在给定训练集 xxx 和对应的标记序列 yyy ，以及多个特征函数需要学习 CRF 的模型参数 λj,uk\lambda_j,u_kλj,uk 和条件概率分布 P(y∣x)P(y|x)P(y∣x) ，条件概率和模

2021-04-11 14:02:53 13446

原创 C++ 泛型编程

C++ 泛型编程函数模板函数模板的概念：是一种特殊的函数，可以使用不同的类型进行调用，对于功能相同的函数，不需要重复编写代码，实现代码复用，并且函数模板与普通函数看起来很类似，区别就是类型可以被参数化。所谓模板就是可以以此为基础批量生成相似的事物，函数模板就是可以用它来自动生成很多相似的函数，更高级的函数重载。函数模板通过 template 与 typename/class 关键字来定义，另外，函数模板中可以有不只一种类型的参数。template <class Type1, class T

2021-04-09 14:53:12 8610

原创 C++ 输入输出流

C++ 输入输出流输入输出流基本概念与输入输出流操作相关的类：类的继承关系从上往下如下图所示istream：用于输入的流类，cin 是该类的对象ostream：用于输出的流类，cout cerr clog 是该类的对象ifstream：用于从文件读取数据的类ofstream：用于向文件写入数据的类iostream：既能用于输入，又能用于输出的类fstream：既能从文件读取数据，又能向文件写入数据的类标准流对象：cin 对应于标准输入流，用于从键盘读取数据，也可以被重定向为从文

2021-04-06 20:08:54 9810

PyFlink 有状态流处理 + SkLearn 实现在线机器学习

本实例使用 PyFlink + Scikit-Learn 基于kafka输入的实时手写体数据，在线训练一个手写体识别机器学习模型，以及提供实时的手写体识别服务；并实现对模型训练过程的实时监控。

2022-02-21

PyFlink 有状态流处理实现实时排行榜

本实例使用 Flink 的有状态流处理和滑动窗口，实现实时点击量排行榜。该实例统计过去 1 分钟内，点击量最高的男女用户各 10 名及其具体的点击数，同时每隔 1 秒（实时）更新统计结果，等到排行榜数据并将结果同步到 kafka 中。

2022-02-21

PyFlink 流处理 MySQL CDC方式实时备份

2022-02-21

PyFlink UDF 实时日志监控告警实现

本实例通过 Flink 结合 UDF 对系统上报的日志进行实时解析并生成告警，搭建实时监控告警系统

2022-02-21

PyFlink 词频统计完整代码

该实例的处理过程是通过 Flink 对文件存储系统里的数据进行离线批处理，统计指定文件下的单词数，并将统计结果存储到其他文件下。该实例业务实现过程如下： - 首先使用 `filesystem` 作为连接器，按照指定的 `csv` 格式来批量地读取指定路径的文件或文件夹，以此创建源数据表。 - 然后，在 Flink 中执行批处理实例逻辑，完成批处理任务。 - 最后，使用 `filesystem` 连接器，将处理后结果写入目标文件或文件夹内，构建结果表。

2022-02-21