- 博客(109)
- 收藏
- 关注
RSS订阅
原创 1. 二进制部署kubernetes实战
二进制方式部署kubernetes实战1. 理论基础1.1. kubernetes的五个组件**master节点的三个组件****kube-apiserver****kube-controller-manager****kube-scheduler****node节点的两个组件****kubelet****kube-proxy**1.2. kubernetes的三条网络**节点网络****Pod网络****Service 网络**2. 集群架构3. 基础环境准备3.1. 准备虚拟机(这里我用的vmware)
2020-11-04 18:08:56
1018
2
原创 01.juc
JUC1. 什么是JUC2. 进程和线程3. Lock锁4. 生产者和消费者4.1. 生产者和消费者问题Synchronized版4.2. JUC版本的生产者和消费者4.3. Condition实现精准通知唤醒5. 8锁的现象6. 集合类不安全6.1. List不安全6.2. Set不安全6.3. Map不安全6.4. HashMap数据结构及2的整数次幂探究6.5. HashMap加载因子及转红黑树探究6.6. ConcurrentHashMap的原理7. Callable8. 常用辅助类8.1.Cou
2020-09-21 18:33:32
304
原创 01. JavaScript+JQuery+Vue学习笔记
前端学习总结1. css2. JavaScript2.1. 调试2.2. 数据类型2.3. 严格检查模式2.4. 流程控制2.5. Map 和 Set2.6. 函数2.7. 变量的作用域2.8. 方法2.9. 内部对象2.9.1. Date2.9.2. JSON2.9.3. Ajax2.10 面向对象编程2.11. 操作BOM对象2.12. 操作DOM对象（核心）2.13. 操作表单3. JQuery3.1. 第一个Jquery程序3.2. 选择器3.3. 事件3.4. JQuery 操作DOM3.5. A
2020-09-17 17:31:16
1109
1
原创 4. ElasticSearch学习笔记
ElasticSearch学习笔记1. ElasticSearch概述2. ES与Solr的差别2.1. Solr简介2.2. Lucene简介2.3. ES VS Solr3. ElasticSearch 安装4. Kibana安装5. ES核心概念6. IK分词器7. Restful风格说明8. 关于文档的基本操作9. 集成SpringBoot10. 实战：模拟全文搜索-京东搜索1. ElasticSearch概述2. ES与Solr的差别2.1. Solr简介2.2. Lucene简介
2020-09-14 12:17:56
2696
3
原创 1. Redis学习笔记
Redis学习笔记1. 链接2. Linux下安装3. 性能测试 - redis-benchmark4. Redis基础知识5. 五大数据类型5.1. String类型5.2. List类型5.3.Set集合5.4. Hash集合5.5. Zset有序集合6. 三种特殊的饿数据类型6.1. geospatial 地理位置6.2. Hyperloglog 基数统计6.7. Bitmaps7. 事务8. Redis实现乐观锁9. Jedis10. springboot11. redis.conf详解12. 持久
2020-09-09 15:41:10
645
原创 3. Docker进阶
Docker进阶1. Docker Compose1.1. 简介1.2. 安装1.3. 体验(没有测试通过)1.4. yaml规则1.5. 开源项目：博客1.6. 实战：自己编写微服务上线2. Docker Swarm2.1. 购买服务器2.2. 四台机器安装docker2.3. Swarm集群搭建2.4. Raft协议2.5. 体会2.6. 概念的总结2.7. 其他命令学习方式2.8. 拓展到k8s3. 寄语：当一个人先从自己的内心开始奋斗，他就是个有价值的人1. Docker Compose1.1.
2020-08-17 14:58:28
592
原创 2.Docker提升
Docker提升1. 容器数据卷1.1. docker的理解回顾1.2. 使用数据卷1.3. 实战：安装MySQL1.4. 匿名和具名挂载2. 寄语： 必须在奋斗中求生存，求发展1. 容器数据卷1.1. docker的理解回顾将应用和环境打包成一个镜像！数据？如果数据都在容器中，那么我们容器删除，数据就会丢失！需求：数据可以持久化MySQL，容器删了，删库跑路！需求：MySQL数据可以存储在本地！容器之间可以有一个数据共享技术！Docker容器中产生的数据，同步到本地！这就是卷技术，目录的挂载
2020-08-14 17:57:05
1100
原创 1. Docker入门
Docker入门1. [Docker最新超详细版教程通俗易懂](https://www.bilibili.com/video/BV1og4y1q7M4)2. 寄语：弱小和无知不是生存的障碍，傲慢才是。1. Docker最新超详细版教程通俗易懂Docker是基于Go语言开发的！开源项目官网文档仓库2. 寄语：弱小和无知不是生存的障碍，傲慢才是。...
2020-08-12 15:51:18
1223
原创 14.Flink1.11 安装部署及Release 文档解读
Flink1.11 安装部署及Release 文档解读1. [Flink 1.11 Release 文档解读](https://ci.apache.org/projects/flink/flink-docs-release-1.11/release-notes/flink-1.11.html)1.1. 集群和部署1.2. 内存管理1.3. Table API/SQL1.4. 状态1.5. Connectors1.6. Runtime1.7. 各种接口变更1.x. 参考链接2. [构建安装部署](https:
2020-08-03 18:28:07
1757
11
原创 12. 离线处理之业务数据采集、生成用户画像、推广效果分析以及知识点总结
离线处理之业务数据采集、生成用户画像、推广效果分析以及知识点总结1. 业务数据采集1.1. 后台通过`logback`把业务接口日志写入到本地文件1.1.1. logback配置文件1.1.2. 拦截器当中记录接口日志1.1.3. 本地日志目录1.2. 通过Flume采集数据到Kafka1.3.2. 生成用户画像3. 推广效果分析4. 知识点总结4.1. Tomcat4.1.1. [Tomcat使用详细教程](https://blog.csdn.net/weixin_39657319/article/det
2020-07-21 18:37:07
1972
原创 11.Flink ProcessFunction介绍及KeyedProcessFunction实例
Flink ProcessFunction介绍及KeyedProcessFunction实例1. ProcessFunction简介2. KeyedProcessFunction简单使用2.1. [Java版本](https://github.com/fanjianhai/flink_project_maven_repository.git)2.2. [Scala版本]()（`代码非常简洁`）3. 参考链接4. 寄语：心静一切皆美，情深万象皆深1. ProcessFunction简介转换算子是无法访问
2020-07-08 11:36:09
4768
原创 3. ElasticSearch分词器和聚合，数据的丰富和去重
ElasticSearch分词器和聚合1. analyzer1.1. 什么是analysis?1.2. 如何定义一个定制的分析器1.3. 中文分词器2. Aggregations2.1. [Bucket aggregation](https://elasticstack.blog.csdn.net/article/details/103679273)3.1. analyzer1.1. 什么是analysis?分析是Elasticsearch在文档发送之前对文档正文执行的过程，以添加到反向索引中（in
2020-07-02 18:27:46
869
原创 2.ElasticSearch基础部分
ElasticSearch基础部分1. 通过Filebeat把日志传入到Elasticsearch1.1. [测试数据`apache-daily-access.log`获取；提取码`nin8`](https://pan.baidu.com/s/12IK4TXmgMeRsWIHUg_FOJw )1.2. 配置文件filebeat.yml1.3. 测试结果2. 通过logstash把Apache日志导入到Elasticsearch2.1. 配置文件filebeat.yml2.2. 配置文件logstash.ym
2020-06-29 11:19:27
328
原创 1. Elastic Stack开篇
Elastic Stack开篇1. 官网链接2. Elastic Stack 简介2.1. ElasticSearch3. 寄语：纵浪大化中，不喜亦不惧；重剑无锋，大巧不工！1. 官网链接官方Elastic Cloud登录入口官方文档入口官方入门视频Elastic Stack 简介2. Elastic Stack 简介2.1. ElasticSearch3. 寄语：纵浪大化中，不喜亦不惧；重剑无锋，大巧不工！...
2020-06-20 17:56:46
384
原创 10. logback详解，Flink流处理案例及Hive和Hbase的整合
logback详解1. [logback的使用和logback.xml详解](https://www.cnblogs.com/warking/p/5710303.html)1.1. 按指定间隔滚动生成日志文件1.2. [logback指定某一包或者类下日志记录到不同文件中](https://blog.csdn.net/philip502/article/details/105268526/)1.3. [logback按日期和大小切分日志](https://blog.csdn.net/itjavaer/art
2020-06-08 11:50:50
17949
原创 9. Blink了解，任务调度工具azkaban，sbt下载jar包慢的原因，日志记录logback使用（sbt依赖排除）
Flink源码分析1. [Blink的初使用](https://www.jianshu.com/p/4f59e512b178)1. Blink的初使用注意： blink和flink的用法和部署差不多，只是底层做了优化，里面已经兼容了各个版本的hadoop了...
2020-05-08 18:22:18
478
原创 8.sql和hsql以及flink-sql总结
文章目录1. SQL1.1. 初始化操作1.2. 数据定义语言DDL（==Data Definition Language==）1.3. 数据操纵语言DML（==Data Manipulation Language==）1.4. 数据查询语言DQL（==Data Query Language==）1.5. 数据控制语言DCL（==Data Control Language==）2. HQL3. F...
2020-04-03 19:54:09
1725
1
原创 7. Flink on yarn模式部署以及flink和hive的集成
文章目录1. Flink Yarn 模式高可用性配置1. Flink Yarn 模式高可用性配置本次采用自编译（基于Flink-1.10，hadoop-2.9.2）搭建集群Flink高可用集群搭建启动集群时遇到的错误错误一java.lang.NoSuchMethodError: org.apache.commons.cli.Option.builder(Ljava/lang/St...
2020-03-29 18:21:48
2825
1
原创 6. Flink编译及其相关软件的安装部署
文章目录1. Flink DataSet语义注解1.1. ForwardedFields转发字段1.1.1. 单输入算子转发字段1.1.2. 双输入算子转发字段1.2. Read Fields(读取字段注解)2. [Flink 1.10源代码编译,基于Flink release-1.10分支](https://blog.csdn.net/m0_37690267/article/details/1...
2020-03-17 18:18:43
1585
原创 5.Flink对接Kafka入门
Flink Connector Kafka1. Kafka1.1. [Kafka官网](http://kafka.apache.org/)1.2. Kafka 简述1.3. Kafka特性1.4. kafka的应用场景2. Kafka与Flink的融合3. 寄语：海阔凭鱼跃，天高任鸟飞1. Kafka1.1. Kafka官网1.2. Kafka 简述Kafka 是一个分布式消息系统：...
2020-03-10 20:11:30
11937
原创 4.Flink水印机制测试及状态介绍
Flink DataStream API 编程指南目录1. 概览2. Event Time and Watermarks2.1. [EventTime时间模型](https://www.jianshu.com/p/c39f224ec39f)2.2. 水印测试2.3. 延迟测试2.4. [再谈Flink事件时间、水印和迟到数据处理](https://www.jianshu.com/p/c612e95...
2020-03-06 18:20:02
602
原创 3. Flink集群配置文件以及日志系统概述
文章目录1. 常用Scope区别2. [Flink集群搭建](https://www.jianshu.com/p/c47e8f438291)2.1. 独立集群2.2. yarn集群2.3. 高可用HA3. [SLF4J和Logback和Log4j和Logging的区别与联系](https://www.cnblogs.com/suger43894/p/9543685.html)3.1. ==一个著名...
2020-03-02 17:29:57
1865
1
原创 2.IDEA中sbt创建Flink项目及build.sbt配置
文章目录1. Flink教程1.1. [诸葛子房的博客基础篇](https://www.cnblogs.com/zgzf/p/10794473.html)1.2. [诸葛子房的博客(新)](https://blog.csdn.net/weixin_43291055/category_9115592.html)2. Flink 定义2.1. Flink应用开发相关知识2.2. Flink基本架构原理...
2020-02-28 17:52:46
1128
原创 1. 初识Flink
文章目录1. [Flink官网](https://flink.apache.org/)2. Apache Flink简介1. Flink官网2. Apache Flink简介Apache Flink 是一个开源框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。总述处理无界和有界数据部署应用到...
2020-02-24 18:00:41
435
原创 14. spark学习之旅之structured streaming（八）
文章目录1. [structured streaming 官方文档](http://spark.apache.org/docs/2.4.5/structured-streaming-programming-guide.html)2. [Spark Structured Streaming官方文档解读]（https://blog.csdn.net/bluishglc/article/details/...
2020-02-23 15:42:30
236
原创 13. spark学习之旅之streaming（七）
文章目录1. spark streaming概述2. DStream概述3. spark streaming 实现实时WordCount统计3.1. 架构图3.2. 源代码3.3. Window模式源代码（应用场景，每小时的流量统计，不累加）3.4. [依赖jar包容易犯的错；版本问题和scope问题](https://blog.csdn.net/devcy/article/details/996...
2020-02-23 11:12:11
241
原创 12.spark学习之旅之sparksql（六）
文章目录1. Spark SQL 概述2. [spark中 RDD、DataFrame、Dataset的关系及区别](https://blog.csdn.net/weixin_43231331/article/details/88946318)3. DataFrame概述3.1. DataFrame命令行操作1. Spark SQL 概述Spark SQL是Spark用来处理结构化数据的一...
2020-02-21 17:05:48
266
原创 11.spark学习之旅之hive（五）
文章目录1. hive概述1.1. 简介1.2. 为什么要使用hive1.3. hive的特点1.4. [架构](https://blog.csdn.net/u013595419/article/details/79632928)1.5. hive的基本操作1.6. hive的数据存储2. hive的安装部署2.1. [hive为什么要启用Metastore？](https://blog.csdn...
2020-02-20 17:50:02
291
原创 10. spark学习之旅之sbt（四）
文章目录1. scala中的项目管理工具sbt2. spark之rdd小案例1. scala中的项目管理工具sbt2. spark之rdd小案例
2020-02-17 17:59:03
1304
1
原创 9. spark学习之旅之scala（三）
文章目录1. scala简介1.1. 什么是scala1.2. 为什么要学习scala1.3. [Scala官网](https://www.scala-lang.org/)1.4. `Spark,Kafka,Flink都是由Scala语言编写`1.5. Java能做的，Scala都能做，Java不能做的，Scala也能做。Scala可以任意调用Java的接口1.6. Scala编译器和插件的安装...
2020-02-15 17:23:25
325
原创 8. spark学习之旅（二）
文章目录1. 弹性分布式数据集RDD1.1. 什么是RDD1.2. RDD的属性1.3. 通过RDD的转换方式对RDD详细解释1.4. 如何创建RDD1.5. Transformation和Action详解1.6. 常用的算子详细解释(==一天搞懂一个算子==)1.7. RDD的依赖关系和Stage划分1.8 集群运行原理1.9. 缓存Cache设置和CheckPoint设置2. RDD小案例2....
2020-02-13 16:55:42
241
原创 7.spark学习之旅（一）
文章目录1. [官网](http://spark.apache.org/)1.1. spark学习路线（技术人员的学习路线）1.2. 什么是spark?1.3. how（部署）1.4. standalone模式的spark集群搭建1.5. 运行spark-shell的两种方式1.6. yarn调度框架示意图1.7. 用api开发spark代码1.8. 提交任务到集群1. 官网1.1. spa...
2020-02-10 15:55:07
264
原创 18.Flink开发笔记三
Flink开发笔记三1. 表2. 更新模式3. 输出到mysql4. 动态表转换成DataStream5. 时间特性6. 窗口6.1. 案例7. 函数7.1. 一对一，scalar函数1. 表2. 更新模式3. 输出到mysql4. 动态表转换成DataStream5. 时间特性6. 窗口6.1. 案例package com.xiaofan.apitest.tabletestimport com.xiaofan.apitest.source.SensorR
2021-04-21 12:01:48
311
原创 17.Flink开发笔记二
Flink开发笔记二1. WindowFunction2. Watermark2.1. 分布式的Watermark2.2. DataStream和其他流之间的转换2.3. Window的抽象概念2.4. Window Trigger2.5. Window Evictor2.6. 1.11版本Watermark写法3. State 状态管理3.1. 算子状态（operator state）3.2. 键控状态（keyed state）3.3. 状态编程4. ProcessFunction API（底层 API）
2021-04-20 16:23:40
421
原创 16.Flink开发笔记一
Flink开发笔记1. pom.xml2. 并行度优先级问题3. wordcount再standalone结点（默认配置）提交资源不足的问题集群提交常用命令1. pom.xml<properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> <flink.versio
2021-04-16 18:53:52
384
原创 15.Idea搭建Flink项目Java和Scala混合项目
Flink实战1. 创建项目步骤2. 添加pom.xml3. 编写代码进行测试1. 创建项目步骤安装scala 2.11.8在idea中安装scala插件，并且导入scala创建普通的maven项目，创建scala相关文件夹，并且标记source 和 test给这个module添加scala依赖2. 添加pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache
2021-03-03 16:29:55
919
1
原创 JVM探索
JVM探索JVM探索JVM探索请你谈谈你对JVM的理解？java8虚拟机和之前的变化更新？什么是OOM，什么是栈溢出StackOverFlowError？怎么分析？JVM的常用调优参数有哪些？内存快照如何抓取，怎么分析Dump文件？知道吗？谈谈JVM中，类加载器你的认识？JVM的位置java程序泡在jvm上面，jre-jvm， 在操作系统之上，最底下是硬件系统。JVM的体系结构体系结构jvm内存模型jvm调优说的是“方法区”和“堆“，而”栈“、”本地方法栈“、”程
2020-08-18 16:44:42
197
原创 6. 二叉树基础（上）：什么样的二叉树适合用数组来存储？
二叉树1. 树的概念2. 二叉树2.1. 简介2.2. 二叉树的存储2.3. 二叉树的遍历1. 树的概念高度：从下往上度量，比如我们要度量第 10 层楼的高度、第13 层楼的高度， 起点都是地面，树这种数据结构的高度也是一样，从最底层开始计数，并且计数的起点是0深度：是从上往下度量的，比如水中鱼的深度，是从水平面开始度量的。所以，树这种数据结构的深度也是类似的，从根结点开始度量,并且计数起...
2020-04-30 16:43:52
216
原创 1.git分支开发规范
Git分支开发规范1. 初衷2. 分支管理2.1. 分支命名2.2. 常见任务3. [本地分支和远程分支建立追踪关系的三种方式](https://blog.csdn.net/qq_42780289/article/details/97762596)4. [git如何合并远程2个分支](https://www.cnblogs.com/personblog/p/11240422.html)5. [ g...
2020-04-12 13:45:42
248
原创 Spark和Flink当中的常用算子详解
文章目录1. Transformation算子2. Action算子1. Transformation算子2. Action算子
2020-03-06 11:40:02
1310
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人