- 博客(31)
- 收藏
- 关注
原创 使用docker部署mysql,并开启binlog
本文介绍了如何用dokcer部署mysql,并开启binlog,使用flink cdc抽取binlog数据进行处理。
2023-01-19 08:57:36 3997
原创 排序算法之快速排序
快速排序作为应用最为广泛的算法,也是面试最常考的算法。快速排序流行的原因是因为,它是简单的,高效的,它的平均时间复杂度为O(nlogn),要比一般的排序算法更快O(n^2)。快速排序使用一种分治法(Divide and Conquer)将序列分为较小和较大的两个子序列,然后采用递归的形式进行排序。快速排序基础算法这是一个可以运行起来的快速排序代码。public static void sort([] a) { sort(a, 0, a.length - 1);}private stat
2020-07-28 11:04:05 255
原创 聊一聊Java内存模型
Java内存模型是所有Java程序正常运行的基础,了解清楚Java内存模型对于我们熟悉Java程序运行机制有着至关重要的作用。今天我们来聊一聊Java内存模型,看一下Java程序究竟是如何运行起来的。在网上会经常看到这张图,详细介绍了Java程序在运行的时候,每一块使用到的内存是什么样的。今天的Jvm运行时所使用的的内存模型基本没有变化,接下来我们分别介绍一下每个内存区域的作用和特点。总体上Java内存可以分为两种:线程共享内存和线程私有内存。因为在Java程序运行的时候,资源有共享和私有两种情况。
2020-06-29 21:07:40 189
原创 Flink 1.10 SQL CONNECTOR开发
Flink 1.10提供了丰富的connector组件帮助用户连接外部系统。但是很多时候原生的connector并不能够完全满足用户的需求,因此需要自定义开发connector组件。本文介绍如何进行Flink1.10 SQL CONNECTOR的开发工作。Flink 1.10通过SPI去加载不同的factory,实现了CONNECTOR的统一。SPI机制SPI,全称为Service Provider Interface,是Java提供的一套用于第三方实现或拓展的API。基于工厂模式的任务提交pu
2020-06-23 16:19:29 1703
原创 标题Spring Boot 启动流程以及自动加载配置流程梳理
标题Spring Boot 启动流程以及自动加载配置流程梳理Spring Boot的精髓在于自动加载默认配置且可修改,降低了开发者使用Spring 的门槛。本文主要梳理Spring Boot是如何自动加载配置到容器中,使程序运行起来。Spring 是目前非常流行的一款java应用框架,支持非常多的使用场景。繁琐的配置使用户在应用spring的时候提高了使用门槛,而Spring Boot的出现为开发者降低了使用Spring,减少了许多不必要的配置内容,提高了开发效率。Spring Boot的精髓就是在启动
2020-06-13 19:49:32 348
原创 学习shell script
shell script 是利用shell 所写的一个程序,可以将shell的语法和命令,搭配正则表达式,管道命令,数据流重定向等完成我们所要处理的目的。
2017-05-08 11:27:37 367
原创 java在oj中的输入
在写算法的时候,发现OJ中对输入有着严格的要求,因此写好算法的第一步就是好写好正确的输入方法使得数据可以正确输入。本文总结一下常见的一些情况。
2017-04-10 21:35:20 2681
原创 Hadoop的一些基础知识
Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理,以并行的方式工作,通过并行处理加快处理速度,能够处理 PB 级数据。Hadoop主要由HDFS、MapReduce和Hbase组成。 它是一个分布式系统基础架构,由Apache基金会开发。
2017-03-31 15:30:40 4453
原创 Spark环境配置与学习
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。本文主要介绍spark环境配置以及基础入门学习。
2017-02-17 15:39:59 680 2
原创 统计学习算法--感知机
感知器(perceptron)1957年由Rosenblatt提出,是神经网络与支持向量机的基础。感知器是二类分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别,取+1和-1二值。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面,属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面。
2017-02-15 10:23:25 544
原创 爬虫数据抓包
抓包分析是爬虫研发的最基础和关键的步骤。要足够细心和耐心,开发时应采取循序渐进的步骤,并在每个关键环节留有日志输出,方便爬虫问题的问题跟踪与追根溯原。
2017-02-01 12:46:50 4933
转载 java 抽象类与接口的区别
java 抽象类与接口的区别抽象类的出发点是继承。一个以抽象类为节点的继承关系链中,叶子节点一定是具体的实现类。接口是比抽象类更加抽象的“类”。接口本身并不是类,它只是提供一种形式,而并没有具体的实现方法。实现该接口的实现类必须要实现该接口的所有方法。
2016-12-22 10:46:07 330
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人