- 博客(298)
- 资源 (3)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 SpringCloud Gateway
SpringCloud Gateway 作为 Spring Cloud 生态系统中的网关，目标是替代 Zuul，在Spring Cloud 2.0以上版本中，没有对新版本的Zuul 2.0以上最新高性能版本进行集成，仍然还是使用的Zuul 2.0之前的非Reactor模式的老版本。而为了提升网关的性能，SpringCloud Gateway是基于WebFlux框架实现的，而WebFlux框架底层则使用了高性能的Reactor模式通信框架Netty。...
2022-01-19 18:19:22
1395
3
原创 Predicate
序言此断言非彼断言.目前来看主要用于校验.同时java.util.function下有很多类型的Predicate,触类旁通吧cuiyaonan2000@163.comAPIpackage java.util.function;import java.util.Objects;/** * Represents a predicate (boolean-valued function) of one argument. * * <p>This is a <a
2022-01-19 14:36:45
379
1
原创 SpringCloud Version
SpringCloud是个技术整合熔炉.为我们提供了行业中的各种问题的解决方案.总的来说SpringCloud是做协议的,其它人按照他的协议出具体的解决方案.我们就可以按照统一的标准选择不同的实现方案来解决某一个问题cuiyaonan2000@163.com比如:SpringCloud Alibaba 和 SpringCloud Netflix 都是按照SpringCloud的标准,推出了某些问题的解决实现.通过官网也可以看到SpringCloud的追随者众多。...
2022-01-18 16:58:04
3789
原创 JAVA:响应式编程
序言通常我们编写的Java程序,都是一行执行完了,再执行下一行.上一行没有执行完,下一行就不会执行.这种就是指令式编程.另外一种就是响应式编程,既可以满足当前一行命令还没有执行完时,下一行命令就可以启动执行.当需要上一行命令的结果时再去获取相关值(或者上一行结果在执行完后主动的告诉我们)cuiyaonan2000@163.comCompletableFuture在Java8 之前就有Future提供了响应式编程的实现方式.但是有一些缺陷.所以提供了CompletableFuture,
2022-01-12 17:10:45
5456
原创 Es On Hadoop
序言现在Hadoop越来越像一个平台了.里面可以住进去各种商家,商家种类有2种.1就是做存储的,2就是做计算的.cuiyaonan2000@163.com这里收集整理下Elasticsearch在Haoop上的应用.官网:面向 Hadoop 的 Elasticsearch | Elastic特点es和hadoop的整合的目的如官网所说:Elasticsearch-Hadoop (ES-Hadoop) 连接器将 Hadoop 海量的数据存储和深度加工能力与 Elasticsearc
2021-12-07 17:58:07
2153
原创 Using Of Commands Of Spark
序言简单介绍下Spark的命令,在理解Spark命令的同时,也会顺带理解Spark的服务和功能cuiyaonan2000@163.comspark-submit这个就是往Spark集群中提交任务的命令和入口,且同时支持Spark On Yarn 和 Spark Standalone两种模式.在我们搭建好服务器后,官网提供了一些用例供我们测试理解使用.如下所示:./spark-submit --class org.apache.spark.examples.SparkPi --ma
2021-12-06 15:37:09
158
原创 Buckets On Hive
序言分区与分桶都是为了提升Hive的查询效率.两者也可以同时存在.也可以独立存在.具体可以根据自己的业务情况进行选择,创建不同类型的表.分区是根据数据某一个字段新建一个目录.以增加相同数据的查询效率. 分桶是根据数据的某一个字段,在分区或者根目录下创建一个文件,多少个文件就是分桶数.同样可以提升单表查询的效率,另外如果是关联查询,则也会提升关联查询的效率.因为根据关联字段查找对应的文件就行了.cuiyaonan2000@163.com创建分桶创建的语法如下:CREATE [
2021-12-02 17:50:51
1537
1
原创 Trun On ACID(Detlete & Update) On Hive
序言默认我们搭建起来的Hive或者SparkSql都是不支持事务的.需要相应的配置才能开启Hive的事务.同时Hive的Delete和Update也是需要先开启ACID才能支持的cuiyaonan2000@163.com.参考地址:LanguageManual DML - Apache Hive - Apache Software Foundation Hive Transactions - Apache Hive - Apache Software Foundation
2021-12-02 15:28:37
214
原创 Hive On Spark
序言之前写的一篇Ⅰ.今天看了一下感觉有很多不完善和错误的地方.这里在写一篇cuiyaonan2000@163.com 两者可以结合一起看用于理解学习Hive On Spark这个意思是将Hive的执行引擎替换成spark.默认的是MR,且我们在启动Hive的时候会看到如下的内容(所以我们应该用spark来做为执行引擎cuiyaonan2000@163.com)既然要换成spark,那我们知道Hadoop自带的Mr是不能用了,且不包含spark的相关服务,所以配置修改,增加spa.
2021-11-30 18:16:14
5025
原创 Insert Data Into Hive
序言通过前面Hive的搭建,包括我们整合Mybatis和Hive.发现一个问题即:即传统的insert 不能执行所以这里整理下往Hive插入数据的几种形式,同时这些语句也可以在Mybatis中使用.Hive不支持INSERT INTO, UPDATE, DELETE针对单条数据的操作.cuiyaonan2000@163.comLoad加载本地文件到Hive中#创建Hive表hive> create table db_hive.student(cui string ,yao
2021-11-26 16:11:23
2288
原创 Partition On Hive
序言Hive的分区跟我们传统关系数据库的分区也是差不多,我们传统数库表分区是根据一个字段的内容进行换分成不同的数据块,以增加查询效率.同理Hive也是这样的但是也会有一些实现上的区别cuiyaoan2000@163.com.但是目的都是增加查询效率海量的数据保存在hdfs的某一个hive表明对应的目录下，使用hive进行操作的时候，往往会搜索这个目录下的所有文件，这有时会非常的耗时如果我们知道 这些数据的某些特征，可以事先对他们进行分裂，再把数据load到hdfs上的时候，他们就会被放到不同的目
2021-11-25 14:53:23
960
原创 Launch Hive Server2
序言在搞定了Hive服务的环境搭建后.我们需要启动Hive Server2 来供我们的程序提交任务,以及获取到相关的返回结果.HiveServer2 提供了一个简单的 WEB UI 页面，在页面中我们可以直观的看到当前链接的会话、历史日志、配置参数以及度量信息.这些服务都是Hive的内置服务,只需要一些简单的配置后就可以使用cuiyaonan2000@163.com配置文件Hive Server2一般用默认的就好了 配置项 默认值
2021-11-22 15:28:28
1132
原创 Lunch Hive Task By SpringBoot
序言本Demo是基于SpringBoot 创建Hive 任务并提交到 MapReduce On Yarn 上进行计算.那SpringBoot连接Hive的整体思路其实很简单就是通过JDBC.针对Hive的任务并提交到Yarn上就是通过SQL(当然实际的任务是MapReduce,那我们只是通过SQL的形式交由程序去自动创建cuiyaonan2000@163.com)如下所示:参考信息:Apache Hive TM...
2021-11-19 16:16:51
844
原创 Flink: Parallelism & Slot
序言因为所以.Flink大数据计算的横向扩展是一定要考虑Parallelism 和Slot的.slot决定了parallelism的可行性以及数量.如果强行分配Paralelism则会报错显示资源不够cuiyaonan2000@163.comParallelismParallelism是我们算子的并行度的设置,默认是1.即启动多少个线程并行执行.同时有3个层级可以设置他们的关系是:算子设置并行度 > env 设置并行度 > 配置文件默认并行度算子设置并行度.
2021-10-28 15:32:52
1335
原创 Flink: State
通俗的将Flink的状态即为存储算子中的子任务的中间值,相当于我们web的session.这里需要注意的是子任务是个线程,且这个线程在不断地处理数据,那flink的state就是存储线程中间变量的一个解决方案cuiyaonan2000@163.com参考版本为:v1.13.2。
2021-10-26 18:19:47
1144
原创 Flink: Function And Rich Function
序言 了解了Flink提供的算子,那我们就可以自定义算子了.自定义算子的目的是为了更加灵活的处理我们的业务数据,并将满足条件的结果Sink到目标存储地cuiyaonan2000@163.com Function有2中类型即 Function 和 Rich Function .从字面意思我们可以了解 Rich Function 肯定是比Function提供了更多的功能的.参考版本为: v1.13.2官网地址:用户自定义 Functions | Apache Flink...
2021-10-26 16:28:48
1307
原创 Flink:算子
整理一下flink的任务吧.我们在搞定了source和sink后.那算子就很重要了.为啥子呢?因为算子就是我们处理source的过程,最后需要sink到指定的存储空间里.cuiyaonan200@163.com本文基于官网v1.13.2的版本整理。
2021-10-25 18:11:52
1421
原创 Geospatial Queries On Mongodb
序言感谢不同的项目磨炼我~~~竟然发现Mongodb可以做地理空间的查询cuiyaonan2000@163.com参考资料:GeoJSON https://docs.mongodb.com/manual/geospatial-queries/ MongoDB地理空间功能简介_danpu0978的博客-CSDN博客 https://www.jb51.net/article/105796.htm...
2021-10-18 14:01:51
266
原创 JAVA音视频解决方案----开源jtt1078源码与沟通群
序言 有的人把开源的javacv的使用当成收费项目,很多人必须付钱才能看到源码.但是也有很多人在默默的付出,坚持开源. 这里附上jtt1078的一个开源项目,希望大家踊跃点赞.正文源码地址:jtt1078-video-server: 基于JT/T 1078标准实现的视频转播服务器沟通QQ群:808432702另外本人也有点点点贡献哈哈....
2021-10-13 17:14:19
1428
3
原创 Flink: Window And WaterMark
序言在使用flink的时候,我们在整合Kafka作为Source的时候需要设置watermarket.否则就不能持续行的去消费.举一反三,watermarket在其它技术整合的时候也许要进行设置.cuiyaonan2000@163.com.window:是Flink将流数据或者批量数据根据时间(开始时间,结束时间)划分的多个段叫做bucket.(批量数据对于flink是特殊的流式数据,至于为什么将数据流划分成段可以自己百度) watermark:中文译名是水位线,它的存在是为了解决flink将数据
2021-10-12 18:18:46
605
原创 Senior Course Of Kettle
序言ETL:Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程.对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少，官网:kettle的基础概念入门、下载、安装、部署 – Kettle中文网
2021-09-14 15:35:37
267
原创 Elasticsearch 查询整理
序言收集整理ES常用的一些查询类型.持续更新.基本信息常用字符符号 含义 gte greater-than or equal to, 大于或等于 gt greater-than, 大于 lte less-than or equal to, 小于或等于 lt less-than, 小于 逻辑查询或(OR)#如果有多个搜索关键字， Elastic 认为它们是or关系。$ curl 'localhost:9200/account
2021-09-13 14:06:18
306
原创 Launch Kibana
序言Kibana是一个开源的分析与可视化平台，设计出来用于和Elasticsearch一起使用的。你可以用kibana搜索、查看存放在Elasticsearch中的数据。Kibana与Elasticsearch的交互方式是各种不同的图表、表格、地图等，直观的展示数据，从而达到高级的数据分析与可视化的目的。Elasticsearch、Logstash和Kibana这三个技术就是我们常说的ELK技术栈，可以说这三个技术的组合是大数据领域中一个很巧妙的设计。一种很典型的MVC思想，模型持久层，视
2021-09-08 14:35:41
247
原创 Elasticsearch On Springboot
序言目前了解到java整合Elasticsearch有3中方式cuiyaonan2000@163.com使用Elasticsearch提供的9300端口的TCP协议进行交互---将在es8.X被取消 使用Elasticsearch提供的9200端口的HTTP协议进行交互(其中又分为Java Low Level REST Client和Java Hight Level REST Client) 使用springboot封装的就JPA的形式进行交互.(这个是我们主要的整合方式)另外就是pringb
2021-09-07 13:50:55
244
原创 Using Of Gradle
序言基于官网整理下Gradle的使用.使用过maven的话会很容易掌握,多用一段时间就熟悉了.另外很多的参数信息配置都是基于插件的,你引用不同的插件就会有不同的参数设置.其实最多的工作量就是根据插件来配置参数信息cuiyaonan2000@163.com官网地址:https://www.w3cschool.cn/gradle/3miy1htt.htmlgradle的构建过程中的几个关键词:project : gradle的目标结果就是project,project在java中对应jar.
2021-09-06 14:30:12
258
原创 Java 8 Optional
序言整理下使用过程中的心得.更详细的信息参考官方网址:https://www.runoob.com/java/java8-optional-class.htmlOptional 类:是一个可以为null的容器对象。如果值存在则isPresent()方法会返回true，调用get()方法会返回该对象。 Optional 是个容器：它可以保存类型T的值，或者仅仅保存null。Optional提供很多有用的方法，这样我们就不用显式进行空值检测。Optional 类的引入很好的解决空指针异常。正
2021-08-31 09:50:55
198
原创 Common development container construction
序言主要是以基于Mac Book M1 芯片来解决，其实也没啥主要是看目标镜像是否支持linux/arm64/v8，这个比较特别。Sql Server Container
2021-08-20 17:31:44
190
原创 Launch Elasticsearch
Elasticsearch 集群就不再centos7上搭建了。直接在开发电脑上用docker搭建外我们的java工程也是通过Tcp访问ElasticSearch的。
2021-08-18 16:45:40
205
原创 Senior Course Of Elasticsearch
序言Elasticsearch是全文检索引擎的实现，之前的solr还没弄呢～又来个ES，太快。Elastic 的底层是开源库Lucene。但是，你没法直接用 Lucene，必须自己写代码去调用它的接口。Elastic 是 Lucene 的封装，提供简单的RESTful API来隐藏Lucene的复杂性。Elasticsearch和MongoDB/Redis/Memcache一样 本质上是一个非关系分布式型数据库，允许多台服务器协同工作。是一个接近实时的搜索平台，从索引这个文档到这个文档能够.
2021-08-16 20:22:33
398
原创 电子围栏的实现原理
序言整理下电子围栏的算法.先看下经纬度的含义(^_^),与地球的关系经线(英文:longitude,简写long): 连接南北极的圆 纬线(英文:latitude,简写lat): 以赤道为中心的圆.
2021-07-30 09:58:49
13731
3
原创 The Commands of Show Information Of Index
序言sql语句调优万万千,这里调优最简单.基础表CREATE TABLE `test_index` ( `id` BIGINT(20) UNSIGNED NOT NULL AUTO_INCREMENT , `data_date` VARCHAR(50) NOT NULL DEFAULT '' , `data_type` TINYINT(2) UNSIGNED NOT NULL DEFAULT '0' , `org_code` VARCHAR(50) NOT NULL DEFAULT
2021-07-23 15:50:16
171
原创 The Using Of Commands Of Redis Cluster
Create创建集群--cluster-replicas1 :每个服务有多少个备份服务作为高可用redis-cli --cluster create 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006 --cluster-replicas 1Info集群的相关信息./redis-cli --cluster info 192.168.137.100:7001.
2021-07-15 18:06:07
278
原创 Build SpringCloud Projects With Seata
序言Jta+Atomikos 是传统的多数据源的分布式处理方案.而Seata是分布式的处理方案.且像阿里自己说的双11的抢购都是它解决的.官网:https://seata.io/zh-cn/docs/overview/what-is-seata.html事务模式seata的事务类型支持的种类有:AT:主打模式 TCC SAGA XAAT模式因为AT模式即阿里的TCC模式,所以AT会对我们的代码进行一定的代理,来实现自己的分布式处理.所有多少会对我们的代码框架有些...
2021-07-14 16:06:04
224
原创 Distributed Transaction On Spring Boot With Atomikos
序言基于springboot的分布式事务的解决方案整理
2021-07-09 15:38:43
219
原创 The Solution Of Distributed Transaction
序言整理下分布式事务的解决方案2PC2PC（two-phase commit protocol）即两阶段提交.2pc是一个非常经典的强一致、中心化的原子提交协议。中心化的意思就是,皇权集中于一人之手,其它的都是参与者.比如kafka集群.所有的信息都放置在zookeeper上,kafka只是提供服务. 同理2PC中有个协调者,用于管理所有的参与了分布式事务的应用程序cuiyaonan2000@163.com二阶段提交是一种思想，基于该思想，有XA协议和TCC协议2PC注释2P
2021-07-06 11:33:25
180
原创 Kafka batch processing
序言批量处理的添加域参数设置，也算是kafka调优的一种切入点cuiyaonan2000@163.com添加批处理来提升任务处理效率。 具体针对批量处理的一些参数设置，来进一步优化处理任务的效率。（kafka的服务的参数配置种类很多，有很多参数配置的技术点还是挺深的，但是我们可以根据批处理的参数设置为切入点，熟悉了解全面的参数设置cuiyaonan2000@163.com）Batch Processing On Consumer批处理的参数设置spring: kafka:
2021-07-05 15:02:58
1582
原创 Kafka Partition And Group
序言Kafka的分区是提升其高吞吐量的必要条件。因为每个Consumer Group 中只能有一个机器去消费Topic中的某一个分区，即Topic中的分区只能被同一个消费组中的一个服务消费因为分区的存在，在同一个Topic下cuiyaonan2000@163.comKafka Producer 会启动多个线程，分别去连接不同broker上的分区，并生产数据 Kafka Consumer 会启动多个线程，分别去监听不同broker上的分区，并接收数据分区设置分区的数量是提高Kafka的
2021-06-28 17:16:53
455
1078解析推流源代码(netty+javacv+spring+maven+rtp+rtmp)
2019-07-18
Apress - Pro JavaScript Techniques (2007).pdf
2010-04-06
jsf valueChangeListener 表间级联
2011-07-11
TA创建的收藏夹 TA关注的收藏夹
TA关注的人