hudongdong2020的博客

个人电商项目,基于uni-app+ springcloud +VUE技术

知识点记录-JAVA多线程(thread runnable callable executors future completablefuture)

大数据系列-SPARK-STREAMING流数据receiverpackage com.testimport org.apache.spark.SparkConfimport org.apache.spark.storage.StorageLevelimport org.apache.spark.streaming.receiver.Receiverimport org.apache.spark.streaming.{Seconds, StreamingContext}import sca

大数据系列-SPARK-STREAMING流数据queuepackage com.testimport org.apache.spark.SparkConfimport org.apache.spark.rdd.RDDimport org.apache.spark.streaming.{Seconds, StreamingContext}import scala.collection.mutableobject SparkStreamingQueue { def main(args:

package com.testimport org.apache.spark.SparkConfimport org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}import org.apache.spark.streaming.{Seconds, StreamingContext}//有状态函数transform//用于DSTREAM转换RDD增加功能//用于周期执行object SparkStreaming

大数据系列-SPARK-STREAMING流数据statepackage com.testimport org.apache.spark.SparkConfimport org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}import org.apache.spark.streaming.{Seconds, StreamingContext}//有状态state函数updateStateByKeyobject S

大数据系列-SPARK-STpackage com.testimport org.apache.spark.SparkConfimport org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}import org.apache.spark.streaming.{Seconds, StreamingContext}//windowobject SparkStreamingWindow { def main(

知识点记录-发布订阅(REDIS)已使用消息队列代替发布订阅pub/sub：可订阅多个channel打开2个client端client1: subscribe channel1client2: publish channel1 消息1

知识点记录-扩展数据类型(REDIS)扩展数据类型与指令bitmapsetbit k1 offset1 0 : 设置偏移量offset1的位置=0getbit k1 offset1bitcount k1: 查询1的个数bitop and/or/not/xor k1 k2基数去重hyperloglog占用内存少，有重的元素增加不了，数据集不重 例(1,4,5,6,0,5,0) 不重的数据集(1,4,5,6,0) 数量=5pfadd k1 v1pfadd k1 v2pfadd k1 v1

知识点记录-基本数据类型(REDIS)基本数据类型与指令指令-KEYSELECT 编号(默认0，有16个库，可通过CONF文件修改) ：选择使用的库 dbsize : 查看选择的db中key的数量 flushdb：清空选择的库 flushall：清空全库 keys * : 查看key数量 set k1 v1set k2 v2 ：设置key-value exists k1：是否存在 type k2：查看类型 del k1：删除 ulink k1：异步删除 expire k1 秒: 设置过期 ttl k

知识点记录-使用kafka目录package com.testimport org.apache.kafka.clients.producer._import org.apache.kafka.common.Clusterimport java.utilimport java.util.Properties//测试KAFKAobject SparkKafka { def main(args: Array[String]): Unit = { //设置基本参数 v

知识点记录-win10安装KAFKA(版本kafka-3.1.0) ZOOKEEPER目录安装下载kafka设置zookeeper参数启动zookeeper设置kafka参数启动KAFKA测试创建主题主题列表启动console-producer启动console-consumer安装下载kafka地址https://kafka.apache.org/downloads(选择基于Scala 2.12的版本 kafka_2.12-3.1.0.tgz )

目录缓存REDIS事务与锁事务指的是顺序执行多个指令,中间不被打断，包括指令入队,指令执行阶段事务冲突: 在某事务中修改了,则别的事务中修改不了(版本控制)缓存REDIS事务与锁事务指的是顺序执行多个指令,中间不被打断，包括指令入队,指令执行阶段相关的指令: MULTI : 入队，有异常则指令均不执行 EXEC: 执行，某指令异常则别的指令还执行 DISCARD: 不执行事务冲突: 在某事务中修改了,则别的事务中修改不了(版本控制)相关的指令: WATCH：监听某KEY UNW

目录缓存REDIS穿透与击穿 雪崩穿透: 查询缓存与DB里没有的记录 例查询ID=-1的内容击穿: 某个热点的KEY过期了,某个时间点查询,大量的访问冲击DB雪崩: 大量的KEY均过期了,某个时间点查询,大量的访问冲击DB缓存REDIS穿透与击穿 雪崩穿透: 查询缓存与DB里没有的记录 例查询ID=-1的内容方法:(1) 空值缓存: 缓存查询不到的KEY到REDIS中，设置较短的过期时间(2) 设置白名单: 可访问的ID值列表存放BITMAPS中,按偏移位判断(3) 布隆过滤器: 将可访问的数据

知识点记录-SPARK-SQL读写数据源package com.testimport org.apache.spark.SparkConfimport org.apache.spark.sql.{SaveMode, SparkSession}//练习read-write数据源object SparkSqlRw { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setAppName(

大数据系列-SPARK-SQL用户定义聚合函数package com.testimport org.apache.spark.SparkConfimport org.apache.spark.sql.expressions.{Aggregator, MutableAggregationBuffer, UserDefinedAggregateFunction}import org.apache.spark.sql.types.{DataType, LongType, StructField, Str

知识点记录-SPARK-SQL用户定义函数package com.testimport org.apache.spark.SparkConfimport org.apache.spark.sql.SparkSession//用户定义函数object SparkSqlUdf { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setAppName("练习SparkSqlUdf").se

知识点记录-spark-sql使用SQL加DSL方式与RDD-DATAFRAME-DATASET转换package com.testimport org.apache.spark.SparkConfimport org.apache.spark.sql.SparkSession//测试sql与dsl与转换RDD <-> DATAFRAME <-> DATASETobject SparkSql { def main(args: Array[String]): Uni

基础架构系列篇-基于win10安装SPARK3与HADOOP环境(这里版本是 spark-3.1.2 hadoop-3.2.0)目录1. 下载安装spark (这里版本是 spark-3.1.2-bin-hadoop3.2.tgz)2.下载安装hadoop (按SPARK版本选择)3. 测试查看1. 下载安装spark (这里版本是 spark-3.1.2-bin-hadoop3.2.tgz)地址: http://spark.apache.org/downloads.htmlhttps://dow

知识点记录-k8s相关概念目录1. namespace pod deployment servicejob cronjobreplicaset daemonset statefulsetpv pvc configmap secretrbac1. namespace pod deployment servicejob cronjobreplicaset daemonset statefulsetpv pvc configmap secretr

知识点记录-k8s系统部署结构目录1. 主节点master2. 任务节点node3. 集群(多个master与多个node节点)1. 主节点master包括 apiserver controller etcd scheduler2. 任务节点node包括 docker kube-proxy kubelet3. 集群(多个master与多个node节点)...

单点登录方案

目录1. 修改项目配置yml2. 修改项目文件1. 修改项目配置yml2. 修改项目文件数据源切换注解@Target({/*ElementType.TYPE,*/ ElementType.METHOD})@Retention(RetentionPolicy.RUNTIME)@Documentedpublic @interface DataSource { DataSourceEnum value() default DataSourceEnum.DB1;}切面拦截@Compo

数据库系列篇-中间件mycat目录1. 安装MYCAT2.3.1. 安装MYCAT打开地址 http://www.mycat.org.cn/点击下载,选择版本1.6.7.6-winhttp://dl.mycat.org.cn/1.6.7.6/切换到lib路径,替换mysql-connector-java-5.XX.jar，使用mysql-connector-java-8.XX.jar修改数据库mysql8的密码方式2.3....

目录1. 下载启动nacos1.4.12. 下载启动seata1.4.13. 验证1. 下载启动nacos1.4.1地址 https://github.com/alibaba/nacos/tags选择 nacos-server-1.4.1.zip解压打开cmd或powershell切换到目录nacos-server-1.4.1\nacos\bin执行 .\startup.cmd -m standalone浏览器localhost:8848/nacos创建namespace2. 下载启

分布式系统