- 博客(80)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 个人本地服务类应用软件项目,可合作投资推广等,基于uni-app+ springcloud +VUE技术
个人电商项目,基于uni-app+ springcloud +VUE技术
2021-02-26 11:40:42
1090
1
原创 知识点记录-高并发JAVA多线程(thread runnable callable executors future completablefuture)
知识点记录-JAVA多线程(thread runnable callable executors future completablefuture)
2022-03-27 18:13:43
365
原创 大数据系列-SPARK-STREAMING流数据receiver
大数据系列-SPARK-STREAMING流数据receiverpackage com.testimport org.apache.spark.SparkConfimport org.apache.spark.storage.StorageLevelimport org.apache.spark.streaming.receiver.Receiverimport org.apache.spark.streaming.{Seconds, StreamingContext}import sca
2022-03-20 21:13:56
881
原创 大数据系列-SPARK-STREAMING流数据queue
大数据系列-SPARK-STREAMING流数据queuepackage com.testimport org.apache.spark.SparkConfimport org.apache.spark.rdd.RDDimport org.apache.spark.streaming.{Seconds, StreamingContext}import scala.collection.mutableobject SparkStreamingQueue { def main(args:
2022-03-20 21:10:14
1997
原创 大数据系列-SPARK-STREAMING流数据transform
package com.testimport org.apache.spark.SparkConfimport org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}import org.apache.spark.streaming.{Seconds, StreamingContext}//有状态函数transform//用于DSTREAM转换RDD增加功能//用于周期执行object SparkStreaming
2022-03-20 21:06:59
1010
原创 大数据系列-SPARK-STREAMING流数据state
大数据系列-SPARK-STREAMING流数据statepackage com.testimport org.apache.spark.SparkConfimport org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}import org.apache.spark.streaming.{Seconds, StreamingContext}//有状态state函数updateStateByKeyobject S
2022-03-20 21:02:12
1577
原创 大数据系列-SPARK-STREAMING流数据window
大数据系列-SPARK-STpackage com.testimport org.apache.spark.SparkConfimport org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}import org.apache.spark.streaming.{Seconds, StreamingContext}//windowobject SparkStreamingWindow { def main(
2022-03-20 20:58:36
1550
原创 知识点记录-发布订阅(REDIS)
知识点记录-发布订阅(REDIS)已使用消息队列代替发布订阅pub/sub：可订阅多个channel打开2个client端client1: subscribe channel1client2: publish channel1 消息1
2022-03-13 21:39:06
917
原创 知识点记录-扩展数据类型(REDIS)
知识点记录-扩展数据类型(REDIS)扩展数据类型与指令bitmapsetbit k1 offset1 0 : 设置偏移量offset1的位置=0getbit k1 offset1bitcount k1: 查询1的个数bitop and/or/not/xor k1 k2基数去重hyperloglog占用内存少，有重的元素增加不了，数据集不重 例(1,4,5,6,0,5,0) 不重的数据集(1,4,5,6,0) 数量=5pfadd k1 v1pfadd k1 v2pfadd k1 v1
2022-03-13 21:35:43
774
原创 知识点记录-基本数据类型(REDIS)
知识点记录-基本数据类型(REDIS)基本数据类型与指令指令-KEYSELECT 编号(默认0，有16个库，可通过CONF文件修改) ：选择使用的库 dbsize : 查看选择的db中key的数量 flushdb：清空选择的库 flushall：清空全库 keys * : 查看key数量 set k1 v1set k2 v2 ：设置key-value exists k1：是否存在 type k2：查看类型 del k1：删除 ulink k1：异步删除 expire k1 秒: 设置过期 ttl k
2022-03-13 21:32:19
1023
原创 知识点记录-使用kafka
知识点记录-使用kafka目录package com.testimport org.apache.kafka.clients.producer._import org.apache.kafka.common.Clusterimport java.utilimport java.util.Properties//测试KAFKAobject SparkKafka { def main(args: Array[String]): Unit = { //设置基本参数 v
2022-03-06 18:36:59
1677
原创 知识点记录-win10安装KAFKA(版本kafka-3.1.0) ZOOKEEPER
知识点记录-win10安装KAFKA(版本kafka-3.1.0) ZOOKEEPER目录安装下载kafka设置zookeeper参数启动zookeeper设置kafka参数启动KAFKA测试创建主题主题列表启动console-producer启动console-consumer安装下载kafka地址https://kafka.apache.org/downloads(选择基于Scala 2.12的版本 kafka_2.12-3.1.0.tgz )
2022-03-06 18:30:19
2654
原创 知识点记录-缓存REDIS事务与锁
目录缓存REDIS事务与锁事务指的是顺序执行多个指令,中间不被打断，包括指令入队,指令执行阶段事务冲突: 在某事务中修改了,则别的事务中修改不了(版本控制)缓存REDIS事务与锁事务指的是顺序执行多个指令,中间不被打断，包括指令入队,指令执行阶段相关的指令: MULTI : 入队，有异常则指令均不执行 EXEC: 执行，某指令异常则别的指令还执行 DISCARD: 不执行事务冲突: 在某事务中修改了,则别的事务中修改不了(版本控制)相关的指令: WATCH：监听某KEY UNW
2022-02-27 19:19:51
383
原创 知识点记录-缓存REDIS穿透与击穿 雪崩
目录缓存REDIS穿透与击穿 雪崩穿透: 查询缓存与DB里没有的记录 例查询ID=-1的内容击穿: 某个热点的KEY过期了,某个时间点查询,大量的访问冲击DB雪崩: 大量的KEY均过期了,某个时间点查询,大量的访问冲击DB缓存REDIS穿透与击穿 雪崩穿透: 查询缓存与DB里没有的记录 例查询ID=-1的内容方法:(1) 空值缓存: 缓存查询不到的KEY到REDIS中，设置较短的过期时间(2) 设置白名单: 可访问的ID值列表存放BITMAPS中,按偏移位判断(3) 布隆过滤器: 将可访问的数据
2022-02-27 19:17:11
347
原创 大数据系列篇-SPARK-SQL读写数据源
知识点记录-SPARK-SQL读写数据源package com.testimport org.apache.spark.SparkConfimport org.apache.spark.sql.{SaveMode, SparkSession}//练习read-write数据源object SparkSqlRw { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setAppName(
2022-02-20 19:51:36
901
原创 大数据系列篇-SPARK-SQL用户定义聚合函数
大数据系列-SPARK-SQL用户定义聚合函数package com.testimport org.apache.spark.SparkConfimport org.apache.spark.sql.expressions.{Aggregator, MutableAggregationBuffer, UserDefinedAggregateFunction}import org.apache.spark.sql.types.{DataType, LongType, StructField, Str
2022-02-20 19:37:28
949
原创 大数据系列篇-SPARK-SQL用户定义函数
知识点记录-SPARK-SQL用户定义函数package com.testimport org.apache.spark.SparkConfimport org.apache.spark.sql.SparkSession//用户定义函数object SparkSqlUdf { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setAppName("练习SparkSqlUdf").se
2022-02-20 19:30:42
290
原创 大数据系列篇-spark-sql使用SQL加DSL方式与RDD-DATAFRAME-DATASET转换
知识点记录-spark-sql使用SQL加DSL方式与RDD-DATAFRAME-DATASET转换package com.testimport org.apache.spark.SparkConfimport org.apache.spark.sql.SparkSession//测试sql与dsl与转换RDD <-> DATAFRAME <-> DATASETobject SparkSql { def main(args: Array[String]): Uni
2022-02-20 19:23:52
821
原创 基础架构系列篇-基于win10安装SPARK3与HADOOP环境
基础架构系列篇-基于win10安装SPARK3与HADOOP环境(这里版本是 spark-3.1.2 hadoop-3.2.0)目录1. 下载安装spark (这里版本是 spark-3.1.2-bin-hadoop3.2.tgz)2.下载安装hadoop (按SPARK版本选择)3. 测试查看1. 下载安装spark (这里版本是 spark-3.1.2-bin-hadoop3.2.tgz)地址: http://spark.apache.org/downloads.htmlhttps://dow
2022-02-20 09:27:13
561
1
原创 知识点记录-SCALA语言
知识点记录-SCALA语言目录//package import// 注释// 变量// 访问修饰符// 作用域// 运算符// 循环// yeild// break// 方法与函数// 默认参数// 高阶函数// 可变参数// 递归函数// 内嵌函数// 匿名函数// 偏函数// 柯里化函数// 闭包// 数组// 集合// 文件// 异常// regex// 模式匹配//package importpackage com.scalaimport java.io._import java.u
2022-01-28 21:22:01
372
原创 知识点记录-K8S中POD的周期
知识点记录-K8S中POD的周期目录运行过程:(没画图)状态:测试pod-initcontainer.yaml周期函数拦截pod-hook-exec.yaml容器探测pod-livenessprobe-exec.yaml重启策略pod-restartpolicy.yaml运行过程:(没画图)多个INIT容器串行执行->运行MAIN容器(POST START -> RUNNING(LIVNESS PROBE READINESS PROBE) -> PRE STOP)状态:PEN
2022-01-23 18:35:20
985
原创 知识点记录-JAVA8常用语法特点流stream
知识点记录-JAVA8常用语法特点流stream练习流streampackage com.test.jdk8;import java.util.Arrays;import java.util.IntSummaryStatistics;import java.util.List;import java.util.Random;import java.util.stream.Collectors;import java.util.stream.Stream;public class Tes
2022-01-15 21:39:47
156
1
原创 知识点记录-JAVA8常用语法特点Optional
知识点记录-JAVA8常用语法特点Optional练习Optionalpackage com.test.jdk8;import java.util.Optional;import java.util.OptionalDouble;public class TestOptional { private int ad = 16; private int qe = 156; private String string = "156;system"; public
2022-01-15 21:38:41
139
原创 知识点记录-JAVA8常用语法特点方法引用
知识点记录-JAVA8常用语法特点方法引用#练习方法引用package com.test.jdk8;import java.util.Arrays;import java.util.List;interface UserFactory<T extends User> { T create(String name, int age);}@FunctionalInterfaceinterface Supplier<T> { T get();}c
2022-01-15 21:34:07
79
原创 知识点记录-JAVA8常用语法特点函数式接口
知识点记录-JAVA8常用语法特点函数式接口练习函数式接口package com.test.jdk8;import java.util.Arrays;import java.util.List;import java.util.function.Function;import java.util.function.Predicate;@FunctionalInterfaceinterface Converter<F, T> { T convert(F from);}
2022-01-15 21:30:41
73
原创 知识点记录-JAVA8常用语法特点默认接口方法
知识点记录-JAVA8常用语法特点默认接口方法练习默认接口方法package com.service.ajdk8.test;interface DefaultInterface { int testGet(int a); default int get(int c) { return c + 1; }}public class TestDefaultInterfaceMethod implements DefaultInterface {
2022-01-15 21:27:37
119
1
原创 知识点记录-JAVA8常用语法特点lambda表达式
知识点记录-JAVA8常用语法特点lambda表达式练习lambda表达式package com.test.jdk8;//语法格式如下://(parameters) -> expression//或//(parameters) ->{ statements; }import java.util.*;interface MathOperation { int operation(int a, int b);}interface GreetingService {
2022-01-15 21:23:25
138
1
原创 知识点记录-K8S中资源service
知识点记录-K8S中资源service说明提供固定的IP访问POD与负载均衡指令创建kubectl expose deploy deploy名称 --name=svc-nginx(service名称) --type=ClusterIP(service类型,集群内可访问的IP) --port=80(service端口) --target-port=80(deploy端口) -n devkubectl expose deploy deploy名称 --name=svc-nginx1(servic
2021-12-26 17:37:59
1060
原创 知识点记录-K8S中资源pod控制器deployment
知识点记录-K8S中资源pod控制器deployment说明用于控制pod指令创建 kubectl run deployment名称 参数(image port replicas namespace)kubectl run nginx --image=nginx --port=80 --replicas=3 --namaspace=dev查看kubectl describe deploy nginx -n devkubectl get deploy,pods -n dev删除k
2021-12-26 17:30:31
115
原创 知识点记录记录-K8S中资源标签label
知识点记录-K8S中资源标签label说明标签label:资源标志格式 key=value可添加删除多个标签标签选择器 label selector:用于选择资源name=name1 name!=name1name in (name1 name2) name not in (name1 name2)指令打标签kubectl label pod pod名称 version=1.0.0 -n dev查看kebec
2021-12-26 17:29:00
1155
原创 知识点记录-K8S中资源pod
知识点记录-K8S中资源pod目录说明指令配置说明指令配置说明指令配置说明指令配置说明可运行多个容器: 有pause容器与多个用户容器由pod控制器控制指令格式 kubectl run pod控制器名称 参数运行 kubectl run nginx --image=nginx --port=80 --namespace=dev查看 kubectl get pod -n dev查看 kubectl get pods -n dev详细 kubectl get p
2021-12-26 14:00:01
964
原创 知识点记录-K8S中资源namespace(ns)
知识点记录-K8S中资源NAMESPACE目录说明基础指令基础配置说明用于资源隔离,不同环境(dev test prod等) 不同租户授权(测试组等) 资源使用限制(内存等)不指定 -n 则使用default空间基础指令创建nskubectl create namespace ns1查询nskubectl get nskubecl get ns ns1详细kubectl describe ns ns1查看ns的podkubectl get pods -n
2021-12-26 13:39:57
1373
原创 知识点记录-k8s相关概念
知识点记录-k8s相关概念目录1. namespace pod deployment servicejob cronjobreplicaset daemonset statefulsetpv pvc configmap secretrbac1. namespace pod deployment servicejob cronjobreplicaset daemonset statefulsetpv pvc configmap secretr
2021-12-11 17:58:08
358
1
原创 知识点记录-k8s系统部署结构(kubeadm方式)
知识点记录-k8s系统部署结构目录1. 主节点master2. 任务节点node3. 集群(多个master与多个node节点)1. 主节点master包括 apiserver controller etcd scheduler2. 任务节点node包括 docker kube-proxy kubelet3. 集群(多个master与多个node节点)...
2021-12-11 17:37:47
1989
1
原创 知识点记录（用于大数据）-系统WIN10安装SCALA环境并使用IDEA测试
知识点记录（用于大数据）-系统WIN10安装SCALA环境并使用IDEA测试目录1. 下载安装JDK8或JDK11(LTS版本)2. 下载SCALA安装包并安装与设置环境变量(这里用的是JDK8与SCALA2.12.15)3. 使用IDEA测试1. 下载安装JDK8或JDK11(LTS版本)略2. 下载SCALA安装包并安装与设置环境变量(这里用的是JDK8与SCALA2.12.15)关于JDK与SCALA的兼容版本https://docs.scala-lang.org/overviews/jd
2021-11-26 20:40:44
2449
1
原创 基础架构系列篇-系统WIN10安装K8S(用于本地练习)
基础架构系列篇-系统WIN10安装K8S1.在WIN10中安装DOCKER-DESKTOP(略)2. 安装K8S参考
2021-11-21 11:06:51
828
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人