自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(263)
  • 资源 (51)
  • 问答 (5)
  • 收藏
  • 关注

原创 Python常见数据类型处理

*不可变数据(3 个):**Number(数字)、String(字符串)、Tuple(元组);**可变数据(3 个):**List(列表)、Dictionary(字典)、Set(集合)。布尔类型可以用来控制程序的流程,比如判断某个条件是否成立,或者在某个条件满足时执行某段代码。在 Python 中,True 和 False 都是关键字,表示布尔值。转义特殊字符,如果你不想让反斜杠发生转义,可以在字符串前面添加一个。Python的元组与列表类似,不同之处在于元组的元素不能修改。Python3 中,

2024-05-19 21:54:13 2629 51

原创 企微配置回调服务

什么时候需要回调服务在集成企业微信与内部系统时,我们往往需要搭建一个回调服务。自定义丰富的服务行为。比如,用户向应用发消息时,识别消息关键词,回复不同的消息内容;用户点击应用菜单时,转化为指令,执行自动化任务。可以及时获取到状态变化。比如,通讯录发生变化时,不需要定时去拉取通讯录对比,而是实时地获取到变化的通讯录结点,进行同步。企业微信会先判断URL服务是否具备解析企业微信推送消息的能力。

2023-08-19 23:16:53 20811 16

原创 原生Jdbc获取库、表、字段

JDBC(Java Database Connectivity)是一个独立于特定数据库管理系统、通用的SQL数据库存取和操作的公共接口(一组API),定义了用来访问数据库的标准Java类库,()使用这些类库可以以一种标准的方法、方便地访问数据库资源。JDBC为访问不同的数据库提供了一种统一的途径,为开发者屏蔽了一些细节问题。JDBC的目标是使Java程序员使用JDBC可以连接任何提供了JDBC驱动程序。

2023-06-21 22:58:26 11182 8

原创 计算机网络整理(超全整理)(2000+收藏)

一、网络 7 层架构(ISO/OSI协议参考模型)二、TCP/IP 原理三、TCP 三次握手/四次挥手四、TCP长连接与短连接五、 HTTP 原理六、HTTPS七、TCP/IP协议族

2020-06-13 19:15:14 26139 54

原创 10分钟让你掌握Linux常用命令(+3万+++收藏)

1、目录操作。2、文件操作。3、文件内容操作。4、压缩和解压缩。5、日志查看。6、Linux下文件的详细信息。7、常用的docker容器的命令。8、其他命令。

2019-09-25 15:38:43 726891 312

原创 Python入门基础内容_2

3.7.3。

2024-08-31 16:09:50 1014 20

原创 Python入门基础内容_1

3.7.3。

2024-08-31 16:09:09 805 1

原创 Python入门基础内容_3

3.7.3。

2024-08-31 15:54:00 1120

原创 2、简单语法

3.7.3。

2024-08-27 21:53:24 1122 7

原创 Python安全路径

3.7.3。

2024-08-27 21:52:17 722

原创 DataWorks函数

MaxCompute SQL提供了如下数学函数供您在开发过程中使用,您可以根据实际需要选择合适的数学函数,进行数据计算、数据转换相关操作。MaxCompute SQL提供了如下日期函数,您可以根据实际需要选择合适的日期函数,完成日期计算、日期转换。MaxCompute SQL提供了如下窗口函数,使用窗口函数对指定开窗列的数据灵活地进行分析处理工作。MaxCompute SQL支持的复杂类型函数如下。MaxCompute SQL支持的字符串函数如下。MaxCompute SQL支持的其他类型函数如下。

2024-08-21 22:39:11 892 18

原创 Linux服务器安装MySQL8.0

可以从官网下载https://downloads.mysql.com/archives/community/登录MySQL(密码为初始化时的临时密码)将MySQL安装包授权给MySQL用户。初始化MySQL(记录登录密码)假如报一下错误,需安装一下软件。初始化以后,记录下临时密码。解压MySQL安装包。创建MySQL用户组。

2024-07-27 18:55:41 10111 45

原创 我的创作纪念日

希望可以和更多的一起学习的朋友,共同进步,收获更多的好朋友。提示:你过去写得最好的一段代码是什么?提示:当前创作和你的工作、学习是什么样的关系。提示:在创作的过程中都有哪些收获。

2024-05-19 22:01:24 627 20

原创 HBase整合Phoenix

1)官网地址:http://phoenix.apache.org/Phoenix是HBase的开源SQL皮肤。可以使用标准JDBC API代替HBase客户端API来创建表,插入数据和查询HBase数据。优点:使用简单,直接能写sql。缺点:效率没有自己设计rowKey再使用API高,性能较差。

2023-12-03 19:58:19 11393 42

原创 一篇文章完成Hbase入门

HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。

2023-11-25 15:32:17 11755 22

原创 Hive函数

窗口函数不同于我们熟悉的常规函数及聚合函数,它输入多行数据(一个窗口),为每行数据进行一次计算,返回一个值。灵活运用窗口函数可以解决很多复杂的问题,如去重、排名、同比及和环比、连续登录等。**内置函数:**Hive自带的函数。**自定义函数:**当Hive提供的内置函数无法满足你的业务处理需要时。可以自己定义一些函数。: 一进一出。:聚合函数,多进一出,类似:count/max/min:炸裂函数,一进多出,如:explode()Hive不会强制要求将数据转换成特定的格式才能使用。

2023-11-18 20:38:09 8928 19

原创 看完就会的Flink基础API

执行环境、数据源(source)、转换操作(transformation)、输出(sink)四大部分getExecutionEnvironment( )最简单的方式,就是直接调用 getExecutionEnvironment 方法。它会根据当前运行的上下文直接得到正确的结果:如果程序是独立运行的,就返回一个本地执行环境;如果是创建了 jar包,然后从命令行调用它并提交到集群执行,那么就返回集群的执行环境。也就是说,这个方法会根据当前运行的方式,自行决定该返回什么样的运行环境。这种“智能”的方式不需要我们

2023-11-10 08:00:00 10537 8

原创 SparkSQL

一、概述二、Spark SQL编程三、SparkSQL数据加载和保存

2023-11-03 19:41:38 11059 9

原创 Spark-Core

一、RDD 编程二、累加器三、广播变量

2023-10-24 16:56:09 10378 12

原创 Spark简介

部署Spark集群大体上分为两种模式:单机模式与集群模式大多数分布式框架都支持单机模式,方便开发者调试框架的运行环境。

2023-10-22 16:46:32 11253 29

原创 Yarn基础入门

那么在YARN中,我们用DRF来决定如何调度:假设集群一共有100 CPU和10T 内存,而应用A需要(2 CPU, 300GB),应用B需要(6 CPU,100GB)。则两个应用分别需要A(2%CPU, 3%内存)和B(6%CPU, 1%内存)的资源,这就意味着A是内存主导的, B是CPU主导的,针对这种情况,我们可以选择DRF策略对不同应用进行不同资源(CPU和内存)的一个不同比例的限制。但是很多时候我们资源有很多种,例如内存,CPU,网络带宽等,这样我们很难衡量两个应用应该分配的资源比例。

2023-10-13 20:53:34 11453 19

原创 HDFS最基础使用

Hadoop中核心的数据存储管理,HDFS的内容基础讲解入门。

2023-10-03 16:17:27 9925 14

原创 Scala最基础入门教程

Scala的最基础教程,学完以后,能胜任80%的开发场景,基本控制在2~3个小时阅读时间。

2023-09-29 00:00:00 12273 3

原创 Flume最简单使用

Flume最简单使用教程

2023-09-23 22:16:31 11342 6

原创 面试题整理

面试题整理。

2023-09-21 23:53:15 482 3

原创 zookeeper最基础教程

官方地址:https://zookeeper.apache.org/Zookeeper是一个开源的分布式的,为分布式框架提供协调服务的Apache项目。Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。

2023-09-16 17:24:34 11684 9

原创 Yarn资源调度器

文章目录一、Yarn资源调度器1、架构2、Yarn工作机制3、HDFS、YARN、MR关系4、作业提交之HDFS&MapReduce二、Yarn调度器和调度算法1、先进先出调度器(FIFO)2、容量调度器(Capacity Scheduler)3、公平调度器(Fair Scheduler)3.1 调度器原理3.22 资源分配方式三、修改Yarn集群1、Yarn配置2、多队列提交3、向集群中提交任务一、Yarn资源调度器Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布

2023-09-06 18:01:57 10486 7

原创 Spark-Core核心算子

Spark-Core中1、数据源获取。2、转换算子。3、行动算子

2023-09-03 18:55:35 10419 32

原创 illegal cyclic inheritance involving trait Iterable_2种解决方式

将maven打包的方式,改为Scala的打包方式,初始化创建的时候,都是maven的打包,也就是默认Java的,还是需要更换为Scala的打包方式。可以选择降低Scala的版本,可以解决一定的问题。

2023-08-28 19:33:54 17510 2

原创 Spark 启动时,报JAVA_HOME is not set

配置Java的环境变量。

2023-08-25 21:02:54 1967 6

原创 【腾讯云 Cloud Studio 实战训练营】使用Cloud Studio构建Java、Python项目

官网Cloud Studio 是基于浏览器的集成式开发环境(IDE),为开发者提供了一个永不间断的云端工作站。用户在使用 Cloud Studio 时无需安装,随时随地打开浏览器就能在线编程。Cloud Studio 作为在线 IDE,包含代码高亮、自动补全、Git 集成、终端等 IDE 的基础功能,同时支持实时调试、插件扩展等,可以帮助开发者快速完成各种应用的开发、编译与部署工作。快速启动项目。

2023-08-10 20:43:42 10978 110

原创 Mac提示文件:已损坏,无法打开。你应该把它移到废纸篓

其中软件路径:打开 “访达”(Finder)进入 “应用程序” 目录,找到该软件图标,将图标拖到刚才的终端窗口里面。打开下载的软件,显示已经损坏,打不开。抛开软件本身的问题外,一般是Mac系统对于非认证的第三方软件限制很严格。苹果已经取消了允许“任何来源”的选项。如果不启用“任何来源”的选项,那第三方软件很有可能会受到影响。我的是新版的Venture 13的系统。与之前的配置还是有很大的区别的。打开系统自带的终端执行以下命令。如果还不行,执行一下命令。

2023-08-03 22:59:12 14211 16

原创 面试—Redis相关

Redis的数据持久化策略有哪些什么是缓存穿透,怎么解决什么是布隆过滤器什么是缓存击穿,怎么解决什么是缓存雪崩,怎么解决redis双写问题Redis分布式锁如何实现Redis实现分布式锁如何合理的控制锁的有效时长Redis的数据过期策略有哪些Redis的数据淘汰策略有哪些其它面试题Redis集群有哪些方案, 知道嘛什么是 Redis 主从同步你们使用Redis是单点还是集群?哪种集群Redis分片集群中数据是怎么存储和读取的redis集群脑裂。

2023-07-24 20:59:33 716 10

原创 Spring Cloud Hystrix简单实用

Hystrix,英文意思是豪猪,全身是刺,刺是一种保护机制。Hystrix也是Netflflix公司的一款组件。Hystrix是什么?在分布式环境中,许多服务依赖项中的部分服务必然有概率出现失败。Hystrix是一个库,通过添加延迟和容错逻辑,来帮助你控制这些分布式服务之间的交互。Hystrix通过隔离服务之间的访问点阻止级联失败,通过提供回退选项来实现防止级联出错。提高了系统的整体弹性。与Ribbon并列,也几乎存在于每个Spring Cloud构建的微服务和基础设施中。

2023-07-15 14:54:49 1540 6

原创 Java常用数据库列表

它具有快速的读写速度、丰富的数据结构和灵活的功能,使得开发人员能够构建高性能、可扩展和可靠的应用程序。多语言支持:Kafka提供了针对多种编程语言的客户端API,如Java、Python、Go等,使开发者可以使用自己熟悉的语言与Kafka进行交互。它可以将常用的数据存储在内存中,以加快数据访问速度。它具有快速的索引算法、高效的查询处理和优化器,能够处理大量的数据和高并发访问。键值存储:Redis使用键值对来存储数据,其中键是唯一的标识符,值可以是字符串、哈希表、列表、集合、有序集合等多种数据结构。

2023-06-30 23:33:06 2650

原创 大数据技术栈列表

Flink是一个开源的流式数据处理和批处理框架,旨在处理大规模的实时数据和离线数据。它提供了一个统一的系统,能够高效地处理连续的数据流,并具备容错性和低延迟的特点。Flink的设计目标是在一个系统中同时支持流式数据处理和批处理,以满足不同类型的数据处理需求。它的核心概念是有向无环图(DAG),通过将数据处理作业表示为一系列操作符和数据流的有向图,实现了灵活的数据处理流程。Flink支持各种数据源和数据接收器,包括消息队列(如Apache Kafka)、文件系统(如HDFS)、数据库和套接字等。

2023-06-30 23:20:42 2247

原创 Redisson分布式锁最基础内容

官网地址: https://redisson.orgGitHub地址: https://github.com/redisson/redissonRedisson是一å个在Redis的基础上实现的Java驻内存数据网格(In-Memory Data Grid)。它不仅提供了一系列的分布式的Java常用对象,还提供了许多分布式服务,其中就包含了各种分布式锁的实现。

2023-06-30 00:38:09 334 6

原创 Redis最基础内容

Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。Redis不仅仅支持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储。Redis支持数据的备份,即master-slave模式的数据备份。SpringDataRedis中提供了RedisTemplate工具类,其中封装了各种对Redis的操作。API返回值类型说明操作String类型数据操作Hash类型数据操作List类型数据操作Set类型数据。

2023-06-30 00:32:23 486 2

原创 Python最基础语法

3.7.3。

2023-06-30 00:20:58 10304 4

原创 Flink中时间和窗口

如图所示,在事件发生之后,生成的数据被收集起来,首先进入分布式消息队列,然后被 Flink 系统中的 Source 算子读取消费,进而向下游的转换算子(窗口算子)传递,最终由窗口算子进行计算处理。​ 有两个非常重要的时间点:一个是数据产生的时间,我们把它叫作“事件时间”(Event Time);另一个是数据真正被处理的时刻,叫作“处理时间”(Processing Time)。我们所定义的窗口操作,到底是以那种时间作为衡量标准,就是所谓的“时间语义”(Notions of Time)。

2023-06-28 22:28:52 10301 7

AIGC+软件开发新范式(阿里巴巴)

AIGC+软件开发新范式(阿里巴巴)

2024-05-20

Hive常用的基础函数

Hive常用的基础函数

2023-11-18

Hive常用建表SQL

Hive的建表SQL

2023-11-18

文件整理内容整理数据的内容

文件整理内容整理数据的内容

2023-09-13

Yarn资源调用demo案例

Yarn资源调用demo案例

2023-09-05

AndroidFileTransfer.zip

Mac连接安卓工具包

2023-08-27

wework加密Demo

wework加密Demo

2023-08-20

K8S的结构图 包括个结构

K8S的结构图 包括个结构

2023-08-08

面试-Redis相关的配套资料

面试-Redis相关的配套资料

2023-07-24

kube-flannel.yml.zip

K8s集群安装配置文件

2023-06-28

tidb.tar.gz

Tidb数据库安装配置文件 https://blog.csdn.net/lydms/article/details/130877127

2023-05-25

HikariCP.xmind

HikariCP.xmind

2023-05-24

入参校验的案例代码请求

入参校验的案例代码请求 http://t.csdn.cn/wxzlN

2023-05-18

TIdb安装文档,pdf版本

TIdb安装文档,pdf版本

2023-05-13

Ldap客户端 2.zip

ldap连接工具 http://t.csdn.cn/vjRW8

2023-05-13

深拷贝.xmind的内容整理

深拷贝.xmind的内容整理 文章地址: http://t.csdn.cn/yUmyP

2023-05-12

lombok内容的整理

lombok内容的整理 文章地址: http://t.csdn.cn/GsTEw

2023-04-28

tostring和遍历.xmind

Java中的tostring和遍历

2023-04-17

python-3.8.3-中文文档的副本.zip

python-3.8.3-中文文档的副本.zip

2023-04-12

Stream流的使用整理

Stream流的使用整理。 地址: https://blog.csdn.net/lydms/article/details/13

2023-04-09

maven相关整理maven相关整理

https://blog.csdn.net/lydms/article/details/128818684

2023-01-31

完成测试文件包(Docker+Jdk+jar)demo-docker.tar.gz

完成测试文件包(Docker+Jdk+jar)demo-docker.tar.gz

2022-10-31

自定义docker测试文件:demo-docker.jar

自定义docker镜像

2022-10-31

elasticsearch-analysis-ik-7.2.0.zip

elasticsearch-analysis-ik-7.2.0.zip

2022-08-01

Elasticsearch Head 0.3.crx.zip

Elasticsearch Head 0.3.crx.zip

2022-08-01

Aliyun_maven配置

Aliyun_maven配置

2022-07-21

RabbitMQ.zip

RabbitMQ.zip

2022-06-21

CronExpBuilder(表达式生成器) .jar.zip

生成corn表达式的Jar包。

2022-06-14

Ldap客户端.zip

Ldap客户端.zip

2022-06-13

Arthas.xmind

博客地址: https://blog.csdn.net/lydms/article/details/125238249 Xmind整理: https://download.csdn.net/download/weixin_44624117/8561266 相关资料: https://download.csdn.net/download/weixin_44624117/85612648

2022-06-11

资料-线上问题排查利器-Alibaba Arthas.zip

博客地址: https://blog.csdn.net/lydms/article/details/125238249 Xmind整理: https://download.csdn.net/download/weixin_44624117/8561266 相关资料: https://download.csdn.net/download/weixin_44624117/85612648

2022-06-11

Eureka代码.zip

Eureka测试代码。

2022-05-27

POIUtils.zip

Apache POI 工具类。 博客地址:https://blog.csdn.net/lydms/article/details/103726914

2022-05-20

swagger-demo.zip

Swagger2的源码文件。 文章地址: https://blog.csdn.net/lydms/article/details/124741642

2022-05-12

雪花算法IdWorker.java

雪花算法IdWorker.java

2022-05-10

安装Windows RabbitMQ.pdf

安装Windows RabbitMQ.pdf

2022-05-10

nacos-discovery.zip

Nacos服务发现的代码。初始化最简单,最基础的代码。

2022-04-29

redis配置文件(单机版),主从、哨兵、集群配置

redis配置文件: 1、单机版。 2、主从配置文件 3、哨兵配置文件 4、集群配置文件。

2022-04-22

新建Redis配置文件(redis.conf)

初始化Redis配置文件。新建项目后系统默认的Redis配置文件。

2022-03-31

Comparator比较使用

各种方法的使用简介。

2022-03-11

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除