自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(256)
  • 资源 (51)
  • 问答 (5)
  • 收藏
  • 关注

原创 Hadoop集群搭建

Hadoop官方网站:http://hadoop.apache.org/Hadoop运行模式包括:本地模式、伪分布式模式以及完全分布式模式。本地模式:单机运行,只是用来演示一下官方案例。生产环境不用。伪分布式模式:也是单机运行,但是具备Hadoop集群的所有功能,一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试,生产环境不用。完全分布式模式:多台服务器组成分布式环境。生产环境使用。

2023-02-09 22:00:00 19815 211

原创 Elasticsearch简介及安装

一、Elasticsearch简介二、软件安装

2022-08-01 20:45:05 12744 56

原创 10分钟让你掌握Linux常用命令(+3万+++收藏)

1、目录操作。2、文件操作。3、文件内容操作。4、压缩和解压缩。5、日志查看。6、Linux下文件的详细信息。7、常用的docker容器的命令。8、其他命令。

2019-09-25 15:38:43 695545 310

原创 我的创作纪念日

希望可以和更多的一起学习的朋友,共同进步,收获更多的好朋友。提示:你过去写得最好的一段代码是什么?提示:当前创作和你的工作、学习是什么样的关系。提示:在创作的过程中都有哪些收获。

2024-05-19 22:01:24 289 1

原创 Python常见数据类型处理

*不可变数据(3 个):**Number(数字)、String(字符串)、Tuple(元组);**可变数据(3 个):**List(列表)、Dictionary(字典)、Set(集合)。布尔类型可以用来控制程序的流程,比如判断某个条件是否成立,或者在某个条件满足时执行某段代码。在 Python 中,True 和 False 都是关键字,表示布尔值。转义特殊字符,如果你不想让反斜杠发生转义,可以在字符串前面添加一个。Python的元组与列表类似,不同之处在于元组的元素不能修改。Python3 中,

2024-05-19 21:54:13 1138

原创 HBase整合Phoenix

1)官网地址:http://phoenix.apache.org/Phoenix是HBase的开源SQL皮肤。可以使用标准JDBC API代替HBase客户端API来创建表,插入数据和查询HBase数据。优点:使用简单,直接能写sql。缺点:效率没有自己设计rowKey再使用API高,性能较差。

2023-12-03 19:58:19 10860 38

原创 一篇文章完成Hbase入门

HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。

2023-11-25 15:32:17 10843 17

原创 Hive函数

窗口函数不同于我们熟悉的常规函数及聚合函数,它输入多行数据(一个窗口),为每行数据进行一次计算,返回一个值。灵活运用窗口函数可以解决很多复杂的问题,如去重、排名、同比及和环比、连续登录等。**内置函数:**Hive自带的函数。**自定义函数:**当Hive提供的内置函数无法满足你的业务处理需要时。可以自己定义一些函数。: 一进一出。:聚合函数,多进一出,类似:count/max/min:炸裂函数,一进多出,如:explode()Hive不会强制要求将数据转换成特定的格式才能使用。

2023-11-18 20:38:09 8731 18

原创 看完就会的Flink基础API

执行环境、数据源(source)、转换操作(transformation)、输出(sink)四大部分getExecutionEnvironment( )最简单的方式,就是直接调用 getExecutionEnvironment 方法。它会根据当前运行的上下文直接得到正确的结果:如果程序是独立运行的,就返回一个本地执行环境;如果是创建了 jar包,然后从命令行调用它并提交到集群执行,那么就返回集群的执行环境。也就是说,这个方法会根据当前运行的方式,自行决定该返回什么样的运行环境。这种“智能”的方式不需要我们

2023-11-10 08:00:00 10030 7

原创 SparkSQL

一、概述二、Spark SQL编程三、SparkSQL数据加载和保存

2023-11-03 19:41:38 10532 8

原创 Spark-Core

一、RDD 编程二、累加器三、广播变量

2023-10-24 16:56:09 9456 10

原创 Spark简介

部署Spark集群大体上分为两种模式:单机模式与集群模式大多数分布式框架都支持单机模式,方便开发者调试框架的运行环境。

2023-10-22 16:46:32 10714 28

原创 Yarn基础入门

那么在YARN中,我们用DRF来决定如何调度:假设集群一共有100 CPU和10T 内存,而应用A需要(2 CPU, 300GB),应用B需要(6 CPU,100GB)。则两个应用分别需要A(2%CPU, 3%内存)和B(6%CPU, 1%内存)的资源,这就意味着A是内存主导的, B是CPU主导的,针对这种情况,我们可以选择DRF策略对不同应用进行不同资源(CPU和内存)的一个不同比例的限制。但是很多时候我们资源有很多种,例如内存,CPU,网络带宽等,这样我们很难衡量两个应用应该分配的资源比例。

2023-10-13 20:53:34 11157 18

原创 HDFS最基础使用

Hadoop中核心的数据存储管理,HDFS的内容基础讲解入门。

2023-10-03 16:17:27 8978 12

原创 Scala最基础入门教程

Scala的最基础教程,学完以后,能胜任80%的开发场景,基本控制在2~3个小时阅读时间。

2023-09-29 00:00:00 11252 3

原创 Flume最简单使用

Flume最简单使用教程

2023-09-23 22:16:31 10671 3

原创 面试题整理

面试题整理。

2023-09-21 23:53:15 327 2

原创 zookeeper最基础教程

官方地址:https://zookeeper.apache.org/Zookeeper是一个开源的分布式的,为分布式框架提供协调服务的Apache项目。Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。

2023-09-16 17:24:34 11024 8

原创 Yarn资源调度器

文章目录一、Yarn资源调度器1、架构2、Yarn工作机制3、HDFS、YARN、MR关系4、作业提交之HDFS&MapReduce二、Yarn调度器和调度算法1、先进先出调度器(FIFO)2、容量调度器(Capacity Scheduler)3、公平调度器(Fair Scheduler)3.1 调度器原理3.22 资源分配方式三、修改Yarn集群1、Yarn配置2、多队列提交3、向集群中提交任务一、Yarn资源调度器Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布

2023-09-06 18:01:57 10369 7

原创 Spark-Core核心算子

Spark-Core中1、数据源获取。2、转换算子。3、行动算子

2023-09-03 18:55:35 10184 31

原创 illegal cyclic inheritance involving trait Iterable_2种解决方式

将maven打包的方式,改为Scala的打包方式,初始化创建的时候,都是maven的打包,也就是默认Java的,还是需要更换为Scala的打包方式。可以选择降低Scala的版本,可以解决一定的问题。

2023-08-28 19:33:54 9002 2

原创 Spark 启动时,报JAVA_HOME is not set

配置Java的环境变量。

2023-08-25 21:02:54 1700 6

原创 企微配置回调服务

什么时候需要回调服务在集成企业微信与内部系统时,我们往往需要搭建一个回调服务。自定义丰富的服务行为。比如,用户向应用发消息时,识别消息关键词,回复不同的消息内容;用户点击应用菜单时,转化为指令,执行自动化任务。可以及时获取到状态变化。比如,通讯录发生变化时,不需要定时去拉取通讯录对比,而是实时地获取到变化的通讯录结点,进行同步。企业微信会先判断URL服务是否具备解析企业微信推送消息的能力。

2023-08-19 23:16:53 11933

原创 【腾讯云 Cloud Studio 实战训练营】使用Cloud Studio构建Java、Python项目

官网Cloud Studio 是基于浏览器的集成式开发环境(IDE),为开发者提供了一个永不间断的云端工作站。用户在使用 Cloud Studio 时无需安装,随时随地打开浏览器就能在线编程。Cloud Studio 作为在线 IDE,包含代码高亮、自动补全、Git 集成、终端等 IDE 的基础功能,同时支持实时调试、插件扩展等,可以帮助开发者快速完成各种应用的开发、编译与部署工作。快速启动项目。

2023-08-10 20:43:42 10526 109

原创 Mac提示文件:已损坏,无法打开。你应该把它移到废纸篓

其中软件路径:打开 “访达”(Finder)进入 “应用程序” 目录,找到该软件图标,将图标拖到刚才的终端窗口里面。打开下载的软件,显示已经损坏,打不开。抛开软件本身的问题外,一般是Mac系统对于非认证的第三方软件限制很严格。苹果已经取消了允许“任何来源”的选项。如果不启用“任何来源”的选项,那第三方软件很有可能会受到影响。我的是新版的Venture 13的系统。与之前的配置还是有很大的区别的。打开系统自带的终端执行以下命令。如果还不行,执行一下命令。

2023-08-03 22:59:12 9760 16

原创 面试—Redis相关

Redis的数据持久化策略有哪些什么是缓存穿透,怎么解决什么是布隆过滤器什么是缓存击穿,怎么解决什么是缓存雪崩,怎么解决redis双写问题Redis分布式锁如何实现Redis实现分布式锁如何合理的控制锁的有效时长Redis的数据过期策略有哪些Redis的数据淘汰策略有哪些其它面试题Redis集群有哪些方案, 知道嘛什么是 Redis 主从同步你们使用Redis是单点还是集群?哪种集群Redis分片集群中数据是怎么存储和读取的redis集群脑裂。

2023-07-24 20:59:33 638 10

原创 Spring Cloud Hystrix简单实用

Hystrix,英文意思是豪猪,全身是刺,刺是一种保护机制。Hystrix也是Netflflix公司的一款组件。Hystrix是什么?在分布式环境中,许多服务依赖项中的部分服务必然有概率出现失败。Hystrix是一个库,通过添加延迟和容错逻辑,来帮助你控制这些分布式服务之间的交互。Hystrix通过隔离服务之间的访问点阻止级联失败,通过提供回退选项来实现防止级联出错。提高了系统的整体弹性。与Ribbon并列,也几乎存在于每个Spring Cloud构建的微服务和基础设施中。

2023-07-15 14:54:49 1329 6

原创 Java常用数据库列表

它具有快速的读写速度、丰富的数据结构和灵活的功能,使得开发人员能够构建高性能、可扩展和可靠的应用程序。多语言支持:Kafka提供了针对多种编程语言的客户端API,如Java、Python、Go等,使开发者可以使用自己熟悉的语言与Kafka进行交互。它可以将常用的数据存储在内存中,以加快数据访问速度。它具有快速的索引算法、高效的查询处理和优化器,能够处理大量的数据和高并发访问。键值存储:Redis使用键值对来存储数据,其中键是唯一的标识符,值可以是字符串、哈希表、列表、集合、有序集合等多种数据结构。

2023-06-30 23:33:06 1856

原创 大数据技术栈列表

Flink是一个开源的流式数据处理和批处理框架,旨在处理大规模的实时数据和离线数据。它提供了一个统一的系统,能够高效地处理连续的数据流,并具备容错性和低延迟的特点。Flink的设计目标是在一个系统中同时支持流式数据处理和批处理,以满足不同类型的数据处理需求。它的核心概念是有向无环图(DAG),通过将数据处理作业表示为一系列操作符和数据流的有向图,实现了灵活的数据处理流程。Flink支持各种数据源和数据接收器,包括消息队列(如Apache Kafka)、文件系统(如HDFS)、数据库和套接字等。

2023-06-30 23:20:42 1787

原创 Redisson分布式锁最基础内容

官网地址: https://redisson.orgGitHub地址: https://github.com/redisson/redissonRedisson是一å个在Redis的基础上实现的Java驻内存数据网格(In-Memory Data Grid)。它不仅提供了一系列的分布式的Java常用对象,还提供了许多分布式服务,其中就包含了各种分布式锁的实现。

2023-06-30 00:38:09 266 6

原创 Redis最基础内容

Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。Redis不仅仅支持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储。Redis支持数据的备份,即master-slave模式的数据备份。SpringDataRedis中提供了RedisTemplate工具类,其中封装了各种对Redis的操作。API返回值类型说明操作String类型数据操作Hash类型数据操作List类型数据操作Set类型数据。

2023-06-30 00:32:23 409 2

原创 Python最基础语法

3.7.3。

2023-06-30 00:20:58 10237 4

原创 Flink中时间和窗口

如图所示,在事件发生之后,生成的数据被收集起来,首先进入分布式消息队列,然后被 Flink 系统中的 Source 算子读取消费,进而向下游的转换算子(窗口算子)传递,最终由窗口算子进行计算处理。​ 有两个非常重要的时间点:一个是数据产生的时间,我们把它叫作“事件时间”(Event Time);另一个是数据真正被处理的时刻,叫作“处理时间”(Processing Time)。我们所定义的窗口操作,到底是以那种时间作为衡量标准,就是所谓的“时间语义”(Notions of Time)。

2023-06-28 22:28:52 9887 7

原创 K8S常用命令

一个kubernetes集群主要是由控制节点(master)、**工作节点(node)**构成,每个节点上都会安装不同的组件。master:集群的控制平面,负责集群的决策 ( 管理 )ApiServer: 资源操作的唯一入口,接收用户输入的命令,提供认证、授权、API注册和发现等机制Scheduler: 负责集群资源调度,按照预定的调度策略将Pod调度到相应的node节点上: 负责维护集群的状态,比如程序部署安排、故障检测、自动扩展、滚动更新等**Etcd **:负责存储集群中各种资源对象的信息。

2023-06-28 22:18:56 4585 2

原创 K8S集群安装

kubernetes和docker在运行中会产生大量的iptables规则,为了不让系统规则跟它们混淆,直接关闭系统的规则。在kubernetes中service有两种代理模型,一种是基于iptables的,一种是基于ipvs的。selinux是linux系统下的一个安全服务,如果不关闭它,在安装集群中会产生各种各样的奇葩问题。swap分区指的是虚拟内存分区,它的作用是在物理内存使用完之后,将磁盘空间虚拟成内存来使用。由于kubernetes的镜像源在国外,速度比较慢,这里切换成国内的镜像源。

2023-06-28 20:26:54 1026 6

原创 Kafka最基础使用

这样可以明显减少系统资源的浪费,例如:之前consumer0、consumer1之前正在消费某几个分区,但由于rebalance发生,导致consumer0、consumer1需要重新消费之前正在处理的分区,导致不必要的系统开销。但是低级API,比较复杂,需要执行控制offset,连接到哪个分区,并找到分区的leader。按key分配策略,有可能会出现「数据倾斜」,例如:某个key包含了大量的数据,因为key值一样,所有所有的数据将都分配到一个分区中,造成该分区的消息数量远大于其他的分区。

2023-06-26 10:38:02 4868 4

原创 原生Jdbc获取库、表、字段

JDBC(Java Database Connectivity)是一个独立于特定数据库管理系统、通用的SQL数据库存取和操作的公共接口(一组API),定义了用来访问数据库的标准Java类库,()使用这些类库可以以一种标准的方法、方便地访问数据库资源。JDBC为访问不同的数据库提供了一种统一的途径,为开发者屏蔽了一些细节问题。JDBC的目标是使Java程序员使用JDBC可以连接任何提供了JDBC驱动程序。

2023-06-21 22:58:26 10624 2

原创 1、计算机网络核心

Source Port:源端口。Destination Port:目标端口。Length:数据包长度。Checksum:奇偶校验值。Data octets:用户数据。面向非连接。不维护连接状态,支持同时向多个客户端传输相同的消息。数据包报头只有8个字节,额外开销较小。吞吐量只受限于数据生成速率、传输速率以及机器性能。尽最大努力交付,不保证可靠交付,不需要维持复杂的链接状态表。面向报文,不对应用程序提交的报文信息进行拆分或者合并。结论:TCP用来保证可靠性和有序性。

2023-06-21 00:37:53 7843 6

原创 2、数据库相关

当我们去执行快照读select时候,会针对我们select的数据创建出一个read view,来决定当前事务能看到的是哪个版本的数据,可能是当前最新版本的数据,也可能是undoLog中某个版本的数据,read view遵循一个可见性算法,将要修改的数据的DB_TRX_ID取出来,与系统其它活跃事务id做对比,如果大于或者等于这些事务id的话,就通过DB_ROLL_PTR去取出undoLog上一层的DB_TRX_ID,直到小于这些活跃事务id为止,这样就保证了我们获取到的事务版本是当前的最稳定的版本。

2023-06-21 00:36:08 501

原创 Redis

如果有多个调用者同时要求相同资源(如内存或磁盘上的数据存储),他们会共同获取相同的指针指向相同的资源,直到某个调用者试图修改资源的内容时,系统才会真正复制份专用副本给该调用者,而其他调用者所见到的最初的资源仍然保持不变。Object C本来应该存到Node C,但是Node C宕机,则会存到Node D中,只需要重新定位环中的一小部分问题,最小化的有损服务。一个设置分布式锁的代码,错误的,2个原子性操作,分布执行,整体不一定为原子性。消息的发布是无状态的,无法保证可达,(发布时不在线,则无法接收)

2023-06-21 00:35:15 1060 4

AIGC+软件开发新范式(阿里巴巴)

AIGC+软件开发新范式(阿里巴巴)

2024-05-20

Hive常用的基础函数

Hive常用的基础函数

2023-11-18

Hive常用建表SQL

Hive的建表SQL

2023-11-18

文件整理内容整理数据的内容

文件整理内容整理数据的内容

2023-09-13

Yarn资源调用demo案例

Yarn资源调用demo案例

2023-09-05

AndroidFileTransfer.zip

Mac连接安卓工具包

2023-08-27

wework加密Demo

wework加密Demo

2023-08-20

K8S的结构图 包括个结构

K8S的结构图 包括个结构

2023-08-08

面试-Redis相关的配套资料

面试-Redis相关的配套资料

2023-07-24

kube-flannel.yml.zip

K8s集群安装配置文件

2023-06-28

tidb.tar.gz

Tidb数据库安装配置文件 https://blog.csdn.net/lydms/article/details/130877127

2023-05-25

HikariCP.xmind

HikariCP.xmind

2023-05-24

入参校验的案例代码请求

入参校验的案例代码请求 http://t.csdn.cn/wxzlN

2023-05-18

TIdb安装文档,pdf版本

TIdb安装文档,pdf版本

2023-05-13

Ldap客户端 2.zip

ldap连接工具 http://t.csdn.cn/vjRW8

2023-05-13

深拷贝.xmind的内容整理

深拷贝.xmind的内容整理 文章地址: http://t.csdn.cn/yUmyP

2023-05-12

lombok内容的整理

lombok内容的整理 文章地址: http://t.csdn.cn/GsTEw

2023-04-28

tostring和遍历.xmind

Java中的tostring和遍历

2023-04-17

python-3.8.3-中文文档的副本.zip

python-3.8.3-中文文档的副本.zip

2023-04-12

Stream流的使用整理

Stream流的使用整理。 地址: https://blog.csdn.net/lydms/article/details/13

2023-04-09

maven相关整理maven相关整理

https://blog.csdn.net/lydms/article/details/128818684

2023-01-31

完成测试文件包(Docker+Jdk+jar)demo-docker.tar.gz

完成测试文件包(Docker+Jdk+jar)demo-docker.tar.gz

2022-10-31

自定义docker测试文件:demo-docker.jar

自定义docker镜像

2022-10-31

elasticsearch-analysis-ik-7.2.0.zip

elasticsearch-analysis-ik-7.2.0.zip

2022-08-01

Elasticsearch Head 0.3.crx.zip

Elasticsearch Head 0.3.crx.zip

2022-08-01

Aliyun_maven配置

Aliyun_maven配置

2022-07-21

RabbitMQ.zip

RabbitMQ.zip

2022-06-21

CronExpBuilder(表达式生成器) .jar.zip

生成corn表达式的Jar包。

2022-06-14

Ldap客户端.zip

Ldap客户端.zip

2022-06-13

Arthas.xmind

博客地址: https://blog.csdn.net/lydms/article/details/125238249 Xmind整理: https://download.csdn.net/download/weixin_44624117/8561266 相关资料: https://download.csdn.net/download/weixin_44624117/85612648

2022-06-11

资料-线上问题排查利器-Alibaba Arthas.zip

博客地址: https://blog.csdn.net/lydms/article/details/125238249 Xmind整理: https://download.csdn.net/download/weixin_44624117/8561266 相关资料: https://download.csdn.net/download/weixin_44624117/85612648

2022-06-11

Eureka代码.zip

Eureka测试代码。

2022-05-27

POIUtils.zip

Apache POI 工具类。 博客地址:https://blog.csdn.net/lydms/article/details/103726914

2022-05-20

swagger-demo.zip

Swagger2的源码文件。 文章地址: https://blog.csdn.net/lydms/article/details/124741642

2022-05-12

雪花算法IdWorker.java

雪花算法IdWorker.java

2022-05-10

安装Windows RabbitMQ.pdf

安装Windows RabbitMQ.pdf

2022-05-10

nacos-discovery.zip

Nacos服务发现的代码。初始化最简单,最基础的代码。

2022-04-29

redis配置文件(单机版),主从、哨兵、集群配置

redis配置文件: 1、单机版。 2、主从配置文件 3、哨兵配置文件 4、集群配置文件。

2022-04-22

新建Redis配置文件(redis.conf)

初始化Redis配置文件。新建项目后系统默认的Redis配置文件。

2022-03-31

Comparator比较使用

各种方法的使用简介。

2022-03-11

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除