- 博客(181)
- 资源 (15)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 10.Docker Compose容器编排
docker建议我们每一个容器中只运行一个服务,因为docker容器本身占用资源极少,所以最好是将每个服务单独的分割开来。但是这样我们又面临以下问题： 如果我需要同时部署好多个服务,那么每个服务需要单独编写Dockerfile文件、构建镜像、构建容器等步骤，非常麻烦。所以docker官方给我们提供了docker-compose多服务部署的工具。
2024-06-16 00:41:00
1163
2
原创 9.Docker网络
容器间的互联和通信以及端口映射容器IP变动时候可以通过服务名直接进行网络通信而不受到影响（下面例子证明）在CentOS7的安装过程中如果有选择相关虚拟化的的服务安装系统后，启动网卡时会发现有一个以网桥连接的私网地址的virbr0网卡(virbr0网卡：它还有一个固定的默认IP地址192.168.122.1)，是做虚拟机网桥的使用的，其作用是为连接其上的虚机网卡提供 NAT访问外网的功能。docker0：bridge模式对应的名称默认为docker0.自己创建一个network并使用。
2024-05-22 18:13:06
1185
原创 8.Docker微服务实战
修改 resource下application.properties配置文件。选择需要的配置或者直接在pom文件中手动添加。DockerApplication启动类。创建空项目并在其中创建一个Module。OrderController业务类。,这样可以使用jdk8。编写Dockerfile。打jar包上传至节点。
2024-05-19 23:29:35
775
2
原创 7.使用Dockerfile构建镜像
Dockerfile是用来构建Docker镜像的文本文件，是由一条条构建镜像所需的指令和参数构成的配置文件脚本。Dockerfile定义了进程需要的一切东西。Dockerfile涉及的内容包括执行代码或者是文件、环境变量、依赖包、运行时环境、动态链接库、操作系统的发行版、服务进程和内核进程等等。Dockerfile官网详解创建镜像的方式以及镜像和容器的关系如下图所示：编写Dockerfile文件docker build 命令构建镜像docker run以镜像运行容器实例。
2024-05-17 15:18:03
865
原创 6.5.Docker数据管理和端口映射应用
接下来通过挂在容器卷实现容器移除后再次重启容器数据维持不变。把webapps.dist目录换成webapps,再次访问localhost：8080，访问成功。修改字符集操作后，重启mysql容器再次查看字符集编码并测试插入中文。可以在Dockerhub中查看容器如何使用，包括拉取和启动等。本次绑定了数据卷，因此移除容器后再次重启容器，数据依然存在。新建my.cnf，通过容器卷同步给mysql容器实例。-p 小写，主机端口：docker容器端口。
2024-05-10 00:47:07
928
原创 5.Docker数据管理
数据卷机制为数据管理提供了方便的操作支持。通过数据卷和数据卷容器对容器内的数据进行共享、备份和恢复等操作， 这些机制即使容器在运行中出现故障，用户也不必担心数据发生丢失， 只需要快速地重新创建容器即可。 在生产环境中推荐在使用数据卷或数据卷容器之外，定期将主机的本地数据进行备份， 或者使用支持容错的存储系统， 包括 RAID 或分布式文件系统。 另外， 有些时候不希望将数据保存在宿主机或容器中， 还可以使用 tmpfs类型的数据卷， 其中数据只存在内存中， 容器退出后自动删除。
2024-05-07 22:58:33
971
原创 6.Docker端口映射与容器互联
连接系统依据容器的名称来执行。因此，首先需要自定义一个好记的容器命名。好记；当要连接其他容器时候,即便重启也可以使用容器名而不用改变。使用--name也可以使用/web容器的名称是唯一的。如果已经命名了一个叫web的容器，当你要再次使用web这个名称的时候，需要先用docker rm命令删除之前创建的同名容器。在执行docker [container] run 的时候如果添加–rm标记，则容器在终止后会立刻删除。注意，–rm 和-d参数不能同时使用。
2024-05-07 16:37:03
545
原创 4.Docker本地镜像发布至阿里云仓库、私有仓库、DockerHub
Docker仓库是集中存放镜像的地方，分为公共仓库和私有仓库。注册服务器是存放仓库的具体服务器，一个注册服务器上可以有多个仓库，而每个仓库下面可以有多个镜像。例如对于仓库地址private-docker.com/ubuntu来说，private-docker.com是注册服务器地址，ubuntu是仓库名。
2024-04-28 16:02:53
1677
原创 2.5.Docker镜像的分层结构
Docker中的镜像分层，支持通过扩展现有镜像，创建新的镜像。类似Java继承于一个Base基础类，自己再按需扩展。新镜像是从 base 镜像一层一层叠加生成的。每安装一个软件，就在现有镜像的基础上增加一层。
2024-04-27 22:51:35
639
原创 3.Docker常用镜像命令和容器命令详解
Docker运行容器前需要本地存在对应的镜像， 如果镜像不存在，Docker会尝试先从默认镜像仓库下载（默认使用Docker Hub公共注册服务器中的仓库），用户也可以通过配置，使用自定义的镜像仓库。可以使用 docker [image] pull命令直接从 Docker Hub 镜像源来下载镜像。命令格式：。OPTIONS参数:docker pull 镜像名称 docker pull 镜像名称:latest使用镜像代理服务来加速Docker镜像获取过程，可以在Docker服务启
2024-04-22 23:06:51
856
原创 2.核心概念与安装配置
Docker 利用容器（Container）独立运行的一个或一组应用，应用程序或服务运行在容器里面，容器就类似于一个虚拟化的运行环境，可以把容器看做是一个简易版的 Linux 环境（包括root用户权限、进程空间、用户空间和网络空间等）和运行在其中的应用程序。容器为镜像提供了一个标准的和隔离的运行环境，它可以被启动、开始、停止、删除。Docker 是一个 C/S 模式的架构，后端是一个松耦合架构，众多模块各司其职。官方的yum源安装docker比较慢, 我们配置国内比较快的yum源(阿里云)
2024-04-17 14:43:23
949
原创 1.初识Docker与容器
Docker是基于Go语言实现的开源容器项目。Docker是为解决了运行环境和配置问题的软件容器，方便做持续集成并有助与整体发布的容器虚拟化技术。通过镜像(images)将作业系统核心除外，运作应用程式所需要的系统环境，由下而上打包，达到应用程式跨平台间的无缝接轨运作。
2024-04-15 09:35:18
869
原创 Git基本命令和使用
在git中，“push -f”的意思是“强制更新”，是“push -force”的缩写，该命令的作用是将自己本地仓库的代码直接推送至仓库，完全以该命令提交为准，之前提交都会被覆盖。如果一个分支的内容是在另一个分支创建时生成的，那么在只修改一个分支相同文件相同位置的内容情况下，合并时将不会产出冲突。失败的分支删除重新开始即可。右键点击项目，可以将当前分支的内容push到Gitee的远程仓库中。右键点击项目，可以将远程仓库的内容pull到本地仓库。1）编辑有冲突的文件，删除特殊符号，决定要使用的内容。
2023-10-19 23:16:54
694
原创 Flink简介及部署模式
Spark 和 Flink 一开始都都希望能够用同一个技术把流处理和批处理统一起来，但他们走了完全不一样的两条路。前者是以批处理的技术为根本，并尝试在批处理之上支持流计算；后者则认为流计算技术是最基本的，在流计算的基础之上支持批处理。SparkFlink流批世界观一切都是由批次组成。离线数据是一个大批次；而实时数据是由一个一个无限的小批次组成的。一切都是由流组成。离线数据是有界限的流；实时数据是一个没有界限的流。计算模型微批处理模型（秒级），在批处理的基础上做流处理。
2023-07-20 22:05:45
1488
原创 7.Python基础之模块
模块本身就是一个文件，所有py代码都可以在文件中直接书写。不过我们开发共用模块时，最好在模块中书写以下内容。变量 模块中的属性值函数 单独的功能类 相似功能组合模块测试代码 临时使用，被导入时不会执行测试代码经常在开发模块时用于测试模块的功能，但是测试代码仅在开发和测试时使用，被当作模块导入时不希望测试代码运行。需要使用name特殊变量来操作。
2023-01-28 18:39:21
724
1
原创 6.Python基础之错误与异常处理
raise 异常对象class 异常类名(RuntimeError) : #定义用户抛出自定义异常对象时可以向对象中传入的内容信息（由用户自己决定） def __init__(self , errormsg . . .) : #接收用户创建对象时传入的错误信息，并且存入对象，方便后期使用 self . errormsg = errormsg #... pass。
2023-01-28 16:09:31
692
原创 个人对粗糙集的一些理解和简单举例
文章目录1、 数据价值密度低的解决方案1.1 粗糙集中对应的概念：属性约简1.2 属性约简的好处1.3 粗糙集的应用2、粗糙集的简介--->原理2.1 粗糙集的概念2.2 从例子看粗糙集2.3 粗糙集模型的分类及其评估标准3、粗糙集的主要研究方向3.1 模型创新3.2 属性约简3.3 提高计算效率大数据很重要，但是存在体量大、价值密度低的问题，我们该怎么解决1、 数据价值密度低的解决方案 在所有这些场景中，我们需要将信息缩减到可管理的大小。特征选择是一个过程，可用于选择一组精简的特征，这
2023-01-18 18:03:53
2450
原创 4.Python基础之函数
def 函数名() : pass#定义函数 def funName() : pass #此处编写功能代码 funName() #调用 '''注释：函数的特征：函数定义之后，不会自动执行，只会在调用的时候执行。不调用，不执行。'''
2023-01-16 14:45:42
477
原创 3.Python基础之流程控制
*for 变量 in 容器：**用于遍历容器类的数据(字符串，列表，元组，字典，集合)if条件表达式结果为真，则执行if之后所控制的代码组，如果为假，则不执行后面的代码组。双项分支有两个区间，分别是 True控制的if区间 和 False控制的else区间。if之后的代码中如果缩进不一致，则可能缩进不一致的代码不会受到if条件表达式的控制。while循环中的else是在while条件表达式为假的情况下执行的代码内容。执行完一个分支后，分支结构就会结束，后面的分支都不会判断，也不会执行。
2023-01-16 14:21:54
432
1
原创 正则表达式总结与应用
惰性匹配是从左侧第一个字符向右匹配，先看是否匹配，若不匹配，就加入右侧下一个字符再次尝试匹配。贪婪匹配是先看整体字符串是否匹配，如果不匹配，它会去掉字符串中的最后一个字符再次尝试匹配。跟在子串后，表示匹配前面的子串1次或0次，即前一字符可以存在也可以不存在，但是存在只能有一次；①正则表达式表示尽可能匹配最长的符合规则的内容，最终返回"")>表示尽可能匹配最短的符合规则的内容，最终返回""② . 与换行符外的字符都匹配，针对单字符。
2022-09-13 18:27:34
876
原创 DataX数据迁移问题记录：字段中存在\n导致数据混乱
datax的json配置文件改下就行了，在reader、writer层级加上代码替换字段中的\n。使用ORC格式可以解决，但是会导致mysql中的null值同步至HDFS会变成\N的问题。字段里面有代码，代码中有换行符\n，在hive中数据就乱了。
2022-09-07 10:24:52
1394
1
原创 [ClickHouse] 单机模式安装
单机模式官网：https://clickhouse.yandex/下载地址：http://repo.red-soft.biz/repos/clickhouse/stable/el6/1.1 准备环境目的：充分开放读取文件次数vim /etc/security/limits.conf* soft nofile 65536* hard nofile 65536* soft nproc 131072* hard nproc 131072/etc/security/limits.d
2022-04-10 22:13:17
3059
原创 [ClickHouse] 初体验
文章目录1、ClickHouse的特点2、数据类型2.1 整型2.2 浮点型2.3 布尔型2.4 Decimal型2.5 字符串2.6 枚举类型2.7 时间类型2.8 数组3、表引擎3.1 TinyLog3.2 Memory3.3 MergeTree3.4 ReplacingMergeTree3.5 SummingMergeTree4、SQL操作4.1 Insert4.2 Update和Delete4.3 查询4.4 alter4.5 导出数据1、ClickHouse的特点列式存储：聚合：对于列
2022-04-08 20:49:43
476
原创 01.Flink简介、部署模式及其区别
文章目录1、Flink简介2、Flink部署2.1 Standalone模式部署2.2 Standalone模式下的高可用2.3 Yarn模式Yarn模式的高可用配置：yarn模式中三种子模式的区别：3、并行度4、提交命令执行指定任务5、注意事项1、Flink简介 Spark 和 Flink 一开始都都希望能够用同一个技术把流处理和批处理统一起来，但他们走了完全不一样的两条路。前者是以批处理的技术为根本，并尝试在批处理之上支持流计算；后者则认为流计算技术是最基本的，在流计算的基础之上支持批处理。通过
2022-04-02 22:41:08
3145
原创 Transformation转换算子
文章目录Transformation转换算子1、单Value类型map算子mapPartitions算子mapPartitionsWithIndex算子flatMap算子glom算子groupBy算子filter算子sample算子distinct算子coalesce算子repartition算子sortBy算子2、双Value类型算子交并差算子zip算子3、Key-Value类型算子partitionBy算子reduceByKey算子groupByKey算子aggregateByKey算子foldByKe
2022-02-11 21:07:16
824
原创 初始RDD
文章目录1、RDD介绍性质和特点RDD五大特性2、获取RDD的三种方式2.1 通过集合获取RDD分区算法2.2 从外部存储系统获取RDD分区算法1、RDD介绍RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象。性质和特点弹性存储的弹性：内存与磁盘的自动切换容错的弹性：数据丢失可以自动恢复计算的弹性：计算出错重试机制分片的弹性：可根据需要重新分片分布式数据存储在集群的不同节点上RDD不存储数据RDD仅
2022-02-09 08:55:11
191
原创 Spark集群的三种模式
文章目录1、Spark的由来1.1 Hadoop的发展1.2 MapReduce与Spark对比2、Spark内置模块3、Spark运行模式3.1 Standalone模式部署配置历史服务器配置高可用运行模式3.2 Yarn模式安装部署配置历史服务器运行模式4、WordCount案例1、Spark的由来定义：Hadoop主要解决，海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。1.1 Hadoop的发展Hadoop1.x存在的问题：Na
2022-02-08 20:24:50
2637
原创 Zookeeper内部原理
Zookeeper内部原理1、节点类型持久化目录节点持久化顺序编号目录节点临时目录节点临时顺序编号目录节点2、监听原理详解(面试重点)首先要有一个main()线程在main线程中创建Zookeeper客户端，这时就会创建两个线程，一个负责网络连接通信(connet) ，一个负责监听(listener)。通过connect线程将注册的监听事件发送给Zookeeper。在Zookeeper的注册监听器列表中将注册的监听事件添加到列表中。Zookeeper监听到有数据或路径变化，就会
2022-01-14 21:27:52
89
原创 客户端命令行操作
客户端命令行操作启动客户端bin/zkCli.sh命令基本语法功能描述help显示所有操作命令ls path使用 ls 命令来查看当前znode的子节点-w 监听子节点变化-s 附加次级信息create普通创建-s 含有序列-e 临时（重启或者超时消失）get path获得节点的值-w 监听节点内容变化-s 附加次级信息set设置节点的具体值stat查看节点状态delete删除节点deleteall递归删除节点
2022-01-14 21:00:54
413
原创 Scala（数据类型及其转换）
文章目录Scala简介1、Java代码与Scala代码的对比代码对比：2、变量和常量3、字符串输出3.1 使用双引号3.2 使用插值表达式3.3 使用三引号3.4 printf用法：字符串，通过%传值3.5 扩展: 惰性赋值4、键盘输入4.1 使用步骤4.2 示例5、数据类型6、 类型转换6.1 概述6.2 自动类型转换6.3 强制类型转换6.4 值类型和String类型之间的相互转换Scala简介 Scala是基于Java的，其将面向对象和函数式编程结合成一种简洁的高级语言。Scala的静态类型有
2022-01-14 20:29:26
2177
原创 单链表的增删改查(Java)
文章目录单链表的增删改查(Java)1、单链表的特点2、单链表的功能3、单链表的实现3.1 节点的构造3.2 链表的框架4、主体功能实现4.1 增加功能4.2 删除功能4.3 修改功能4.4 查询功能4.5 遍历功能5、main方法测试单链表的增删改查(Java)1、单链表的特点相较于数组，插入数据效率高，查询效率低、空间利用率低（因为指针域的存在）。2、单链表的功能节点的构造单链表的功能增：头插法、尾插法和在指定索引位置插入增：有序链表删：删除指定索引节点和删除所有指定值的节点改：
2022-01-13 22:11:43
608
2
原创 DataX优化
1、速度控制 DataX3.0提供了包括通道(并发)、记录流、字节流三种流控模式，可以随意控制你的作业速度，让你的作业在数据库可以承受的范围内达到最佳的同步速度。关键优化参数如下：参数说明job.setting.speed.channel总并发数job.setting.speed.record总record限速job.setting.speed.byte总byte限速core.transport.channel.speed.record单个channe
2022-01-11 21:05:54
2579
原创 DataX的简单应用
文章目录1、DataX模板2、同步Mysql数据到HDFS案例2.1 MySQLReader之TableMode提交任务测试2.2 MySQLReader之QuerySQLMode提交任务测试3、同步HDFS数据到Mysql案例提交任务测试4、DataX传参案例提交任务测试1、DataX模板方式一：DataX配置文件模板python bin/datax.py -r mysqlreader -w hdfswriter方式二：官方文档https://github.com/alibaba/DataX/
2022-01-11 20:56:21
1052
原创 Maxwell：异构数据源实时同步工具
Maxwell：异构数据源实时同步工具文章目录Maxwell：异构数据源实时同步工具1、概述2、原理解析2.1 Mysql主从复制3、Maxwell安装部署4、增量数据同步5、历史数据全量同步5.1 Maxwell-bootstrap1、概述 Maxwell:实时监控Mysql数据库的数据变更操作（包括insert、update、delete），并将变更数据以 JSON 格式发送给 Kafka、Kinesi等流数据处理平台。 Maxwell的工作原理是实时读取MySQL数据库的二进制日志（B
2022-01-11 19:20:13
5065
原创 DataX：异构数据源离线同步工具
DataX：异构数据源离线同步工具DataX实现了包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。类型数据源Reader(读)Writer(写)RDBMS 关系型数据库MySQL√√Oracle√√OceanBase√√SQLServer√√PostgreSQL√√DRDS√√通用RDBMS√√阿里云数仓数
2022-01-10 18:55:37
613
原创 HBase与Hive的集成
文章目录HBase与Hive的集成1、HBase与Hive的对比2、HBase与Hive集成使用案例一：(不常见，为案例二做准备)案例二：HBase中已经存储了某一张表，在Hive中创建一个外部表来关联HBase中的这张表HBase与Hive的集成1、HBase与Hive的对比Hive数据仓库：Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系，以方便使用HQL去管理查询。用于数据分析、清洗：Hive适用于离线的数据分析和清洗，延迟较高。基于HDFS、MapR
2022-01-06 20:49:27
1589
5
原创 Phoenix二级索引
文章目录Phoenix二级索引1、基础配置2、全局索引(Global index)准备存在的不足3、包含索引4、本地索引Phoenix二级索引1、基础配置二级索引配置文件hbase-site.xml<!-- phoenix regionserver 配置参数--> <property> <name>hbase.regionserver.wal.codec</name> <value>org.ap
2022-01-06 20:47:34
536
原创 Phoenix JDBC API
文章目录Phoenix JDBC1、胖客户端2、瘦客户端Phoenix JDBC1、胖客户端maven依赖<dependencies> <dependency> <groupId>org.apache.phoenix</groupId> <artifactId>phoenix-core</artifactId> <version>5.0.0-HBase-2.
2022-01-06 20:43:38
434
Chrome浏览器翻译插件的名字是什么呀
2022-02-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人