- 博客(131)
- 收藏
- 关注
RSS订阅原创 clickhouse表类型介绍
ClickHouse 是俄罗斯的 Yandex 于 2016 年开源的列式存储数据库（DBMS），使用 C++语言编写，主要用于在线分析处理查询（OLAP）（对数据删除和更新不友好），能够使用 SQL 查询实时生成分析数据报告。ClickHouse 采用类 LSM Tree的结构，数据写入后定期在后台 Compaction。
2024-06-23 00:04:44
787
原创 大数据快速使用Kerberos认证集群
使用上传工具（比如：WinScp）将mapreduce-examples-1.0.jar、input_data1.txt和input_data2.txt复制到test目录下，将“创建角色和用户“中的步骤。使用上传工具（比如：WinScp）将样FemaleInfoCollection.jar、input_data1.txt和input_data2.txt复制到test目录下，将“创建角色和用户“中的步骤。创建安全集群，开启“Kerberos认证“参数开关，并配置“密码“、“确认密码“参数。
2024-06-10 22:47:22
888
原创 Hive日志介绍
Hive的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过20MB的时候（此日志文件大小可进行配置），会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。<yyyy-MM-dd HH:mm:ss,SSS>|<LogLevel>|<产生该日志的线程名字>|<User Name><User IP><Time><Operation><Resource><Result><Detail >|<日志事件的发生位置>
2024-06-09 23:10:51
1036
原创 网络编程（java）
服务器端TCP连接处于CLOSE_WAIT状态，客户端TCP连接进入FIN_WAIT_2状态。服务器实例化一个ServerSocket对象，就会监听这个端口，状态是LISTENING。检查端口是否已监听：netstat -ano | findstr 10000。服务器端TCP连接关闭，只剩下客户端TCP连接处于TIME_WAIT状态。使用多线程，每个客户端请求过来会启动新线程。// 接受了客户端连接，启动新线程接收数据。编写服务器端socket。服务器端的TCP连接。
2024-06-08 23:25:00
1072
原创 什么情况下要配置DNS服务
我们上网的方式通常都由ip地址组成，但是为了有个规范，而且我们也不可能去记住那么多一串Ip数字，首先域名就会比ip好记很多，其次固定性，一旦服务器换了，只要重新绑定域名对应关系就好，最后规范性，例如，算然他后端的ip有很多，但是我们不用管，只需记住他就可以了。
2024-06-07 22:32:43
1031
原创 Pspark从hive读数据写到Pgsql数据库
mode("append") \ # 或者 "overwrite" 根据需求。PostgreSQL JDBC驱动程序已经添加到你的PySpark环境中。你的PySpark环境已经配置好，并且能够连接到你的Hive数据。你已经在PostgreSQL中创建好了相应的数据库和表。# 连接PostgreSQL数据库。# 将数据写入PostgreSQL。# 创建Spark会话。# 停止Spark会话。
2024-06-05 22:13:50
585
1
原创 对等连接的作用（网络）
对等连接（Peering Connection，PC）是一种大带宽、高质量的云上资源互通服务，可以帮助您打通腾讯云上的资源通信链路。对等连接具有多区域、多账户、多种网络异构互通等特点，轻松实现云上两地三中心、游戏同服等复杂网络场景；支持 VPC 网络与基础网络、黑石网络互通，满足您不同业务的部署需求。对等连接（Peering Connection，PC）是一种大带宽、高质量的云上资源互通服务，以使两个VPC间的路由互通，就像它们属于同一网络一样。
2024-06-01 18:54:03
739
原创 DNS服务的部署与配置（2）
cp /usr/share/doc/dhcp-server/dhcpd.conf.example /etc/dhcp/dhcpd.conf #复制模板得到配置文件。cp -p named.localhost lucky.com.zone #复制模板得到我们要的域名A记录文件，一定要加-p参数，所属组相同。#允许查询A记录的客户端列表，提供服务给所有主机。拷贝/etc/named.rfc1912.zones文件得到/etc/named.rfc1912.zones.inter文件。
2024-05-25 20:45:00
1052
原创 DNS服务的部署与配置（1）
它作为将域名和IP地址相互映射的一个分布式数据库，能够使人更方便地访问互联网。DNS使用UDP端口53。当前，对于每一级域名长度的限制是63个字符，域名总长度则不能超过253个字符。
2024-05-25 13:38:24
1108
原创 动态地控制kafka的消费速度，从而满足业务要求
如果设置得太小，则 消费者可能会频繁地请求数据，这可能会影响消费速度。如果设置得太大，则当Kafka中有数据可用时，消费者可能会等待太长时间。在实际应用中，我们需要动态控制kafka消费速度，以便处理数据流的速率能够满足系统和业务的需求。如果设置得太小，则消费者可能会经常请求数据，这可能会影响消费速度。如果设置得太大，则可能会导致消费者在处理多条记录时所需的时间过长。如果设置得太小，消费者将不得不频繁地拉取数据，这可能会影响消费速度。如果设置太大，则消费者可能会等待太长时间才能获取数据。
2024-05-23 22:08:13
766
原创 ES Elasticsearch 的DSL 语句
Elasticsearch是一款开源的分布式搜索引擎，它提供了强大而灵活的查询功能。为了实现对索引中的文档进行高效的搜索，Elasticsearch引入了DSL（Domain-Specific Language，领域特定语言）语句，用于构建复杂的查询和聚合操作。，包括基本查询、过滤、聚合等方面的用法和实例。
2024-05-23 21:48:21
370
原创 elastich运维
Elastichsearch是一种高度可扩展的开源全文搜索和分析引擎，可以用来实现快速、高效的数据检索。：首先需要根据业务需求规划Elastichsearch集群的节点数量和角色（如主节点、副本节点、协调节点等）。在部署时，应考虑集群的高可用性和可扩展性，确保节点之间的网络通信畅通无阻。：Elastichsearch通过数据分片实现水平扩展，通过复制实现数据的可靠性和高可用性。运维人员需要合理设置分片数和副本的数量，以优化查询性能和数据恢复的可靠性。
2024-05-22 22:09:26
1264
原创 hdfs机器下线维修
HDFS（Hadoop Distributed File System）是Hadoop分布式文件系统，它设计用来跨多个物理服务器存储大量数据。当HDFS集群中的某个机器需要下线维修时，需要谨慎处理以避免数据丢失或服务中断。
2024-05-21 14:17:51
478
原创 大数据运维面临的常见问题及其解决方案和步骤
处理这些问题需要一个跨学科的团队，包括数据科学家、运维工程师、安全专家和业务分析师，共同协作确保大数据系统的稳定性和效率。
2024-05-20 19:48:02
641
原创 常见的cdn运维面试题及答案
CDN（Content Delivery Network，内容分发网络）是一种分布式网络服务，通过在地理位置分布广泛的节点上缓存网站静态资源（如图片、视频、CSS、JS等），使用户可以从离用户最近的节点获取资源，提高资源访问速度，减轻源站压力。CDN工作流程主要包括以下几个步骤：（1）用户请求某个资源（如图片、视频等）；（2）请求首先发送到最近的CDN节点（根据用户地理位置和节点距离等因素）；（3）CDN节点检查本地缓存是否存在该资源；（4）如果本地缓存存在该资源，CDN节点直接返回资源给用户；
2024-05-19 17:21:24
441
原创 java的数据结构
加密和解密使用不同的秘钥，分为私钥和公钥，使用私钥加密，必须使用配对的公钥才能解密；7、数组（哈希桶）扩容规则：阈值缺省是0.75，元素个数达到16x0.75时并且插入的元素位置是非空时，扩容一倍到32。6、get时也要根据key的hashcode与16取余来确定位置，再根据equals方法来确定链表上的位置。5、数组缺省大小是16，put时根据key的hashcode与16取余来确定位置，插入到链表的头部。加密和解密时所用密码相同，问题：密码的传递很难保证安全，优点：效率高。3、get(key);
2024-05-15 19:15:00
601
原创 视屏，网站等流量加速器CDN
为此，阿里云CDN为我们提供了多副本刷新的解决方案：每种不同后缀的图片，作为图片的一个副本，在CDN的swift层增加一层KV结构，存储url和不同副本的映射关系，清除缓存时，可以通过该结构找到所有副本，实现快速清除所有副本。（6）从图片空间回源图片，图片空间会从OSS拉取图片源文件，按要求进行尺寸缩放，然后执行编解码，返回客户端能够支持的图片内容，之后客户端就可以渲染图片，同时CDN的L1、L2以及客户端都会缓存图片内容。同一张商品图片会用于不同的场景坑位展现，不同的坑位对图片的尺寸有不同的要求。
2024-05-15 13:26:44
812
原创 Java爬虫的几种方式
最后，使用一个循环遍历每个链接，并通过link.text()获取链接的文本，通过link.attr(“href”)获取链接的URL。通过Selenium，您可以控制浏览器的行为，获取完整的页面内容。在上面的示例代码中，我们创建了一个WebClient对象，它代表了一个模拟的浏览器。当使用Java IO进行爬虫时，我们需要先获取网页的内容，然后可以使用Java IO类来处理和解析这些内容。请注意，HtmlUnit是一个强大的工具，可以模拟用户在浏览器中的操作，但它的运行需要一些依赖库。
2024-05-14 19:21:39
1200
原创 k8s的整体架构及其内部工作原理，以及创建一个pod的原理
一、k8s整体架构二、k8s的作用，为什么要用k8s，以及服务器的发展历程1、服务器：缺点容易浪费资源，且每个服务器都要装系统，且扩展迁移成本高2、虚拟机很好地解决了服务器浪费资源的缺点，且部署快，成本低但每台虚拟机需要安装系统，从而对内存等资源造成了一定的浪费3、容器恰好解决了虚拟机装系统浪费资源的缺点，也能很好地实现隔离，且一台机器上可以部署好多容器，但容器当机器出现宕机时，一台机器上的所有容器都会停止运行，不能自我修复因此需要一个资源管理，资源编排的工具即k8s应用而生。
2024-05-14 16:58:09
1287
原创 k8s部署数据库等pass产品的时候用那种控制器
在实际部署时，选择哪种控制器取决于应用的需求，如是否需要稳定的身份标识、是否需要持久化存储、是否需要支持自动缩放等。对于大多数传统的关系型数据库，StatefulSet是推荐的选择，因为它提供了稳定性和持久化存储卷的支持。：这是部署有状态应用的首选控制器，特别是当应用需要稳定的身份标识（通过持久化的Pod名称）和持久化存储卷时。例如，部署像MySQL、PostgreSQL这样的关系型数据库时，可以使用StatefulSet来确保每个数据库实例都有唯一的名称和稳定的存储卷。
2024-05-11 17:21:59
443
原创 k8s拉起一个pod底层是如何运行的
实际的Pod运行代码通常涉及使用kubectl或其他Kubernetes管理工具与API Server交互来创建Pod资源对象。在Kubernetes中，当你尝试启动一个Pod时，底层的运行方式是由Kubelet服务来管理的。选定的节点上的kubelet服务定时询问API Server关于Pod的信息，并监控其健康状态。Scheduler组件基于集群的当前状态（如节点的可用资源）来选择一个合适的节点来运行Pod。API Server将Pod的元数据存储到etcd中，以便于Pod的调度和跟踪。
2024-05-10 14:54:47
262
原创 创建一个逻辑券，只想让拥有逻辑券的容器访问，这个是怎么控制的
你可以为每个需要访问特定资源的Pod创建一个Service，这样只有与Service相连接的Pod才能访问该资源。如果你想要控制对特定资源的访问，比如一个网络端口，你需要使用不同的方法。你可以创建一个CRD来表示你的逻辑券，并在Pod的配置中使用这个CRD来控制对资源的访问。: 如果你想要控制Pod可以使用的资源，你可以使用Pod安全策略。然而，Pod安全策略主要用于控制Pod的权限和资源使用，而不是特定的网络资源。: 你可以在Pod的配置中使用环境变量或配置文件来控制对资源的访问。
2024-05-10 13:03:37
235
原创 vlan和vxlan的区别与联系，以及他们对应的设备
VLAN（Virtual Local Area Network）和VXLAN（Virtual Extensible LAN）是两种不同的网络虚拟化技术，它们在网络架构中扮演着相似但又有所区别的角色。
2024-05-09 22:03:07
945
原创 计算机操作系统的中断机制
在处理一个中断的过程中，可能会发生另一个中断。操作系统需要妥善管理嵌套中断，以确保高优先级的中断不会被低优先级的中断阻塞。：中断处理程序是一段特殊的代码，用于处理中断。当发生中断时，处理器会暂停当前的程序执行，跳转到中断处理程序来处理中断。当发生中断时，硬件设备将中断向量传递给处理器，告诉它何处可以找到处理该中断的代码。：某些中断可以通过软件指令临时屏蔽或禁用，这在中断处理程序执行关键任务时非常有用，以防止不必要的中断。：操作系统通常为中断设置优先级，以确保高优先级的中断能够及时得到处理。
2024-05-09 14:17:06
328
原创 Linux的内核态和用户态
两种模式之间的切换是通过硬件中断或系统调用实现的。当一个用户程序需要执行特权操作时，它会发起一个系统调用。处理器在执行完用户程序的指令后，通过中断（如陷阱或异常）将控制权转交给内核，内核执行相应的操作并返回控制权给用户程序。这种区分是为了防止用户程序直接访问和修改关键系统资源，从而保护操作系统的稳定性和数据的安全性。同时，它也允许操作系统在运行高权限操作时提供一个安全的执行环境。
2024-05-09 14:09:33
437
原创 从键盘输入10个数，写入ArrayList，按照从大到小顺序排序再写入文件a.txt，再从这个文件中读取数据，发送给服务器（端口是20000）服务器接收到数据后，输出数据到控制台，然后返回200给
System.out.println("收到服务器的响应：200");// 输出数据到控制台。三、服务器接收到数据后，输出数据到控制台，然后返回200给客户端，客户端输出200到控制台。二、再写入文件a.txt，再从这个文件中读取数据，发送给服务器（端口是20000）System.out.println("请输入10个数：");一、从键盘输入10个数，写入ArrayList，按照从大到小顺序排序。// 返回200给客户端。// 接收服务器响应。
2024-05-07 13:57:16
358
原创 Apache RabbitMQ 的所有组件以及他是如何保证顺序消费消息的
Apache RabbitMQ 是一个开源消息队列系统，基于 Erlang 语言开发，实现了高级消息队列协议（AMQP）。RabbitMQ 提供了多种消息传递机制，包括点对点（direct）、发布/订阅（fanout）、路由（route）和事务（transactional）等。
2024-05-06 17:30:30
1099
1
原创 java基础之Netty（主要用来开发像微信，qq等聊天软件）
一、的定义Netty是一个基于Java NIO的网络编程框架，提供了一套高效的、事件驱动的异步网络通信机制。简化了网络应用程序的开发过程，提供了可靠的、高性能的网络传输二、
2024-05-06 12:25:00
839
原创 java基础（2）
数据导出：使用POI导出数据库的数据到excel文件，https://www.cnblogs.com/gudongcheng/p/8268909.html。int(Integer): 4个字节，2^32=2^2x2^30=4x2^30=4G，-21亿（-2^31） ~ 21亿(2^31-1)类属于对象，类是对象的具体表达，对象是类的具体实例，类描述一类对象的行为和状态。父类确定有一个方法，各个子类不完全一样，定义为抽象方法，父类不实现，子类实现。静态的内部类可以有静态属性或方法，通过类名逐层调用即可。
2024-05-05 21:22:45
901
原创 prometheus+grafana的安装与部署及优点
至此、整套Prometheus监控系统已经部署完毕，并且已经可以正常监控。但是其展示的只是它本身最基本的功能，其它组件及模块相关的功能配置，要靠大家自行去研究学习，那样方可发挥出它强大的监控系统功能。
2024-05-04 10:58:41
1631
原创 Linux基本命令
权限对于文件来讲，它只对文件的内容有可操作权限，对文件本身没有权限，所以只能对文件的内容进行读取，更改和删除操作，但不能删除文件本身。4）date -d “-XXyear-XXmonth-XXdays” （-xx是表示时间差）ls --time=ctime和ls -lc → 查看文件最后修改状态时间。ls --time=atime和ls -lu → 查看文件最后访问时间。格式：mkdir -p /name/a/b/c 创建多级目录。格式：rmdir -p /name/a/b/c →删除多级空目录。
2024-05-04 10:04:08
1051
原创 redis集群的创建安装与配置，以及维护
Source node #1:49ed626134079dc301f586ff4edb1670a3a42a8c //被删除master的node-id。src/redis-trib.rb reshard 192.168.0.31:7000 // 重新分配槽位。Source node #1:all //表示全部节点重新洗牌。1. 删除从节点(注意：需要将从节点转移到其他主节点)
2024-05-03 17:21:49
1208
原创 java 基础（1）
修饰符：修饰符，这是可选的，告诉编译器如何调用该方法。定义了该方法的访问类型。返回值类型 ：方法可能会返回值。returnValueType 是方法返回值的数据类型。有些方法执行所需的操作，但没有返回值。在这种情况下，returnValueType 是关键字void。方法名：是方法的实际名称。方法名和参数表共同构成方法签名。参数类型：参数像是一个占位符。当方法被调用时，传递值给参数。这个值被称为实参或变量。参数列表是指方法的参数类型、顺序和参数的个数。参数是可选的，方法可以不包含任何参数。
2024-05-02 20:18:10
1028
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人