wt334502157的博客

​ Wekan 是一个开源的看板式项目管理工具，它的配置相对简单，因为大多数功能都是开箱即用的。它允许用户以卡片的形式组织和跟踪任务，非常适合敏捷开发和日常任务管理。Wekan 的核心功能包括看板、列表和卡片，用户可以在看板上创建多个列表，每个列表代表任务的不同状态，如待办、进行中和已完成。每张卡片则代表一个具体的任务，可以包含详细的描述、截止日期、成员分配和评论。​ Wekan 支持实时协作，团队成员可以同时在线编辑和讨论任务，确保信息的即时更新和共享。

​ OpenProject是一个功能全面的开源项目管理软件，它提供了一套集成的工具来支持项目规划、协作和监控。它的核心功能包括任务和问题跟踪、时间管理、新闻和文档管理，以及集成版本控制系统。OpenProject支持敏捷和瀑布项目管理方法，允许团队使用看板和甘特图来组织和监控项目进度。​ 该软件以其灵活性和可定制性而闻名，用户可以根据项目需求调整工作流程和界面。OpenProject还提供了丰富的报表功能，帮助团队成员和管理层洞察项目状态和性能。

​ Nextcloud是一个开源的云存储和协作平台，旨在为个人用户、企业和团队提供安全、隐私保护的数据存储和共享解决方案。它允许您在不同设备之间同步、共享文件，提供了强大的协作工具和应用生态系统。：通过Nextcloud，您可以轻松地在不同设备之间同步和共享文件。无论是照片、视频、文档还是其他文件类型，都可以方便地访问和共享。：Nextcloud致力于保护您的数据安全和隐私。它提供端到端加密功能，确保您的数据在传输和存储过程中始终受到保护。

FastAPI 关键特性1. **快速高效**：基于 Starlette 和 Pydantic 构建，具有高性能和低延迟的特点，支持异步处理请求，利用 Python 的协程提高并发性能。2. **简单易用**：使用标准的 Python 类型注解来定义 API 的输入和输出参数，无需编写大量的文档和验证代码。3. **自动生成文档**：通过访问 `/docs` 路径可以查看自动生成的交互式 API 文档，包含了每个端点的详细说明、请求和响应的模型结构以及示例请求和响应。4. **数据验证**：利用

​ Elasticsearch DSL（Domain Specific Language 领域特定语言）是 Elasticsearch 官方提供的一个 Python 客户端库，它允许开发者以一种更加 Pythonic 和直观的方式与 Elasticsearch 进行交互和查询。DSL 不是一种编程语言，而是一种专门针对某一领域（如 Elasticsearch 查询语言）设计的语言。在 Elasticsearch 中，DSL 用于构建复杂的搜索查询、聚合操作和过滤条件。

​ 交换机（Switch）是一种用于电脑网络的设备，它连接多个设备（如计算机、打印机、服务器等）到同一网络内，允许这些设备互相通信。交换机工作在OSI（开放式系统互联）模型的第二层，即数据链路层，这使得它能够使用物理设备的MAC（媒体访问控制）地址来传输数据。​ 在基本层面上，交换机的功能是接收来自连接设备的数据包，并决定如何有效地将这些数据包转发到目的地。这通常是通过检查每个数据包的MAC地址来实现的。

ZooKeeper中bin目录中有如下4个可执行脚本：这些脚本是 ZooKeeper 的一部分，用于管理和操作 ZooKeeper 实例。zkCleanup.sh：zkCli.sh：zkEnv.sh：zkServer.sh：下文将逐个详细介绍4个 ZooKeeper 相关脚本的使用、参数、场景和注意事项连接到 ZooKeeper：创建节点：读取节点数据：参数介绍： 接受连接参数，如 ZooKeeper 服务器地址。场景：用于与 ZooKeeper 交互、创建、读取、更新、删除节点等。 脚本是 ZooKee

1. **集群监控和状态**：`gpcc-web`提供了有关整个Greenplum数据库集群状态的实时信息。您可以查看主机、段、表空间等级别的性能数据、状态和报警信息。这有助于及时识别和解决性能问题。2. **查询性能监控**：您可以监视正在运行的查询的性能，包括查询执行计划、资源消耗和查询运行时间。这有助于识别潜在的性能瓶颈和优化查询。3. **备份和恢复管理**：`gpcc-web`允许您配置和监视数据库备份策略，并提供了还原数据库的功能。这有助于确保数据的备份和可恢复性。

gprecoverseg 优先级顺序 1. gprecoverseg -a --> 2. gprecoverseg --> 3. gprecoverseg -r。表膨胀通常指的是表的物理磁盘空间使用超过了实际需要的大小，导致性能下降和资源浪费，表膨胀问题需要处理，因为它会导致磁盘空间的浪费，减慢查询性能。：这将创建一个新的表，将数据从原始表复制到新表，并替换原始表。这是处理大型膨胀表的更强大选项。：运行VACUUM操作可以帮助清理并释放未使用的磁盘空间。是一个轻量级的操作，适用于小型的膨胀表。

​ IPS设备是网络安全的关键组成部分，用于检测和防止恶意攻击和入侵尝试。它们通过流量分析、签名检测和异常检测来实现这一目标，并可以采取各种防御措施。IPS设备还与其他安全设备集成，以提供全面的安全性和监控。然而，IPS设备也存在一些挑战和限制，需要不断演进以适应不断变化的网络威胁。在未来，IPS设备将继续发展，采用新技术来提高安全性和效率，以应对不断增加的网络威胁。

​ 企业微信群机器人是一个强大的工具，用于实现监控告警和信息通知。机器人发送不同类型的消息通知，我们合理利用企业微信群机器人，可以提升团队的响应速度和业务稳定性，在实际工作中提升效率和效果。

​ Web应用程序防火墙（WAF）在保护Web应用程序免受各种网络攻击方面发挥着关键作用。它通过监控、检测和防护恶意请求，提供了一道坚实的防线，保护用户数据、隐私和业务连续性。然而，要充分发挥其作用，WAF需要与其他安全措施结合使用，同时也需要管理员的定期维护和优化。通过综合的安全策略，可以实现强大的Web应用程序安全。​ Web应用程序防火墙（WAF）是保护Web应用程序免受各种网络攻击的关键工具。

​ ossfs允许您在Linux系统中将对象存储OSS的存储空间（Bucket）挂载到本地文件系统。挂载完成后，您能够像操作本地文件一样操作OSS的对象（Object），从而实现数据共享。​ 使用起来，可以把存储桶Bucket理解成一个文件夹，进入到文件夹后增删改查目录中的文件，即相当于在操作Bucket。演示体验：这里已经创建了一个Bucket ：longgovv在存储桶中创建2个文件夹可以在服务器上查看到与longgovv同步的目录，以上就是直观的使用感受。

Redis是当前比较热门的NoSQL框架之一它是一个开源的、使用ANSI C语言编写的key-value存储系统（区别于MySQL的二维表格形式存储）和Memcache类似，但很大程度补偿了Memcache的不足，Redis数据都是缓存在计算机内存中，不同的是，Memcache只能将数据缓存到内存中，无法自动定期写入硬盘，这就表示，一断电或重启，内存清空，数据丢失。

gpaddmirrors工具为初始仅配置了主Segment实例的现有Greenplum数据库系统配置镜像 Segment实例。该工具创建镜像实例并开始主Segment实例和镜像Segment实例之间的在线复制进程。一旦所有 的镜像与其主Segment同步好，用户的Greenplum数据库系统就建立了完全的数据冗余。Important: 在在线复制进程中，Greenplum数据库应处于静止状态，负载和其他查询不应该运行。

22/08/23 11:11:21 ERROR Executor: Exception in task 0.0 in stage 1.0 (TID 3)org.apache.hadoop.fs.ChecksumException: Checksum error: file:/home/wangting/abcd.txt at 0 exp: 400493684 got: -867269390 at org.apache.hadoop.fs.FSInputChecker.verifySums(FSInput

基于以上核心痛点，我们需要探索新的数据库技术方案来应对业务爆发式增长所带来的挑战，为业务提供更好的数据库服务支撑。调研市场上的各大数据库,我们可以考虑选用NewSQL技术来解决,因为NewSQL技术有如下显著特点:- 无限水平扩展能力- 分布式强一致性，确保数据 100% 安全- 完整的分布式事务处理能力与 ACID 特性 而TiDB数据库 GitHub的活跃度及社区贡献者方面都可以算得上是国际化的开源项目,是NewSQL技术中的代表性产品,所以我们可以选择使用TiDB数据库!

阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99.9999999999%(12个9)的数据持久性，99.995%的数据可用性。多种存储类型供选择，全面优化存储成本。相对于使用阿里云oss对象存储前需要注册阿里云账号登录官方阿里云，登录后在右上方或者中间搜索栏搜索：对象存储oss......

​ greenplum数据库在大量数据更新时，会产生大量的pg_xlog，造成磁盘空间占用；系统长时间运行后，pg_log文件夹下日志文件也会越来越大，合理的做法是日志文件的磁盘和数据目录挂载在不同的磁盘路径下或者磁盘扩容；若在同一路径下，可将日志文件备份到其他路径，腾出一部分空间，或清理pg_xlog【注意】：可以看到当前数据目录下pg_xlog 193M大小实际上集群的每个数据存储节点上都会存在pg_xlog的空间占用这里获取到的路径清单即为集群所有节点的数据存储目录，其中gpstan

redis各类部署以及使用介绍环境准备机器准备# 各机器配置了hosts[root@redis01 ~]# cat /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6.localdomain6# redis8.130.25.36 red

centos8重新配置yum源(Errors during downloading metadata for repository ‘AppStream’)近期使用centos8yum安装发现使用不了，报错信息如下：# yum 安装软件失败[root@wangting ~]# yum install -y lrzszCentOS-8 - AppStream

greenplum数据库安装部署环境以及准备工作集群机器规划ip主机名基本配置操作系统11.8.37.111gpmaster4C8GCentOS7.411.8.37.112gpstandby4C8GCentOS7.411.8.37.113segment014C8GCentOS7.411.8.37.114segment024C8GCentOS7.4【注意】: 根据官方issue，在部署greenplum数据库时，centos7.3版

sftp非交互式每日定时拉取增量数据文件至本地合并至存量crontab：30 5 * * * cd /opt/scripts/;nohup sh sftp_add.sh功能脚本# 功能脚本# 实现远程sftp服务器每日拉取增量文件到本地，再将本地新增文件合并入历史存量总目录# 需要安装sftp工具(yum install -y lftp)# 脚本可以拉取目录和文件均可，如场景只是拉取文件，无目录存在情况，可以mirror换成mget#!/bin/bashYESD=`date -d la

MySQL密码破解或没有密码情况重设用户密码MySQL环境信息情况：# MySQL版本信息[root@joa-cdep-cdh04 ~]# mysql --versionmysql Ver 14.14 Distrib 5.7.29, for Linux (x86_64) using EditLine wrapper[root@joa-cdep-cdh04 ~]# # 3306端口正常开启中[root@joa-cdep-cdh04 ~]# netstat -tnlpu|grep 3306t

apache大数据数仓各组件部署搭建第一章 环境准备1. 机器规划准备3台服务器用于集群部署，系统建议CentOS7+，2核8G内存172.19.195.228 hadoop101172.19.195.229 hadoop102172.19.195.230 hadoop103[root@hadoop101 ~]# cat /etc/redhat-release CentOS Linux release 7.5.1804 (Core) [root@hadoop101 ~]# hostname

阿里canal简介及canal部署、原理和使用介绍canal入门什么是canal阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。canal是用java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前，canal主要支持了MySQL的binlog解析，解析完成后才利用canal cli

ElasticSearch简介及ElasticSearch部署、原理和使用介绍第一章：elasticsearch简介ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。第一节 elasticSearch的使用场景1、 为用户提供按关键字查询的全文搜索功能。2、 实现企业海量数据的处理分析的解决方案

spark简介及spark部署、原理和开发环境搭建spark简介Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发的通用内存并行计算框架Spark得到了众多大数据公司的支持，这些公司包括Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal、百度、阿里、腾讯、京东、携程、优酷土豆。当前百度的Spark已应用于大搜索、直达号、百度大数据等业务；

zabbix简介及zabbix部署(zabbix5.4最新版)Zabbix简介Zabbix概述Zabbix 是一款可监控网络的众多参数以及服务器、虚拟机、应用程序、服务、数据库、网站、云等的健康状况和完整性。Zabbix 使用灵活的通知机制，允许用户为几乎任何事件配置基于电子邮件的警报。这允许对服务器问题做出快速反应。Zabbix 基于存储的数据提供报告和数据可视化功能。这使得 Zabbix 成为容量规划的理想选择。Zabbix是一款能够监控各种网络参数以及服务器健康性和完整性的软件。Zabbix使

superset部署安装及使用介绍Superset概述Apache Superset是一个开源的、现代的、轻量级BI分析工具，能够对接多种数据源、拥有丰富的图标展示形式、支持自定义仪表盘，且拥有友好的用户界面，十分易用。Superset应用场景由于Superset能够对接常用的大数据分析工具，如Hive、Kylin、Druid等，且支持自定义仪表盘，故可作为数仓的可视化工具。Superset安装及使用Superset官网地址: https://superset.apache.org/gith

安装Minicondaconda是一个开源的包、环境管理器，可以用于在同一个机器上安装不同Python版本的软件包及其依赖，并能够在不同的Python环境之间切换，Anaconda包括Conda、Python以及一大堆安装好的工具包，比如：numpy、pandas等，Miniconda包括Conda、Python。下载Miniconda3最新版wangting@ops04:/opt/software >wget https://repo.anaconda.com/miniconda/Minico

数仓概念梳理数仓分层常见分层思路、案例案例1：互联网金融ODL层 (Operational Data Layer)：操作数据层​ 外部数据什么样，该层数据就是什么样（关系型数据库、JSON格式等)，部分关系型数据可以直接转IDL层BDL层 (Base Data Layer)：基础数据层​ ODL层经过简单格式化解析后存储到BDL层，常见于JSON日志格式的解析。IDL层 (Interface Data Layer)：接口层，也称主题表，宽表​ 由BDL层经过去重、去噪、字典翻译、空

Pulsar简介及Pulsar部署、原理和使用介绍Pulsar简介诞生背景Apache Pulsar 是一个企业级的分布式消息系统，最初由 Yahoo 开发，在 2016 年开源，并于2018年9月毕业成为 Apache 基金会的顶级项目。Pulsar 已经在 Yahoo 的生产环境使用了三年多，主要服务于Mail、Finance、Sports、 Flickr、 the Gemini Ads platform、 Sherpa (Yahoo 的 KV 存储)。Pulsar是一种用于服务器到服务器消息传

轻量级日志分析平台Loki安装部署及使用Loki简介简介​ Loki是 Grafana Labs 团队最新的开源项目，是一个水平可扩展，高可用性，多租户的日志聚合系统。Loki 是专门用于聚集日志数据，重点是高可用性和可伸缩性。与竞争对手不同的是，它确实易于安装且资源效率极高。特点优点：不对日志进行全文索引（vs ELK技）。通过存储压缩非结构化日志和仅索引元数据，Loki 操作起来会更简单，更省成本。通过使用与 Prometheus 相同的标签记录流对日志进行索引和分组，这使得日志的扩展

azkaban简介及azkaban部署、原理和使用介绍azkaban简介​ Azkaban是一套简单的任务调度服务，整体包括三部分webserver、dbserver、executorserver。​ Azkaban是由Linkedin开源的一个Java项目，批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。​ Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。项目官网：https://azkaban.g

Hbase简介及Hbase部署、原理和使用介绍(+phoenix使用)HBase概述HBase定义HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式

Kafka简介及Kafka部署、原理和使用介绍Kafka简介定义Kafka是一种消息队列，是一个分布式的基于发布/订阅模式的，主要用来处理大量数据状态下的消息队列，一般用来做日志的处理。既然是消息队列，那么Kafka也就拥有消息队列的相应的特性了。消息队列的两种模式点对点模式一对一，消费者主动拉取数据，消息收到后消息清除​ 消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经被消费的消息。

Flume简介及Flume部署、原理和使用介绍Flume概述​ Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。​ Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。Flume架构AgentAgent是一个JVM进程，它以事件的形式将数据从源头送至目的。Agent主要有3个部分组成，Source、Channel、Sink。SourceSource是负责接收数据到Flum

zookeeper简介、部署、原理介绍zookeeper简介概述Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。zookeeper特点1）Zookeeper：一个领导者（Leader），多个跟随者（Follow

Hadoop之MapReduce介绍整理什么是批处理​ 在了解MapReduce之前，需要了解批处理的概念，批处理模式是一种最早进行大规模数据处理的模式。批处理主要操作大规模静态数据集，并在整体数据处理完毕后返回结果。批处理非常适合需要访问整个数据集合才能完成的计算工作。​ 例如，在计算总数和平均数时，必须将数据集作为一个整体加以处理，而不能将其视作多条记录的集合。这些操作要求在计算进行过程中数据维持自己的状态。​ 需要处理大量数据的任务通常最适合用批处理模式进行处理，批处理系统在