- 博客(44)
- 收藏
- 关注
RSS订阅
原创 Kettle 解决数据同步缓慢及性能效率问题 (数据同步利用时间戳解耦，性能通过配置优化提升90%)
在数据同步过程中，缓慢的同步速度和低效率的性能往往是令人头痛的问题。本文将介绍如何通过Kettle解决数据同步缓慢及性能效率问题，其中主要涉及数据同步利用时间戳解耦和通过配置优化提升性能高达90%的方法。在先前的博客文章中，我们配置了Kettle在Docker中的部署过程，以及如何配置和运行Sqlserver到Mysql的数据同步任务。同时结合Start定时任务，实现定时调度的功能，确保数据同步任务的稳定运行。
2024-02-01 10:38:20
3071
3
原创 Kettle-Docker部署+Sqlserver数据同步Mysql+Start定时任务
kettle，翻译为中文叫做水壶，显而易见，水壶不管壶里面装的是什么液体，最终都会从壶嘴平滑的流出来。就好比，不管水壶装的是什么类型的数据，最后都会通过壶嘴以特定的格式流出来。其实就是对ETL思想的一种实现，它是通过java语言编写，秉承ETL思想的工具。既然是此采用java实现的，那就肯定具有跨平台的特性。
2024-01-25 11:20:16
1858
原创 Grafana（三）Grafana 免密登录-隐藏导航栏-主题变换
Grafana 的常用方式： 将配置好的Grafana图嵌入到系统页面中。
2024-01-17 11:02:05
2629
1
原创 Grafana（二）Grafana 两种数据源图表展示（json-api与数据库）
在先前的博客文章中，我们搭建了Grafana ，它是一个开源的度量分析和可视化工具，可以通过将采集的数据分析、查询，然后进行可视化的展示，接下来我们重点介绍如何使用它来进行数据渲染图表展示Docker安装Grafana-CSDN博客分析上述环境变量信息得知，需要把容器内的/etc/grafana、/var/lib/grafana、/var/log/grafana三个目录挂载到宿主机上以确保数据不随容器的停止而消失。
2024-01-16 14:28:09
2583
原创 （aiohttp-asyncio-FFmpeg-Docker-SRS）实现异步摄像头转码服务器
定义启动和停止 RTSP 转码任务的方法# 开始转码方法# 检查相同RTSP是否已有子进程在处理# 使用Semaphore限制并发进程数量# 实际的转码操作，这里需要调用ffmpeg或其他工具'ffmpeg','-i', ip,# 创建异步子进程# 将任务添加到字典中# 等待子进程完成# 从字典中移除已完成的任务# 停止转码方法# 停止转码任务process.terminate() # 发送终止信号await process.wait() # 等待进程结束。
2024-01-08 17:06:04
1127
原创 Docker部署 SRS rtmp/flv流媒体服务器
SRS（Simple Realtime Server）是一款开源的流媒体服务器，具有高性能、高可靠性、高灵活性的特点，能够支持直播、点播、转码等多种流媒体应用场景。SRS 不仅提供了流媒体服务器，还提供了适用于多种平台的客户端 SDK 和在线转码等辅助服务，是一款十分强大的流媒体解决方案。
2024-01-05 10:25:53
2257
2
原创 Grafana（一）Docker安装Grafana
分析上述环境变量信息得知，需要把容器内的/etc/grafana、/var/lib/grafana、/var/log/grafana三个目录挂载到宿主机上以确保数据不随容器的停止而消失。GF_PATHS_CONFIG=/etc/grafana/grafana.ini 数据文件位置：GF_PATHS_DATA=/var/lib/grafana 根目录的位置。drwxr-xr-x. 5 grafana grafana 41 5月 22 20:59 grafana。# -d：在后台运行容器，并输出容器ID。
2023-12-28 14:48:28
2302
原创 Docker搭建Kafka教程（python使用kafka基础用法，生产消费）
图解 kafka 架构与工作原理 - 知乎 (zhihu.com)
2023-12-21 15:41:58
2276
1
原创 Linux 搭建 Kafka 环境 - 详细教程
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”，这使它作为企业级基础设施来处理流式数据非常有价值。
2024-07-03 15:22:35
1059
原创 Git 完整操作之记录
git add . 会把本地所有untrack的文件都加入暂存区，并且会根据.gitignore做过滤。以下是一个完整的 Git 基本操作流程和示例代码，包含常见的 Git 命令及其使用示例。这样可以确保这些文件夹在未来的操作中被 Git 忽略，并且不会再被添加到仓库中。git add * 会忽略.gitignore把任何文件都加入。文件来过滤掉不想被跟踪的文件和文件夹。忽略指定路径中的文件或文件夹。
2024-06-05 15:19:47
1140
1
原创 Linux系统 -- 创建systemd服务单元 Python 程序在系统启动时自动启动，并持续运行。
1. 创建一个名为 model_ai.service 的文件，并将其放置在 /etc/systemd/system/ 目录中。指定了服务的类型为简单类型，这意味着 systemd 不会管理服务的 fork、通信或其他复杂行为。是启动服务时要执行的命令，这里指定为启动你的 Python 脚本。是指定服务工作目录，这里设置为你的 Python 脚本所在的目录。表示如果服务意外停止，systemd 将自动重新启动服务。表示在服务停止后，系统将等待 3 秒后尝试重新启动服务。指定了服务应在网络服务启动后启动。
2024-05-08 09:39:54
444
原创 PaddleOCR 图片日期识别
当今数字化的时代，我们经常需要从图像中提取信息，以便进行后续的处理和分析。其中，日期信息作为一种重要的时间标记，常常存在于各种图像中，例如照片、截图等。然而，要手动从图像中提取日期信息是一项耗时且繁琐的任务，特别是当图像数量庞大时。因此，我们需要一种自动化的方式来实现这一任务。
2024-04-10 11:22:31
654
原创 Linux arrch64系统架构 py文件运行时的编码问题解决
因为要测试一些东西，所以必须有中文数据来做支撑，之前用的架构是x86，现在一个服务器的架构为arrch64，下列编码都挨个都进行声明，但是无法解决问题，系统语言环境（locale）是被设置为"POSIX"，这是一种最小化的设置，通常用于 C 语言开发或者基本的系统运行。这会在 Python 文件中遇到编码问题。可以通过设置合适的 locale 来解决这个问题，使Python 可以正确地处理 Unicode 字符。以下是在 Ubuntu 上设置 locale 的简单步骤：
2024-03-14 10:25:02
427
原创 MySQL·SQL优化
索引能够提升查询的效率，但是创建索引是有成本的，主要有2个方面，一个存储空间的开销，还有一个是数据操作上的开销。存储空间的开销，是指索引需要单独占用存储空间；数据操作上的开销，是指一旦数据表有变动，无论是插入一条新数据，还是删除一条旧数据，甚至是修改数据，如果涉及索引字段，都需要对索引本身进行修改，以确保索引能够指向正确的记录。（6）索引失效场景联合索引不满足最左匹配原则。模糊查询最前面的为不确定匹配字符。索引列参与了运算。索引列使用了函数。索引列存在类型转换。
2024-03-05 10:23:27
849
原创 Docker Nginx 负载均衡搭建（服务宕机-配置高可用） - 附（Python案例，其它语言同理）
负载均衡是在支持应用程序的资源池中平均分配网络流量的一种方法。现代应用程序必须同时处理数百万用户，并以快速、可靠的方式将正确的文本、视频、图像和其他数据返回给每个用户。为了处理如此高的流量，大多数应用程序都有许多资源服务器，它们之间包含很多重复数据。负载均衡器是位于用户与服务器组之间的设备，充当不可见的协调者，确保均等使用所有资源服务器。
2024-02-22 15:49:11
1287
原创 Docker 搭建MySQL主从复制-读写分离
MySQL主从复制是一种常用的数据库高可用性解决方案，通过在主数据库上记录的数据变更，同步到一个或多个从数据库，实现数据的冗余备份和读写分离。在Docker环境下搭建MySQL主从复制和读写分离，不仅方便管理，还能充分发挥Docker的轻量、可移植性等特性。通过Docker搭建MySQL主从复制和读写分离，不仅简化了部署过程，还提高了系统的可维护性。合理配置主从关系和读写分离，可以优化数据库性能，提高系统的稳定性和可用性。
2024-01-29 16:33:44
1234
原创 Selenium 自动化截取网页指定区域
启动浏览器# 隐藏浏览器自动化控制提示# 添加谷歌浏览器驱动位置# chrome_options.binary_location = r"E:\应用\谷歌浏览器插件\chrome-win64\chrome.exe"# 加载启动项页面全屏效果，相当于F11。# 配置初始化# 打开页面url = 'https://baidu.com' # 请替换为你要打开的页面# 获取页面宽度与高度print(w,h)# 指定四个点的坐标，这里以左上角和右下角的坐标为例。
2024-01-22 14:52:06
1235
1
原创 Python3-onvif例子使用
2:创建onvif协议下的账号和密码,用此账号来登录下面的方法。1:相机支持onvif协议并已打开此功能。注意点:API中参数均为字典格式。
2023-12-20 09:34:47
769
原创 python Echarts服务加图表绘制
echarts 图表代码 （各个年份对应的季节利润）echarts 图表代码 （预测下一年份数据图表）echarts 图表代码 （收入与与利润）
2023-08-14 11:57:58
136
原创 Python多线程爬取链家房源，保存excel表格，入库实现数据可视化分析，并对脚本进行部署
以下为爬虫脚本代码 resuqsts_page.py 脚本容器目录所存放位置已做linux系统更改。下列是所用到的包放在requirements.txt。部署所用dockerfile。部署根目录以及文件存放位置。docker 容器运行命令。
2023-08-10 11:11:10
433
原创 windows 搭建docker 以及部署前后端项目及程序，对所需目录挂载nginx进行配置显示
然后以管理员身份运行powershell.这个其实就是cmd的升级版，cmd大家应该很熟悉，就是windows下的命令行工具，就跟我们的linux的命令行逸一样，只是windows使用更多的是图形化界面，面向的用户群体比较广。该命令是启动WSL。WSL是linux操作系统内核的一些组件，其实我们虽然是在windows下进行安装docker 实际上我们的docker还是跑在了Linux上的，这就是为什么我们需要用WSL的原因。打开终端，输入docker --version，可以查看版本信息，安装完毕。
2023-07-19 14:45:30
2776
原创 [Linux服务器 ] 安装Ftp配置
vsftpd.conf：位于/etc/vsftpd目录下。来自定义用户登录控制、用户权限控制、超时设置、服务器功能选项、服务器性能选项、服务器响应消息等FTP服务器的配置。vsftpd.ftpusers：位于/etc/vsftpd目录下。3.配置修改完成后，执行service vsftpd restart重启vsftpd服务。1.首先检查系统是否开启了vsftp服务，如果没有开启，先开启该服务。vsftpd的配置，配置文件中限定了vsftpd用户连接控制配置。关闭匿名访问或者修改防火墙的配置即可。
2023-05-30 08:45:25
1009
原创 [Linux服务器 ] nginx 配置图片静态访问方法
2.安装 EPEL 存储库：EPEL 存储库提供了额外的软件包，其中包括 Nginx。6.验证安装：打开 web 浏览器，并输入服务器的 IP 地址或域名。如果一切正常，你将看到 Nginx 的默认欢迎页面。修改location配置 为自己访问图片的位置 第五行 user改为root。重新启动 Nginx 服务，使配置更改生效。根据你的需求，可以进行相应的修改。Nginx 的配置文件通常位于。我们就可以看到自己的放置的图片。一. Nginx安装。
2023-05-29 18:56:15
4083
原创 WVP 安装
将 all-application.yml 里的所有配置站粘贴到application.yml里。然后 source /etc/profile 环境生效。根据所需参数配置自己的redis，mysql连接。jdk，maven 自行百度安装包进行解压。然后在/etc/profile 配置环境。启动WVP-PRO jar包。
2023-04-03 11:38:27
1398
原创 Hue 安装
编译成功后 cd /home/hadoop/apps/hue-3.7.1/desktop/conf/ 修改下面代码到hue.ini文件。/home/hadoop/apps/ 我们在home里创建hadoop/apps目录，将我们所需安装包在apps目录里进行解压。b、给刚才解压的hue文件改变拥有者属性，通过 chown -R 用户名 文件地址。最后，我们使用 su 命令切换用户，到hue文件夹下执行运行hue的命令就可以了。安装hue看了很多网上的教程，踩了好多的坑，终于安装成功了！
2023-03-20 14:12:05
1345
转载 odoo widget 用法
使用场景：在金钱字段的时候，会在前面出现金钱标志，字段为 fields.Integer()或fields.Float()使用场景：实现拖拽排序的时候，使用字段为sequence = fields.Integer(string=‘排序’)使用场景：需要进度条的时候，字段为fields.float()取值为0-100，注意：小数点会四舍五入。使用场景：展示kanban视图的时候使用，字段为fields.Many2many()使用场景： 使用复选框的时候， 字段：fields.Boolean()
2022-04-14 10:57:44
1903
原创 Odoo SQL查询
Odoo 使用易于使用的 ORM 技术，从开发人员的角度来看，ORM 方法使用起来很快，但从用户方面来看，它可能是一个缓慢的过程。这会影响用户体验。但是 SQL 查询比 ORM 快。所以最好使用/执行 SQL 查询来加快进程。在这篇博客中，我们将讨论如何在 Odoo 15 中执行 SQL 查询。为了执行 SQL 查询，我们在环境 (env) 中有一个属性“cr”。'cr' 是当前数据库直接执行查询的游标。查看以下示例，了解如何使用 SQL 查询将数据插入 res.company 模型。# 添加
2022-04-11 11:07:37
1066
原创 mysql 8.0.20 安装教程
MySQL :: Download MySQL Community Serverhttps://dev.mysql.com/downloads/mysql/官网下载地址如上 配置初始化的my.ini文件的文件 [mysqld]# 设置3306端口port=3306# 设置mysql的安装目录basedir=D:\Sql\MYSQL\mysql-8.0.20-winx64# 设置mysql数据库的数据的存放目录datadir=D:\Sql\MYSQL\Mydata# 允许最大
2022-03-18 17:19:24
494
原创 Win10环境前后端分离项目基于Vue.js+Tornado+Python3实现微信(wechat)扫码支付流程
在生活具有广泛性、高效性、使用方便性的支付方式是扫码支付，扫码的优点在于推广成本低，上至钓鱼台国宾馆，下至发廊地摊都能用，打印出来就完事了，而相比其他支付方式，现金的找零及假钞问题，信用卡的办理门槛、pos机的沉没成本，就算微信可集成的h5支付和小程序支付，奈何很多老年人根本不会用小程序和手机浏览器，更别说再进行支付操作了，所以基于二维码的扫码支付的确是非常符合国情的。本次我们使用前后端分离项目Vue.js+Tronado来集成微信的扫码支付功能，体验一下21世纪泛用性最高的支付方式，首先注册微信公众平.
2022-02-16 16:24:11
564
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人