- 博客(28)
- 收藏
- 关注
RSS订阅原创 hadoop 集成azure blob
Azure Blob存储是一种高度可扩展的对象存储服务，适用于存储大量非结构化数据，如文本、图像、视频和日志文件。它提供了高可用性、可靠性和安全性，并且可以与其他Azure服务集成，如Azure Data Lake和Azure Databricks。
2024-04-12 14:20:03
329
1
原创 clickhouse：readonly mode 处理
这通常是因为ZooKeeper中相关的表状态已被设置为只读，这可能是由于复制副本同步问题、手动设置或其他集群管理操作导致的。检查ZooKeeper状态：确认ZooKeeper服务运行正常，并且没有与ClickHouse集群同步有关的问题。查看表状态：通过ZooKeeper客户端或ClickHouse界面检查表的状态，确认是否被设置为只读。如果问题依旧存在，检查集群配置文件，确认复制策略和ZooKeeper配置是否正确。检查集群状态：确保所有的ClickHouse复制副本都在线并且同步正常。
2024-04-03 10:23:17
1232
原创 新版UDF(2.0以后版本HIVE)
是 Hive 中用于编写用户自定义函数（UDF）的基类，用于实现简单的数据转换。类被标记为 @Deprecated（即已弃用）。如果你正在维护一个旧的 UDF，应该考虑将其迁移到使用。如果你正在编写一个新的 UDF，应该继承。从 Hive 2.0.0 版本开始，类作为 UDF 的基类。
2024-03-29 11:18:42
290
原创 数据分析报表设计开发要素
报表设计一门非常复杂的学问，很多问题没有完全正确的答案，因使用场景的变化，原来合理的设计换了一个场景也许就不适用了，但只要让用户认可，用户习惯使用，并且依赖我们的报表，那么我们就是成功的。本文中的一些想法与设计，都是针对于如何把报表产品向着尽善尽美的方向发展而提出的，实际上由于受到开发成本，以及一些项目运营策略的考虑，实施的过程也可以灵活变通，做到产品利益服从与公司整体利益才是最可取的。
2024-03-27 16:51:36
640
原创 python 遍历获取句柄及其title
pip install pywin32 -i https://pypi.tuna.tsinghua.edu.cn/simple import win32guihwnd_title = dict()# and win32gui.IswindowVisible(hwnd)def get_all_hwnd(hwnd, mouse): if win32gui.IsWindow(hwnd) and win32gui.IsWindowEnabled(hwnd): hwnd_title.up
2024-03-19 14:58:28
381
原创 python 获取窗口位置等信息
hwnd = win32gui.FindWindow(None, '命令提示符')# 获取窗口的位置和大小。# 获取窗口文本内容。
2024-03-19 14:17:41
1403
1
原创 Python 获取谷歌浏览器标题
确保你的chromedriver在PATH中或者替换下面的路径为你的chromedriver的实际路径。# 如果chromedriver在PATH中，可以直接调用。print(title) # 输出标题。# 打开Google主页。# 获取当前页面的标题。
2024-03-19 14:12:02
464
1
原创 pyupdater库使用码云作为源端自动更新库
它允许你将应用程序的更新源指向任何可以访问的服务器。如果你想使用码云作为源，你需要确保码云上有一个可以访问的更新包仓库，并且你需要正确配置 PyUpdater 以指向这个仓库。使用上述代码，你的应用程序将会在启动时检查是否有新的更新，如果有，它会下载并安装更新，然后重启应用程序。码云仓库需要对应用程序开放足够的权限，以便于 PyUpdater 可以下载更新包。确保你已经在码云上创建了相应的仓库，并且你的应用程序有一个对应的应用ID。确保你的应用程序有足够的权限去访问码云上的更新包。需要替换成实际的信息。
2024-03-18 17:10:14
392
原创 python算法常用库
请注意，实际使用时需要根据具体需求安装对应的库版本，并且可能需要对代码进行调整以适应不同的库版本和API变化。TensorFlow 或 PyTorch：用于深度学习的两大库，提供强大的神经网络模型训练和推理能力。Scikit-learn：提供机器学习算法的库，包括数据预处理、分类、回归、聚类等。NumPy：用于数值计算的核心库，提供高性能的数组处理能力以及相关数学函数。SciPy：提供科学计算中常用的库，包括数值积分、优化、统计等功能。Matplotlib：用于绘图的库，可以创建各种图表和图形。
2024-03-18 11:36:57
269
原创 python 查找图片并点击
以 左上角为原点(0,0),向右为+X,下向下为+Y,# 移动鼠标到指定位置 , /2 是为了移动到图片正中心。# 在指定位置(x=100, y=100)进行右键点击。# 在指定位置(x=100, y=100)进行点击。# 在指定位置(x=100, y=100)进行双击。# 使用pyautogui进行屏幕截图。# 保存屏幕截图和待查找图片。# 读取目标图片和待查找图片。# 在当前位置进行点击。# 使用模板匹配方法。# 找到最佳匹配位置。
2024-03-18 10:48:29
1261
原创 ClickHouse跨集群表数据同步
直接跨集群传输，减少了I/O次数，进而大幅度提升了跨集群的数据传输，如数据备份，不同环境同步数据等效率。传输数据，其实就和本地表一样，只需要insert into test select ...就行了，select部分也是可以多层嵌套加条件的。因为ck集群1各个业务数据增长过快，现需要对集群1中的各个业务进行拆分，将原有集群1中ck表中的数据同步至其他不同环境ck集群2中。其中remote()函数就可以理解为是一个远程表名，port是指TCP端口，也是就默认的9000端口。
2024-02-28 11:26:31
369
转载 Jenkins安装，简单配置自动部署|自动化监控
部署：个人后端项目也可以直接shell脚本 java -jar *.jar的方式运行，所以就不要安装deploy to contain插件了，当前不推荐这样做，这样说明只是告诉大家，流程就是这样，实现方式有很多种，比如你的脚本编写能力很强，还管什么插件一切都是脚本控制（实际pipeline项目就是这样编写脚本方式实现）Desc：描述信息按需填写；jenkins是一款流行的开源持续集成工具，广泛应用于项目开发，具有自动化构建、部署等功能：官方文档：https://www.jenkins.io/zh/doc/
2023-12-20 17:49:01
130
1
原创 Swagger2的接口配置
description("描述：用于管理集团旗下公司的人员信息,具体包括XXX,XXX模块...")// 扫描所有 .apis(RequestHandlerSelectors.any())// 用来创建该API的基本信息，展示在文档的页面中（自定义展示的信息）.title("标题：若依管理系统_接口文档")// 扫描所有有注解的api，用这种方式更灵活。// 设置哪些接口暴露给Swagger展示。// 扫描指定包中的swagger注解。// 用ApiInfoBuilder进行定制。
2023-03-31 15:32:58
365
原创 Apache POI 操作Excel简单入门使用
开发中经常会涉及到excel的处理，如导出Excel，导入Excel到数据库中，操作Excel目前有两个框架，一个是apache 的poi， 另一个是 Java ExcelApache POI 是用Java编写的免费开源的跨平台的 Java API，Apache POI提供API给Java程式对Microsoft Office（Excel、WORD、PowerPoint、Visio等）格式档案读和写的功能。
2023-03-29 16:14:43
607
转载 vue引用js文件的多种方式
(1) 首先 npm install jquery --save (--save 的意思是将模块安装到项目目录下，并在package文件的dependencies节点写入依赖。(1) 首先 npm install jquery --save (--save 的意思是将模块安装到项目目录下，并在package文件的dependencies节点写入依赖。(4) 在main.js 引入就ok了 (测试这一步不用也可以)(2)在webpack.base.conf.js里加入。用到了es6的语法。
2023-02-23 15:06:35
16517
转载 idea安装scala
进入之后会看到.idea-build文件，在idea 的 setting—>plugins下载的都会默认存在这个文件下边，我们卸载idea的时候他不会自动删除。在安装scala插件之前，要先在windows下安装scala，如果没有安装scala的话，可以参考这篇博客：windows下scala的安装教程。搜索scala，这里因为scala我以前已经安装过了，搜索之后会出现如下界面，找到scala，点击instal进行下载即可。打开idea，在左上角找到File（工具），然后在找到setting。
2023-02-21 15:56:26
3797
原创 hive tez报错：java.lang.OutOfMemoryError: Java heap space
hive tez报错：java.lang.OutOfMemoryError: Java heap space
2022-12-08 14:17:28
1261
原创 java 日志接入 kafka(附源码)
实现java 日志接入 kafka以便logstash读取日志，接入elk(Elasticsearch,Logstash,Kibana )
2022-12-07 10:14:13
834
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人