- 博客(28)
- 收藏
- 关注
原创 hadoop 集成azure blob
Azure Blob存储是一种高度可扩展的对象存储服务,适用于存储大量非结构化数据,如文本、图像、视频和日志文件。它提供了高可用性、可靠性和安全性,并且可以与其他Azure服务集成,如Azure Data Lake和Azure Databricks。
2024-04-12 14:20:03
329
1
原创 clickhouse:readonly mode 处理
这通常是因为ZooKeeper中相关的表状态已被设置为只读,这可能是由于复制副本同步问题、手动设置或其他集群管理操作导致的。检查ZooKeeper状态:确认ZooKeeper服务运行正常,并且没有与ClickHouse集群同步有关的问题。查看表状态:通过ZooKeeper客户端或ClickHouse界面检查表的状态,确认是否被设置为只读。如果问题依旧存在,检查集群配置文件,确认复制策略和ZooKeeper配置是否正确。检查集群状态:确保所有的ClickHouse复制副本都在线并且同步正常。
2024-04-03 10:23:17
1232
原创 新版UDF(2.0以后版本HIVE)
是 Hive 中用于编写用户自定义函数(UDF)的基类,用于实现简单的数据转换。类被标记为 @Deprecated(即已弃用)。如果你正在维护一个旧的 UDF,应该考虑将其迁移到使用。如果你正在编写一个新的 UDF,应该继承。从 Hive 2.0.0 版本开始,类作为 UDF 的基类。
2024-03-29 11:18:42
290
原创 数据分析报表设计开发要素
报表设计一门非常复杂的学问,很多问题没有完全正确的答案,因使用场景的变化,原来合理的设计换了一个场景也许就不适用了,但只要让用户认可,用户习惯使用,并且依赖我们的报表,那么我们就是成功的。本文中的一些想法与设计,都是针对于如何把报表产品向着尽善尽美的方向发展而提出的,实际上由于受到开发成本,以及一些项目运营策略的考虑,实施的过程也可以灵活变通,做到产品利益服从与公司整体利益才是最可取的。
2024-03-27 16:51:36
640
原创 python 遍历获取句柄及其title
pip install pywin32 -i https://pypi.tuna.tsinghua.edu.cn/simple import win32guihwnd_title = dict()# and win32gui.IswindowVisible(hwnd)def get_all_hwnd(hwnd, mouse): if win32gui.IsWindow(hwnd) and win32gui.IsWindowEnabled(hwnd): hwnd_title.up
2024-03-19 14:58:28
381
原创 python 获取窗口位置等信息
hwnd = win32gui.FindWindow(None, '命令提示符')# 获取窗口的位置和大小。# 获取窗口文本内容。
2024-03-19 14:17:41
1403
1
原创 Python 获取谷歌浏览器标题
确保你的chromedriver在PATH中或者替换下面的路径为你的chromedriver的实际路径。# 如果chromedriver在PATH中,可以直接调用。print(title) # 输出标题。# 打开Google主页。# 获取当前页面的标题。
2024-03-19 14:12:02
464
1
原创 pyupdater库使用码云作为源端自动更新库
它允许你将应用程序的更新源指向任何可以访问的服务器。如果你想使用码云作为源,你需要确保码云上有一个可以访问的更新包仓库,并且你需要正确配置 PyUpdater 以指向这个仓库。使用上述代码,你的应用程序将会在启动时检查是否有新的更新,如果有,它会下载并安装更新,然后重启应用程序。码云仓库需要对应用程序开放足够的权限,以便于 PyUpdater 可以下载更新包。确保你已经在码云上创建了相应的仓库,并且你的应用程序有一个对应的应用ID。确保你的应用程序有足够的权限去访问码云上的更新包。需要替换成实际的信息。
2024-03-18 17:10:14
392
原创 python算法常用库
请注意,实际使用时需要根据具体需求安装对应的库版本,并且可能需要对代码进行调整以适应不同的库版本和API变化。TensorFlow 或 PyTorch:用于深度学习的两大库,提供强大的神经网络模型训练和推理能力。Scikit-learn:提供机器学习算法的库,包括数据预处理、分类、回归、聚类等。NumPy:用于数值计算的核心库,提供高性能的数组处理能力以及相关数学函数。SciPy:提供科学计算中常用的库,包括数值积分、优化、统计等功能。Matplotlib:用于绘图的库,可以创建各种图表和图形。
2024-03-18 11:36:57
269
原创 python 查找图片并点击
以 左上角为原点(0,0),向右为+X,下向下为+Y,# 移动鼠标到指定位置 , /2 是为了移动到图片正中心。# 在指定位置(x=100, y=100)进行右键点击。# 在指定位置(x=100, y=100)进行点击。# 在指定位置(x=100, y=100)进行双击。# 使用pyautogui进行屏幕截图。# 保存屏幕截图和待查找图片。# 读取目标图片和待查找图片。# 在当前位置进行点击。# 使用模板匹配方法。# 找到最佳匹配位置。
2024-03-18 10:48:29
1261
原创 ClickHouse跨集群表数据同步
直接跨集群传输,减少了I/O次数,进而大幅度提升了跨集群的数据传输,如数据备份,不同环境同步数据等效率。传输数据,其实就和本地表一样,只需要insert into test select ...就行了,select部分也是可以多层嵌套加条件的。因为ck集群1各个业务数据增长过快,现需要对集群1中的各个业务进行拆分,将原有集群1中ck表中的数据同步至其他不同环境ck集群2中。其中remote()函数就可以理解为是一个远程表名,port是指TCP端口,也是就默认的9000端口。
2024-02-28 11:26:31
369
转载 Jenkins安装,简单配置自动部署|自动化监控
部署:个人后端项目也可以直接shell脚本 java -jar *.jar的方式运行,所以就不要安装deploy to contain插件了,当前不推荐这样做,这样说明只是告诉大家,流程就是这样,实现方式有很多种,比如你的脚本编写能力很强,还管什么插件一切都是脚本控制(实际pipeline项目就是这样编写脚本方式实现)Desc:描述信息按需填写;jenkins是一款流行的开源持续集成工具,广泛应用于项目开发,具有自动化构建、部署等功能:官方文档:https://www.jenkins.io/zh/doc/
2023-12-20 17:49:01
130
1
原创 Swagger2的接口配置
description("描述:用于管理集团旗下公司的人员信息,具体包括XXX,XXX模块...")// 扫描所有 .apis(RequestHandlerSelectors.any())// 用来创建该API的基本信息,展示在文档的页面中(自定义展示的信息).title("标题:若依管理系统_接口文档")// 扫描所有有注解的api,用这种方式更灵活。// 设置哪些接口暴露给Swagger展示。// 扫描指定包中的swagger注解。// 用ApiInfoBuilder进行定制。
2023-03-31 15:32:58
365
原创 Apache POI 操作Excel简单入门使用
开发中经常会涉及到excel的处理,如导出Excel,导入Excel到数据库中,操作Excel目前有两个框架,一个是apache 的poi, 另一个是 Java ExcelApache POI 是用Java编写的免费开源的跨平台的 Java API,Apache POI提供API给Java程式对Microsoft Office(Excel、WORD、PowerPoint、Visio等)格式档案读和写的功能。
2023-03-29 16:14:43
607
转载 vue引用js文件的多种方式
(1) 首先 npm install jquery --save (--save 的意思是将模块安装到项目目录下,并在package文件的dependencies节点写入依赖。(1) 首先 npm install jquery --save (--save 的意思是将模块安装到项目目录下,并在package文件的dependencies节点写入依赖。(4) 在main.js 引入就ok了 (测试这一步不用也可以)(2)在webpack.base.conf.js里加入。用到了es6的语法。
2023-02-23 15:06:35
16517
转载 idea安装scala
进入之后会看到.idea-build文件,在idea 的 setting—>plugins下载的都会默认存在这个文件下边,我们卸载idea的时候他不会自动删除。在安装scala插件之前,要先在windows下安装scala,如果没有安装scala的话,可以参考这篇博客:windows下scala的安装教程。搜索scala,这里因为scala我以前已经安装过了,搜索之后会出现如下界面,找到scala,点击instal进行下载即可。打开idea,在左上角找到File(工具),然后在找到setting。
2023-02-21 15:56:26
3797
原创 hive tez报错:java.lang.OutOfMemoryError: Java heap space
hive tez报错:java.lang.OutOfMemoryError: Java heap space
2022-12-08 14:17:28
1261
原创 java 日志接入 kafka(附源码)
实现java 日志接入 kafka以便logstash读取日志,接入elk(Elasticsearch,Logstash,Kibana )
2022-12-07 10:14:13
834
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人