自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(39)
  • 收藏
  • 关注

原创 Kafka 消费者应用解析

注:示例代码使用的语言是Python。

2024-04-26 19:53:31 893 1

原创 Kafka 生产者应用解析

可以根据实际需要,自定义实现分区器。示例:自定义分区 发送过来的数据中如果包含 hello,就发往 0 号分区,不包含 hello,就发往 1 号分区。# 自定义分区 发送过来的数据中如果包含 hello,就发往 0 号分区,不包含 hello,就发往 1 号分区。""":function: 自定义分区:param topic: 写入数据所在的topic:param msg: 写入的数据:return:"""# 自定义分区器return 0else:return 1。

2024-04-26 17:26:21 989 1

原创 Kafka集群安装

kafka的管理需要借助zookeeper完成,所以要先安装好zookeeper集群。

2024-04-25 15:08:26 959 2

原创 MySQL Linux环境安装部署

validate_password.policy:密码复杂性要求级别,默认为 MEDIUM。GRANT ALL PRIVILEGES ON *.* TO '用户名'@'%' WITH GRANT OPTION;CREATE USER '用户名'@'%' IDENTIFIED BY '密码';# 刷新MySQL的权限表以使更改生效。# 刷新权限表和使更改生效。# 使用mysql数据库。

2024-04-18 10:17:53 701

原创 LInux shell编程之基础语法

shell 是一个命令解释器,它接收应用程序/控制台命令。然后调用操作系统内核shell 是一个功能强大的编程(脚本)语言,易编写、易调试、灵活性强1、常用系统变量注意:系统变量都是大写,自定义变量大小写不做要求,一般是小写。2、常用操作(1)查看系统变量的值方式:$系统变量名如:查看系统变量HOME的值echo $HOME(2) 查看系统环境变量命令:env(3) 查看当前shell中所有的变量,包括临时变量、自定义变量命令:set定义变量:变量名=变量值;注意:=号前后不能有空格。

2024-04-17 16:22:28 842

原创 Linux三剑客之grep篇

作用:文本搜索工具,根据用户指定的模式(匹配条件),对目标文本或管道数据流逐行进行匹配检查,最后打印匹配的结果。使用grep 命令本身会开启新的进程,使用参数 -v 过滤掉grep进程。支持使用扩展的正则表达式元字符。具体行数根据参数后面的数字决定。静默模式,不输出任何信息。忽略匹配字符的大小写。只统计成功匹配的行数。

2024-04-17 13:59:52 368

原创 Linux三剑客之sed篇

命令:sed -e "s/This/It/g" -e "s/boy/cat/g" sed_test.txt 或 sed -e "s#This#It#g" -e "s/boy/cat/g" sed_test.txt。方式1使用管道输出:ifconfig ens33 | sed "2p" -n | sed "s/^.inet //g" | sed "s/ net.$//g"命令:sed -n "/hello/p" sed_test.txt。命令:sed - i "/book/d" sed_test.txt。

2024-04-16 23:10:40 583

原创 Linux三剑客之awk篇

方式一:使用-v 参数选项指定示例:定义变量name,并使用awk输出name的内容命令:awk -v name='Tom' '{print "My name is " name}' student_table方式二:直接内部定义示例:定义变量name,并使用awk输出name的内容。

2024-04-16 22:55:52 826

原创 Python 正则表达式模块使用

在Python中需要通过正则表达式对字符串进行匹配的时候,可以使用re模块re.match(正则表达式, 要匹配的字符串) 有返回值说明匹配成功;否则匹配失败。

2024-04-12 14:57:09 704

原创 Python 序列化与反序列化

通过文件操作,可将字符串写入到一个本地文件,但是无法将一个对象,如字典,列表,元组直接写入到一个文件里,这是就需要将这个对象进行序列化,然后写入文件。把内存中的数据转换为字节序列,保存到文件。从文件的字节序列恢复到内存中。字符串与 byte 类型之间互相转换常用的 encode() 函数、与 decode() 函数,分别代表着编码与解码。在Python中有两个模块可以实现序列化和非序列化,分别是json 和 pickle,下面分别说明两者的使用和区别。

2024-04-11 15:24:39 987

原创 Python装饰器的使用详解

在函数嵌套的前提下,内部函数使用外部函数的变量,并且外部函数返回内部函数我们把这个使用外部函数变量的内部函数称为闭包。

2024-02-29 19:20:29 894 1

原创 appium实现自动化测试原理

bootstrap是Appium在初始化的时推送到Android手机上的一个UiAutomator测试脚本,该脚本的唯一一个测试方法的作用就是在手机端开启一个SocketServer(socket通信服务),实际上bootstrap是一个socket服务器,专门监听设备上4724端口过来的appium的连接和命令数据,并把appium的命令转换成uiautomator的命令来让uiautomator进行处理。

2024-02-19 12:26:56 1134

原创 Uiautomator2实现Android自动化测试详解

已选中的元素,通常用于复选框,参数为True,False。获得了焦点的元素,参数为True,False。当前选中的元素,参数为True,False。description符合指定正则的元素。可检查的元素,参数为True,False。可点击的元素,参数为True,False。可长按的元素,参数为True,False。可滚动的元素,参数为True,False。已激活的元素,参数为True,False。可聚焦的元素,参数为True,False。resourceId为符合指定正则的元素。

2024-02-19 12:20:57 1324

原创 使用wda框架实现IOS自动化测试详解

Facebook-wda库(wda是其简称)是一个基于WebDriverAgent的Python客户端库,用于实现iOS设备的自动化测试。WebDriverAgent:Facebook-wda库依赖于WebDriverAgent项目,这是一个由Facebook开源的iOS设备自动化测试框架。它是一个基于XCTest和XCUITest的服务,运行在iOS设备上,并提供了与设备进行通信的接口。WebDriver协议:Facebook-wda库使用WebDriver协议与WebDriverAgent进行通信。

2024-02-03 15:41:20 1829 1

原创 基于tidevice实现iOS app自动化使用详解

首先需要知道在iOS设备上是谁在执行发送过去的指令,它就是XCUITest,下面介绍它的由来和作用:XCTest和XCUITest是 iOS 开发中常用的两个测试框架,它们之间存在一定的区别和联系。XCTest:是苹果官方提供的测试框架,可以在 Objective-C 和 Swift 语言中使用。它提供了很多功能强大的测试工具,包括单元测试、性能测试、UI 测试等。使用 XCTest 可以帮助开发者快速编写和运行各种类型的测试用例,并得到详细的测试报告。

2024-02-01 12:15:24 1744

原创 httprunnerV4.X的基本使用详解

HttpRunner 是一款面向 HTTP(S) 协议的通用测试框架,继承request的全部特性,只需编写维护一份 YAML/JSON 脚本,即可实现自动化测试、性能测试、线上监控、持续集成等多种测试需求。HttpRunner:所有的测试用例类必须继承于HttpRunnerConfig:当前测试用文件的全局配置,可以配置全局变量,base_url,导出变量Step:测试步骤,每一条测试用例对应一个StepRunRequest:每一条测试用例的执行封装。

2024-01-26 15:42:14 1300

原创 python虚拟环境使用详解

poetry config virtualenvs.create --local --unset 执行后当前项目配置中的virtualenvs.create的值被重置。2、安装最新包指定为开发依赖,会写到pyproject.toml中的[tool.poetry.dev-dependencies]1、安装poetry.lock(如果存在)/pyproject.toml文件中的全部依赖。2、新建的项目,还没有pyproject.toml文件和虚拟环境。pipenv uninstall 包名。

2023-12-21 12:00:00 1425

原创 Jenkins集群配置(并发构建)

安装方式:Manage Jenkins ->插件管理->可选插件->搜索:Build Agents plugin ->点击选中并执行下载安装(Install without restart)1、新增节点路径:Manage Jenkins ->Manage nodes and clouds->新建节点。注意:Jenkins连接Slave节点需要一段时间,不会立即更新连接状态,需要多等待下。

2023-12-20 16:03:26 560

原创 Jenkins流水线构建

优势:使用流水线可以让任务从ui手动操作,转换为代码,像docker的dockerfile一样,从shell命令到配置文件,更适合大型项目,可以让团队的其他开发者同时参与进来,同时也可以编辑开发Jenkins web ui 不能完成的更复杂的构建,作为开发者可读性也更好。3、配置流水线,定义流水线模式:Pipeline script from SCM。注意:创建多分支流水线,每个分支下面必须要有Jenkinsfile文件。2、配置流水线,定义流水线模式:Pipeline script。

2023-12-20 12:36:58 1027

原创 jenkins触发器构建配置

定义:这是一种基于源代码管理系统(SCM)的变动来触发构建的方式。Jenkins 会定期轮询 SCM 工具(如 Git、Subversion 等)检查代码仓库中是否有新的提交或更新。Build Authorization Token Root插件安装完成之后,查看插件使用文档(直接在插件中心点击插件查看),可以看到调用方式需要改为:buildByToken/build?可以指定一个 Cron 表达式来定义构建的时间规则,Jenkins 将根据该表达式在特定的时间点自动触发构建。

2023-12-20 12:22:02 1210 1

原创 Docker的安装和基本命令使用详解

1、docker解决的问题在传统的软件开发中,任务安装配置环境非常复杂,且过程冗余重复,尤其是在跨平台时软件的移植,部署;即便如此,仍然常常发生部署失败的状况。Docker的出现使得Docker得以打破过去「程序即应用」的观念。透过镜像(images)将作业系统核心除外,运作应用程式所需要的系统环境,由下而上打包,达到应用程式跨平台间的无缝接轨运作。2、docker的优势。

2023-12-19 12:40:16 934 1

原创 flask之信号的使用

注意事项:信号本身不会有返回值,因为它不会影响原有流程的执行。

2023-12-08 10:53:58 372

原创 flask1.x源码详解

现在flask版本已经到了3.X为什么还要看flask1.X?,会用不就好了吗为什么要看源码?

2023-12-07 12:23:20 872 1

原创 Python上下文管理之ContextVar源码解析

前言【注:下面所有Python代码都是基于Python3.9版本的】

2023-11-30 12:16:29 1101

原创 Python异步编程之协程

官方文档事件循环 — Python 3.12.0 文档1、异步编程是一种并发编程的模式,在不同任务之间进行调度切换执行,减少CPU的空闲时间一达到减小整个程序的执行时间。2、与多线程和多进程并发编程模式相比,异步编辑就是协程并发执行的处理,即在同一个线程下不同任务之间的调度,所以异步编程无法充分利用多核CPU的优势,适用于IO阻塞性任务。3、异步编程的可应用于协程控制执行网络IO和IPC控制子进程、通过队列实现分布式任务、同步并发代码。

2023-11-28 12:33:32 966

原创 详解Python数据库连接池的使用

【代码】详解数据库连接池的使用。

2023-10-18 10:10:12 1228

原创 flask项目部署到docker容器中

环境:使用poetry工具管理依赖。python版本3.9+步骤:步骤:步骤:

2023-10-09 18:34:51 844 1

原创 部署flask项目到docker容器中不能访问的问题

主入口函数启动函数是: app.run()或者 app.run(host=localhost, port=5000);这种方式启动只能通过本地访问,外部无法通过IP地址进行访问服务。将host的值改为"0.0.0.0",即app.run(host="0.0.0.0", port=5000)将flask项目部署到docker容器并启动容器后,通过curl命令工具或浏览器访问失败,提示拒绝连接。

2023-10-08 18:35:58 372 1

原创 Python操作impala工具类

【代码】Python操作impala工具类。

2023-09-18 10:28:00 233

原创 Python连接impala相关配置

安装impala所依赖的thrift库。

2023-09-18 10:14:50 270

原创 Python使用pyhive操作hive工具类

【代码】Python使用pyhive操作hive工具类。

2023-09-16 20:41:59 369 1

原创 Python连接Hive相关配置

对应sasl.whl 包 : sasl‑0.3.1‑cp39‑cp39‑win_amd64.whl。-- 远程模式部署metastore metastore地址 -->win_amd64:表示为驱动为windows 64位的驱动。cp39:表示为python的版本,为python 3.9。-- 存储元数据mysql相关配置 -->访问地址:http://ip:10002/-- H2S运行绑定host -->-- 关闭元数据存储授权 -->Thrift最小工作线程数。Thrift最大工作线程数。

2023-09-16 20:32:36 918 1

原创 python使用happybase操作hbase工具类

【代码】python使用happybase操作hbase工具类。

2023-09-08 18:21:27 370 1

原创 Python3连接hbase问题汇总

要解决这个问题,你可以将 hbase.regionserver.thrift.http 的值设置为 false,重启 HBase Thrift 服务,并使用 HappyBase 基于 Thrift 协议进行连接和数据操作。由于 HappyBase 是基于原生的 Thrift 协议实现的 Python 客户端库,它不直接支持通过 HTTP 进行连接和读取数据。因此,如果你在 HappyBase 中尝试通过 HTTP 访问 HBase Thrift 服务,可能会导致无法读取数据的问题。

2023-09-08 18:14:23 483 1

原创 Linux 配置相关命令

掌握常用Linux相关配置,systemctl服务设置命令、Linux虚拟机固定IP操作命令,环境变量配置命令。

2023-03-10 17:38:23 1038

原创 Linux 用户和权限管理

在使用的Linux系统时,会进行用户、用户组和文件权限控制管理,掌握权限相关命令操作是必不可少的。

2023-03-08 00:01:38 723

原创 Linux文件操作进阶命令

Linux的打包压缩、软链接与硬链接、vi文本编辑是掌握Linux必不可少的内容.

2023-03-02 23:48:56 149

原创 Linux文件操作基础命令

对Linux文件基础操作命令运用自如,是建立Linux知识体系的根基,一起来看看吧

2023-03-01 10:18:04 799

原创 Linux 系统介绍与软件包管理

从整体上去认识和了解Linux系统,区别于我们常用的windows系统,从最开始的连接服务器和Linux软件包的管理初步认识Linux系统。

2023-02-27 23:00:54 228 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除