hzp666的博客

原创 python读取Excel到mysql

data1 = pd.read_excel("C:/work/20230818***/数据导入.xlsx",dtype={0:"int", 2:"str", 3:"str"},parse_dates=[4,5])data1 = pd.read_excel("C:/work/20230818***/数据导入.xlsx",dtype={0:"int", 2:"str", 3:"str"},parse_dates=[4,5])设置特定类型，和指定日期类型。

原创 mysql新建用户

ps: GRANT SELECT 可以换成 insert 、update、或者all。create user '账号名'@'%' identified by '密码';GRANT SELECT ON 数据库名.表名 TO '账号名'@'%';ps: @'%' 中的 % 表示任意地点都可以登录。ps: @'%' 中的 % 表示任意地点都可以登录。分为两步，新建用户和赋权。

原创 java后端调用接口Basic auth认证

headers.set("Authorization", "Basic " + Base64.getUrlEncoder().encodeToString(("用户名" + ":" + "密码").getBytes()));log.info("返回结果：{}" ,result.getBody().toJSONString());log.warn("查询失败,url={}",url);//传递参数，这里解析了传进来的JSON类型的手机号，并作为参数传给调用的接口。log.info("手机号为空！

原创 java中fastJSON解析复合

/然后要取数组的第几个元素，即jsonObject.getJSONArray("data").//data是个array，所以用getJSONArray，即jsonObject.getJSONObject：取JSON对象时候用，返回JSON对象。getJSONArray：取数组时候用，返回JSON对象。getString：获取标签对应的值，返回字符串。//再获取basicInfo 的JSON对象，即。//解析JSON获取link对应的值。//首先先把字符串变成JSON对象。比如：下边的JSON。

转载 Hudi集成Spark之并发控制-并行写入

针对写入操作（upsert、insert等）利用乐观并发控制来启用多个writer将数据写到同一个表中，Hudi支持文件级的乐观一致性，即对于发生在同一个表中的任何2个提交（写入），如果它们没有写入正在更改的重叠文件，则允许两个写入都成功。基于前面DeltaStreamer的例子，使用Delta Streamer消费kafka的数据写入到hudi中，这次加上并发写的参数。（4）zk下产生了对应的目录，/multiwriter_test下的目录，为代码里指定的lock_key。3）查看zk是否产生新的目录。

转载 设置YOLO-V8的参数

Boxes对象可用于索引、操作边界框，并将其转换为不同的格式。Box格式转换结果是缓存的，这意味着每个对象只计算一次，并且这些值将在将来的调用中重复使用。YOLOv8可以处理很多类型的识别，比如：图片、视频、还有YouTube的网页连接，强不强！、NumPy数组、Torch张量、CSV文件、视频、目录、通配符、YouTube视频和视频流。表格✅指示了每个输入源是否可以在流模式下使用，并给出了每个输入源使用流模式的示例参数。设置预测参数，可以满足我们不同的需求。：用于操作边界框的属性和方法的对象。

原创 图像识别-YOLO V8安装部署-window-CPU-Pycharm

PyTorch 无疑是现在最成功的深度学习训练框架之一，是各种顶会顶刊论文实验的大热门。比起其他的框架，PyTorch 最大的卖点是它对动态网络的支持，比其他需要构建静态网络的框架拥有更低的学习成本。PyTorch 源码 Readme 中还专门为此做了一张动态图：对研究员而言， PyTorch 能极大地提高想 idea、做实验、发论文的效率，是训练框架中的豪杰，但是它不适合部署。

原创 python装13的一些写法

判断 list1 中是否包含某个/某些元素。判断某个集合元素，是否包含某个/某些元素。

原创 fineReport11.0.4版本新建数据链接

把驱动放到 目录下：FineReport_11.0\webapps\webroot\WEB-INF\lib。点下驱动，选择新上传的，然后 右上角 保存。ps：表中如果没有该条数据，需要新增一条。对应驱动可以在官网下载，百度搜下有教程。

转载 python报错：TypeError: missing 1 required positional argument: ‘self‘

python类调用类方法时候，没有实例化类。（在类后边加个括号即可）对象的声明需要括号。而类的声明括号可有可无。

原创 linux定时重启tomcat

首先编辑一个文件然后输入：/bin/bashecho "[info][$(date +'%F %H:%M:%S')]正在监控tomcat，路径：$tomcatPath"thenecho "[info][$(date +'%F %H:%M:%S')]tomcat进程为：$pid"echo "[info][$(date +'%F %H:%M:%S')]tomcat已经启动，准备使用shutdown命令关闭..."sleep 5then。

转载 精确率、召回率、准确率的区别

例子：假设我们手上有60个正样本，40个负样本，我们要找出所有的正样本，系统查找出50个，其中只有40个是真正的正样本，计算上述各指标。TP: 将正类预测为正类数 40。FN: 将正类预测为负类数 20。FP: 将负类预测为正类数 10。TN: 将负类预测为负类数 30。参考：（已修改原文中错误）

转载 python搭建HTTP服务器并外网访问 - 内网穿透

至此，我们成功的使用python建立一个简单的服务器页面，并且通过cpolar为其创建了一条能够穿透内网屏障的数据隧道，将这个python网页发布到公共互联网上。其实，只要知道网页（或软件）的输出端口号，我们都可以使用cpolar穿透内网，让我们在公共互联网上访问到本地的网页（或软件）。Python快速搭建简单的HTTP服务器，并发布公网访问。

转载 python中遍历dataframe

在数据分析的过程中，往往需要用到的类型，因为这个类型就像EXCEL表格一样，便于我们个中连接、计算、统计等操作。在数据分析的过程中，避免不了的要对数据进行遍历，那么，DataFrame如何遍历呢？之前，小白每次使用时都是Google或百度，想想，还是总结一下~小白经常用到的有三种方式，如下：首先，先读入一个DataFrame。

转载 java写后端接口中mapper的一些操作

内容来自。

原创 finereport中自定义图表提示

i++) {value += ''+"●"+points[i].seriesName+':'+points[i].value+"人";

原创 pg实现月累计

FROM (FROM () ptuser) aJOIN (FROM () ptuser) b。

原创 大模型部署：chatGLM2-6b-int4的CPU版部署

可以保存到本地文件夹内，任意位置都可以（最好不要带中文和空格）。

原创 finereportV11部署

V11.0.4本文介绍在 Linux 系统中使用 Tomcat 部署包的方法。注：相比于传统部署架构，容器化部署具有隔离性、可移植性、灵活性、可伸缩性和可控性等优点，可大幅降低企业的维护成本和资源成本。部署新项目-FineReport。

原创 Excel中Vlookup

原因:公式中第二个参数，选择的范围小了，范围需要包括所有需要拿回的列。2.第二个参数，要选择全部范围(包括被查找列，以及查找内容)3.第四个参数，False是精准匹配，TRUE是模糊匹配。4.现在一个单元格写好函数，然后拖动复制单元格公式即可。2.第三个参数用column（）函数，第三列不要锁定。1.按F4，锁定第一个和第二个参数。问题描述:只能拿回一列。

转载 python解析JSON文本

json.load()：将一个存储在文件中的json对象（str）转化为相对应的python对象json.loads()：将一个json对象（str）转化为相对应的python对象json.dump()：将python的对象转化为对应的json对象（str),并存放在文件中json.dumps()： 将python的对象转化为对应的json对象（str)

转载 从 Apache Doris 到 SelectDB，从开源数仓走向下一代云原生数仓的演进

数仓或大数据中面临的非结构化、半结构化数据越来越多，而 SelectDB 高效原生地支持了半结构化数据的高效存储和检索分析，在半结构化数据的灵活高效存储方面，支持了Array、JSONB、Map 等复合数据类型，支持灵活快速的 schame 变更，最重要的是支持动态 schema 表，可以自动识别数据的字段和类型、自动扩展新字段、动态扩展表结构。对于常见的各种数据源和数据集成工具，Doris 都提供了开箱即用的对接能力，包括 Flink、Spark、Kafka 等，进一步实现了对海量数据的存储与分析。

转载 pycharm设置全局搜索

这种搜索的名字叫做"find in path"，和默认的win10输入法切换简繁体的快捷键冲突。这是全局字符串搜索的界面，上面有很多更精细的设置，比如忽略大小写，正则匹配，改变匹配范围等，这里不再详细介绍。例如我添加了一个ctrl+shift+g的自定义快捷键，以免和win10系统冲突。ctrl+f也可以搜索本页的字符串，ctrl+f搜索当前界面是很多软件都有的功能。如果键盘带数字键盘，用Ctrl + 数字键盘的点，也可以。

原创 Hudi学习5：Hudi的helloworld-编译源码

hudi是使用java代码编写的。

转载 Hudi学习6：安装和基本操作

Hudi数据集的组织目录结构与Hive表示非常相似，一份数据集对应这一个根目录。数据集被打散为多个分区，分区字段以文件夹形式存在，该文件夹包含该分区的所有文件。■在根目录下，每个分区都有唯一的分区路径，每个分区数据存储在多个文件中。■每个文件都有惟一的fileId和生成文件的commit所标识。如果发生更新操作时，多个文件共享相同的fileId，但会有不同的commit。■每条记录由记录的key值进行标识并映射到一个fileId。

原创 人才画像--持续更新

六大模块之间相辅相成，相互联系，对解决企业人才的“留、选、育、用”问题具有极为关键的作用。七大模块，渗透到六大模块之中，为每一模块提供过硬的数据支持，推动人力资源管理系统的全面。人力资源管理包括人力资源规划、招聘与配置、培训与开发、绩效管理、薪酬管理及员工关系。大数据时代的到来，为其注入了新能量，有人认为，大数据将成为人力资源管理的第。

转载 Hudi的MOR和COW表模式

Apache Hudi提供了不同的表类型供根据不同的需求进行选择，提供了两种类型的表在深入研究 COW 和 MOR 之前，让我们先了解一下 Hudi 中使用的一些术语，以便更好地理解以下部分。

原创 Hudi学习3：数据湖主流架构

支持flink，并且支持快速upsert/ delete。iceberg表可以扩展。

原创 postman 测试post传参

传参数在body里边，选row ,选json。

原创 sourceTree打不开，启动闪退

应该还是缓存文件的问题：把这个临时文件删掉：

转载 使用sourceTree连接gitlab仓库

总体步骤：安装git工具，生成ssh秘钥，配置gitlab秘钥，配置sourceTree.1.安装git省略2.git生成ssh秘钥3.配置sourceTree。

原创 python把Excel写入pg

1.Excel列和数据库表字段相同data1 = pd.read_excel("C:/work/20220714***/**/词**导入pg.xlsx")# trim# dataframe类型转换为IO缓冲区中的str类型。

原创 mysql设置update_time自动更新和create_time手动更新

ALTER TABLE t_emp_tag CHANGE create_time create_time TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间';设置create_time，创建时候默认当前时间。COMMENT '最后修改时间';

原创 Hudi学习2：数仓和数据湖介绍

2.解决了数仓必须分层，数据湖直接存储原始数据，不需要分层，直接用于应用。1.数仓无法存储非结构化数据（图像、音视频等）的问题。性价比：分层可能存在冗余。

原创 Python输出list到Excel

row_list = [['02', '技能属性', '020001', '技术能力', '0200010001', 'IT技术', '02000100010027', 'IT工具', '020001000100270037', 'ffmpeg'], ['02', '技能属性', '020001', '技术能力', '0200010001', 'IT技术', '02000100010027', 'IT工具', '020001000100270038', 'adobe acrobat reader']]

转载 Python字符串左侧额补齐0

字符串中数字左边补0, 0>2表示数据总显示宽度为2，以０补齐。当然我们也可以补齐其它数字，例如８，输出总宽度为５。

转载 Python访问网页登录提交操作

①例如这样的xpath( ‘//*[@id=“kw”]’)可以点击F12打开浏览器调试器(或者右键页面选择检查)=》点击调试器的箭头标志=》点击页面需要输入信息的input框或者点击提交的button按钮=》右键copy=》copy xpath即可。

原创 flink学习46：flinkSQL自定义函数

实例：

原创 flink学习45：flinkSQL

支持的函数select查询过滤聚合操作连接操作集合操作intersect & exceptinexistsorder bylimit

原创 flink学习44：基于行的操作分组和窗口的聚合