Damien_J-CSDN博客

原创 MLFlow 入门(Model管理，生命周期管理)

MLflow是一个开源平台，专门为了帮助机器学习的从业者和团队处理机器学习过程中的复杂性而设计的。MLflow关注机器学习项目的完整生命周期，确保每个阶段都是可管理的、可追溯的和可复现的。MLflow目前提供了几个关键的组件：MLflow AI Gateway：通过安全、简单的API与最先进的LLM进行交互。MLflow LLM Evaluate：简化LLM和提示的评估。MLflow Tracking：记录和查询实验：代码、数据、配置和结果。

2023-11-24 17:24:07 2123

原创 Spring-Boot 使用JSR-107集成EHCache3.x (配置Clustered以及DISK)

最近要使用EHCache3.8,网上的文档发现很少,多半都是2.x的,偶尔有些3.x的都是相互复制粘贴一些官网的.而使用JSR-107以Program方式配置的Blog一个都没看到,而且配置DISK 的Persistence 或者 Cluster的URI的也是一个都没有,只有自己手动去找和探索.所以呢总结下.官方文档Ehcache 3.8 https://www.ehcache.org/documentation/3.8/index.htmlPOM首先是依赖的引入, cache-api 是 JS.

2021-05-31 18:12:19 1114 2

原创 Spring Boot 使用 Hazelcast 作为 CacheProvider 以及 Hibernate JPA 二级缓存

之前在项目中一直用到hazelcast,但是并没有系统的总结下,今天刚好总结下.简介关于Hazelcast的介绍我就不赘述了,今天主要总结下用法.这篇帖子写的还不错,要了解的话可以看这个.https://blog.csdn.net/jiangbb8686/article/details/102499206使用POM <dependency> <groupId>com.hazelcast</groupId> .

2021-05-18 18:12:40 1156 1

原创 Spring boot 整合Neo4j 实现动态Cypher

提到spring boot整合Neo4j,一般都会提到spring-data-neo4j,使用类似于jpa的方式,使用entity去maintain,但是如果想要添加动态关系或者动态的node,就算是@Query也是不够用了使用OGM其实这个包也被spring-data-neo4j引入了,所以不必要单独引入import org.neo4j.ogm.session.Session;import org.neo4j.ogm.session.SessionFactory;import org.s.

2021-01-08 15:07:30 3405 4

原创 Neo4j apoc 整合Angular,HighChart.networkgraph,Primeng从任意节点拉出和该节点有关系的整个图 (Enhanced)

最近有个需求,其中一个子需求就是从任意节点进入,拉出和他有关系的整个图,所以研究了下APOC关于介绍就去看这篇帖子吧https://blog.csdn.net/graphway/article/details/78957415apoc.path.expand我们要使用的API就是apoc.path.expand,具体介绍看https://neo4j.com/labs/apoc/4.1/overview/apoc.path/apoc.path.expand/以及https://neo4j.co.

2020-12-30 16:40:09 685

原创 Highcharts Tilemap 自动生成正六边形蜂窝状排布算法(Angular)

上一个项目需要用到TileMap，并且给定任意数据，动态排布成正六边形。关于TileMap的排布就是最后数据的结构，我记得当时还在本子上列公式算了一会，算出来个公式。写这篇blog的时候大概过了快一年了，还花了些时间回想。X代表数据总数，Y代表正六边形正中间那一行有多少个数据，只有当Y为整数的时候，当前的X的数据量才可排布成正六边形。由于我已经不在那个项目了，sourcecode没有权限拿不到，启动不起来，只有拿官网的例图来说明，看圈内就是一个正六边形排布，把数据总数7带入公式，刚好可以得出中间数据

2020-08-28 17:11:35 1746

原创 Python SDK 使用Azure Document intelligence报错(404) Resource not found

抱着试一试的心态尝试去重新创建了个DI，我一开始是southeast Asia，新建了一个是East US的区域的DI，然后修改代码里面的endpoint和key。重新跑代码，居然成功了。最近项目需要使用到Azure Document intelligence,于是去做POC，但是发现最简单的demo跑的时候都会报这个错，解决了一下午终于搞定了，记录下。最后是demo代码。这个PDF应该是公共可以访问的。解决了一下午，终于解决了。的问题，本来是不太相信的，

2024-08-01 16:55:34 146

原创 pip 查看包依赖树

【代码】pip 查看包依赖树。

2024-07-25 14:36:01 130

原创 linux 查看当前目录下占用空间命令

du -sh */

2024-07-25 14:10:56 295

原创 Angluar 实现pdf页面预览以及编辑

我这边suppor了如果是docx就转换成pdf再返回，如果是pdf就直接把path传到send_file里面，as_attachment如果是需要浏览器弹出下载就True，否则就False。然后就可以在html中使用了，我是因为项目需求关闭了某些功能，具体哪些功能怎么用就不一一介绍了，看官方文档就行了。之前用过一个pdf预览的lib，并且还支持在线编辑，和直接下载编辑之后的pdf和直接打印，还不错，记录下。这边是我的service，直接去后端获取源文件，然后赋值给[src]就行了。

2024-07-04 17:36:41 458

原创 python 实现docx指定语言翻译(不丢失格式)

传入文件名，后缀，需要翻译成的语言。我这里用的自动检测语言，但是翻译的速度就会慢一点，如果想要达到最快的翻译速度的话，最好就是指定源语言是什么。这样翻译出来需要一点点时间，但是不会丢失格式，约等于完美翻译。可以看到他的source code是返回的一个 Detcted,直接.lang就可以拿到语言的key了。python-docx是用来读取docx的，googletrans使用来翻译的。我这边有个需求需要把一份docx翻译成指定语言的文档并且保存，研究了下，记录。这个是官方文档，额外的用法可以再这里找到。

2024-07-04 17:03:44 427

原创 python array[dict] 某个按照某个key去重

我现在有个这个array key需要按照key去重，一开始用list(set())去重，但是发现set不能传入dict.这样做就可以用某个key来去重。

2024-07-02 14:07:24 242

原创 Aiflow中，代码逻辑中明明不该触发的方法但是却触发了。

图中这个红圈的task，是我更新error记录的task，是某些特定的task特定情况会触发的。正常情况走的最下面的箭头的路径。但是现在就是就算只走了下面箭头的路径，红圈那个task依然被触发了。），意思就是上游没有失败的就会触发，不论成功或者是skiped都会执行，就算你这次代码逻辑根本走不到它。那怎么办呢？

2024-06-18 17:54:16 498

原创 Airflow 中的trigger_rule

在 Apache Airflow 中，trigger_rule 是用于控制任务何时被触发的规则。TriggerRule 是一个枚举类型，它包含了多种不同的触发规则。以下是这些规则及其用途的详细说明：trigger_rule的优先级非常高，就算dag顺序里面定义的路径应该走它但是trigger_rule没有满足，依然不会走，顺序里面不该走它，trigger_rule满足了他就会触发，我已经遇到几次这种错误导致我焦头烂额了

2024-06-18 17:31:48 262

原创 Airflow Dag中，某个多分支汇合的task不执行

其实问题的关键就是TriggerRule，TriggerRule默认是ALL_SUCCESS,也就是与门，我们想要的是或门，就是只有当所有上游任务都没有失败时，当前任务才会被触发（即上游任务要么成功要么被跳过）。我截图里面是我理想状态下，走任意一条路，之后最后retrain_model_by_model_info都会执行，但是这个问题就是遇到它执行，不管走的哪条路都不执行。就拿这个图举例，这是个典型的分支路最后汇合执行的task，用代码演示就是这种情况，有两条路可以执行，最后又回归同一个task。

2024-06-18 17:24:08 198

原创 linux上python代码docx转pdf

这边需要吧docx转成pdf，记录下。首先linux上需要安装对应lib。

2024-06-06 17:25:25 380

原创 Flask启动重复注册schedule问题

最近flask里面新加个schedule任务，但是启动的时候看log，schedule被注册了两次。导致每次任务都会被执行两次，查了下解决方案，记录。

2024-06-03 14:13:02 290

原创 404 for https://rpm.releases.hashicorp.com/RHEL/ “8.6/“ x86_64/stable/repodata/repomd.xml

etc/yum.repos.d/hashicorp.repo 这里面使用的是。而8.6还不存在，所以改成图下面这样，我改的8，然后保存重新安装就行了。在RHEL中安装consul的时候报错。

2024-05-29 09:06:50 416

原创使用ngx-extended-pdf-viewer 20.0.0报错pdf-4.1.889.min.mjs:1 Failed to load module script

这是我整个的nginx的配置,======================================就是需要增加的配置，保存之后sudo systemctl reload nginx 重启nginx就解决了。作为anguar17为fornt-end的pdf展示插件，本地npm start启动都没有任何问题，但是部署到nginx时候就报这个错，然后pdf也无法加载出来。

2024-05-14 17:57:30 328

原创 angular webapck ERRORexceeded maximum budget. Budget xxx kB with a total of xxx kB.

这个报错是某个文件超过了webpack配置限制的大小了，为了最大限度减小打包的大小。这种情况你可以，减小某个文件的大小，或者修改限制的配置。我的就是scss过大了，所以修改了这里就解决了。

2024-05-08 15:50:13 268

原创 Ubuntu 使用nginx部署agular项目

然后修改配置，修改需要发布的端口，修改你项目打包好的地址，然后我还配置了一个代理,/api开头的都会被代理到5000端口。完成之后就可以\target\classes\static找到，直接把整个static上传到需要部署的地方就可以了。我的front-end是用的webpack，就直接执行的npm run build打包。接下来新建项目配置文件，这个your_project就改成你的需要的名字。当然这个打包output路径也是angular.json配置好了的。然后就可以重启nginx了。

2024-05-08 15:46:38 507

原创 VSCODE通过SFTP链接VM进行开发

然后还是在项目那里右键，选择upload folder，就可以把你的开发代码同步到你的vm里面了，然后在你的项目右键，然后选择open ssh in terminal。安装之后，按ctrl+shift+p，找到sftp的config。在vscode插件里面搜索sftp，安装。然后填写刚刚的IP，然后是你的用户名密码。然后切换到这个sftp的tab里面。然后再terminal里面输入密码。如果是通过密钥链接的话就是这样配置。

2024-04-26 15:51:30 421

原创 python 使用flask_httpauth和pyjwt实现登录权限控制

这样的话，只需要引入之前定义的auth_provider，然后在需要登录之后才能访问的api上加入@auth_provider.login_required，当然auth_provider这个变量名是自己取的，你怎么定义的就用什么就行了。这样的话访问该api的时候就会自动去拿jwt验证。登录的方法可以看到，验证密码之后就会生成jwt返回，前端接到这个jwt之后，就会放在之后的请求内。jwt过期时间你可以根据需求自己定义。最近需要用到，学习了一下记录。实现验证token的方法，生成密码的方式在这里。

2024-04-26 15:19:59 932 1

原创 python代码报错requests.exceptions.SSLError

滚动到最后面，然后用编辑器打开一开始导出的证书，然后粘贴到cacert.pem最后面，保存退出。直接浏览器访问报ssl错误的网站，然后找到证书，选择导出。然后在cmd里面执行，去查看certifi的位置。找到之后用文本编辑器打开，我用的vscode。

2024-04-25 17:15:05 256 1

原创 ubuntu docker-compose 编排容器并且设置自启动

这是我的docker-compose,里面写了5个容器，一个sqlserver的db，一个airlfow，一个我的主项目，会根据里面规定好的启动顺序启动。我是先用dockerfile打好了我想使用的images，然后在docker-compose里面指定我自己打的images。第一次使用镜像部署容器就使用 docker-compose up,加不加-d看自己需求，是不是需要后台启动。WorkingDirectory这个需要指向你docker-compose.yml的路径。现在，服务将在系统启动时自动启动。

2024-03-11 16:33:34 627

把csv按日期分隔成不同文件

空空如也