自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(238)
  • 收藏
  • 关注

原创 MLFlow 入门(Model管理,生命周期管理)

MLflow是一个开源平台,专门为了帮助机器学习的从业者和团队处理机器学习过程中的复杂性而设计的。MLflow关注机器学习项目的完整生命周期,确保每个阶段都是可管理的、可追溯的和可复现的。MLflow目前提供了几个关键的组件:MLflow AI Gateway:通过安全、简单的API与最先进的LLM进行交互。MLflow LLM Evaluate:简化LLM和提示的评估。MLflow Tracking:记录和查询实验:代码、数据、配置和结果。

2023-11-24 17:24:07 1080

原创 Spring-Boot 使用JSR-107集成EHCache3.x (配置Clustered以及DISK)

最近要使用EHCache3.8,网上的文档发现很少,多半都是2.x的,偶尔有些3.x的都是相互复制粘贴一些官网的.而使用JSR-107以Program方式配置的Blog一个都没看到,而且配置DISK 的Persistence 或者 Cluster的URI的也是一个都没有,只有自己手动去找和探索.所以呢总结下.官方文档Ehcache 3.8 https://www.ehcache.org/documentation/3.8/index.htmlPOM首先是依赖的引入, cache-api 是 JS.

2021-05-31 18:12:19 1005 2

原创 Spring Boot 使用 Hazelcast 作为 CacheProvider 以及 Hibernate JPA 二级缓存

之前在项目中一直用到hazelcast,但是并没有系统的总结下,今天刚好总结下.简介关于Hazelcast的介绍我就不赘述了,今天主要总结下用法.这篇帖子写的还不错,要了解的话可以看这个.https://blog.csdn.net/jiangbb8686/article/details/102499206使用POM <dependency> <groupId>com.hazelcast</groupId> .

2021-05-18 18:12:40 1076 1

原创 Spring boot 整合Neo4j 实现动态Cypher

提到spring boot整合Neo4j,一般都会提到spring-data-neo4j,使用类似于jpa的方式,使用entity去maintain,但是如果想要添加动态关系或者动态的node,就算是@Query也是不够用了使用OGM其实这个包也被spring-data-neo4j引入了,所以不必要单独引入import org.neo4j.ogm.session.Session;import org.neo4j.ogm.session.SessionFactory;import org.s.

2021-01-08 15:07:30 3272 4

原创 Neo4j apoc 整合Angular,HighChart.networkgraph,Primeng从任意节点拉出和该节点有关系的整个图 (Enhanced)

最近有个需求,其中一个子需求就是从任意节点进入,拉出和他有关系的整个图,所以研究了下APOC关于介绍就去看这篇帖子吧https://blog.csdn.net/graphway/article/details/78957415apoc.path.expand我们要使用的API就是apoc.path.expand,具体介绍看https://neo4j.com/labs/apoc/4.1/overview/apoc.path/apoc.path.expand/以及https://neo4j.co.

2020-12-30 16:40:09 642

原创 Highcharts Tilemap 自动生成正六边形蜂窝状排布算法(Angular)

上一个项目需要用到TileMap,并且给定任意数据,动态排布成正六边形。关于TileMap的排布就是最后数据的结构,我记得当时还在本子上列公式算了一会,算出来个公式。写这篇blog的时候大概过了快一年了,还花了些时间回想。X代表数据总数,Y代表正六边形正中间那一行有多少个数据,只有当Y为整数的时候,当前的X的数据量才可排布成正六边形。由于我已经不在那个项目了,sourcecode没有权限拿不到,启动不起来,只有拿官网的例图来说明,看圈内就是一个正六边形排布,把数据总数7带入公式,刚好可以得出中间数据

2020-08-28 17:11:35 1614

原创 使用ngx-extended-pdf-viewer 20.0.0报错pdf-4.1.889.min.mjs:1 Failed to load module script

这是我整个的nginx的配置,======================================就是需要增加的配置,保存之后sudo systemctl reload nginx 重启nginx就解决了。作为anguar17为fornt-end的pdf展示插件,本地npm start启动都没有任何问题,但是部署到nginx时候就报这个错,然后pdf也无法加载出来。

2024-05-14 17:57:30 173

原创 angular webapck ERRORexceeded maximum budget. Budget xxx kB with a total of xxx kB.

这个报错是某个文件超过了webpack配置限制的大小了,为了最大限度减小打包的大小。这种情况你可以,减小某个文件的大小,或者修改限制的配置。我的就是scss过大了,所以修改了这里就解决了。

2024-05-08 15:50:13 215

原创 Ubuntu 使用nginx部署agular项目

然后修改配置,修改需要发布的端口,修改你项目打包好的地址,然后我还配置了一个代理,/api开头的都会被代理到5000端口。完成之后就可以\target\classes\static找到 ,直接把整个static上传到需要部署的地方就可以了。我的front-end是用的webpack,就直接执行的npm run build打包。接下来新建项目配置文件,这个your_project就改成你的需要的名字。当然这个打包output路径也是angular.json配置好了的。然后就可以重启nginx了。

2024-05-08 15:46:38 439

原创 VSCODE通过SFTP链接VM进行开发

然后还是在项目那里右键,选择upload folder,就可以把你的开发代码同步到你的vm里面了,然后在你的项目右键,然后选择open ssh in terminal。安装之后,按ctrl+shift+p,找到sftp的config。在vscode插件里面搜索sftp,安装。然后填写刚刚的IP,然后是你的用户名密码。然后切换到这个sftp的tab里面。然后再terminal里面输入密码。如果是通过密钥链接的话就是这样配置。

2024-04-26 15:51:30 310

原创 python 使用flask_httpauth和pyjwt实现登录权限控制

这样的话,只需要引入之前定义的auth_provider,然后在需要登录之后才能访问的api上加入@auth_provider.login_required,当然auth_provider这个变量名是自己取的,你怎么定义的就用什么就行了。这样的话访问该api的时候就会自动去拿jwt验证。登录的方法可以看到,验证密码之后就会生成jwt返回 ,前端接到这个jwt之后,就会放在之后的请求内。jwt过期时间你可以根据需求自己定义。最近需要用到,学习了一下记录。实现验证token的方法,生成密码的方式在这里。

2024-04-26 15:19:59 795 1

原创 python代码报错requests.exceptions.SSLError

滚动到最后面,然后用编辑器打开一开始导出的证书,然后粘贴到cacert.pem最后面,保存退出。直接浏览器访问报ssl错误的网站,然后找到证书,选择导出。然后在cmd里面执行,去查看certifi的位置。找到之后用文本编辑器打开,我用的vscode。

2024-04-25 17:15:05 192 1

原创 ubuntu docker-compose 编排容器并且设置自启动

这是我的docker-compose,里面写了5个容器,一个sqlserver的db,一个airlfow,一个我的主项目,会根据里面规定好的启动顺序启动。我是先用dockerfile打好了我想使用的images,然后在docker-compose里面指定我自己打的images。第一次使用镜像部署容器就使用 docker-compose up,加不加-d看自己需求,是不是需要后台启动。WorkingDirectory这个需要指向你docker-compose.yml的路径。现在,服务将在系统启动时自动启动。

2024-03-11 16:33:34 423

原创 ubuntu 卸载miniconda3

一开始安装路径错了,需要重新安一次,就一起记录了。

2024-03-08 16:19:28 623

原创 ubuntu安装miniconda3管理python版本

这边需要使用miniconda3来管理ubuntu里面的python,记录。

2024-03-08 15:54:32 988

原创 搭建的svn 1.14.1,拉取代码时候没输入账户密码就报错 auth failed

这边在ubuntu里面搭的svn server,但是拉代码的是否一直报错 auth faield,一开始以为是有auth cache,去设置里面清楚了,windows 里面也清楚了,但是还是报错。

2024-03-07 10:01:16 214

原创 Linux Ubuntu 部署SVN

最近需要在ubuntu server上部署一个svn,记录。

2024-03-05 14:59:00 539

原创 SVN手动下载安装包编译安装之后,执行svnadmin命令报错svnadmin: error while loading shared libraries: libsvn_fs_fs-1.so.0

这边wget手动下载的svn包,编译安装之后,执行svnadmin --version却报错这个这个错误表明系统无法找到名为 libsvn_fs_fs-1.so.0 的共享库文件,这可能是由于库文件的路径未正确配置导致的。

2024-03-05 14:57:42 221

原创 VSCODE SFTP本地上传文件报错

之前都是好好的,突然今天上传文件报错。误打误撞发现解决方式这是console的具体报错的 msg,并没有告知具体原因。就很奇怪,唯一发生的事情就是之前vm发生了一次IO问题,直接shutdown了。

2024-03-01 10:38:55 365

原创 Angular ts中监听变量

这边使用angluar/core中的OnChanges接口,然后实现 ngOnChanges方法,只要变量发生了变化,这里面都可以监听到,然后就可以监听你具体想监听的变量了。这边有个需求,需要监控某个@input的变量变化,突然忘记怎么监听变量了,查了下,记录。

2024-02-28 15:53:26 286

原创 构建airflow docker,报错 raise Exception(“MSSQL database MUST have READ_COMMITTED_SNAPSHOT enabled.“)Ex

我构建airflow的镜像启动的时候报这个错,我把他的数据库指向了我自己自定义的数据库。解决方式就是在自己的数据库里面执行(记得替换db_name)ALTER DATABASE db_name SET READ_COMMITTED_SNAPSHOT ON;

2024-02-20 14:58:22 156

原创 Mlflow部署的model server报错BAD_REQUEST

一开始看到这个报错,我甚至以为我发布错模型了,以至于我这个x_predict的数据不符合他的格式,但是检查之后发现又没有问题。然后有怀疑是python版本问题,然后把训练模型的和部署server的python版本都调整到一模一样,但是依然会报这个错,很奇怪。这边部署了一个mlflow里面的model作为server,但是但我call它的invocations的预测方法的时候报错。里面有这个warning,抱着试一试的想法,用单独的虚拟环境进行安装他的包,再发布模型。用这个命令进行部署的。

2024-02-07 09:28:23 573

原创 Linux ubuntu 20.4.6安装docker

这边需要在vm中使用docker,记录下。

2024-01-31 14:48:16 460

原创 Windows11通过Hyper-V创建VM,然后通过vscode连接vm进行开发

这边需要在win11上建立vm来部署docker(这边不能用windows版本的docker destop),学习了下,记录。

2024-01-31 11:42:55 1659

原创 flask log 报错raise ValueError(‘Unable to configure handler ‘ValueError: Unable to configure handler

其实这个问题是你配置的filename,也就是生成log的文件地址,他的父文件夹不存在导致的,例如我是logs/log,我的根目录下没有logs这个文件夹,现在就需要手动创建一个logs文件夹,就可以解决这个问题了。配置完log,启动项目的时候报错,查了下,记录。我的logging.json是这样。启动项目之后,却报错。

2024-01-19 16:28:22 718 1

原创 pytest log配置

发现用print在console里面打不出来,所以查了一下关于pytest的log配置,记录。就可以在pytest中在console中看到print打印的东西呢。如果你只需要使用print打印日志的话,就只需要这样写。首先需要在根目录新建 pytest.ini。然后在test中这样就可以使用了。但是如果需要log配置的话。

2024-01-19 16:22:45 525

原创 Flask 3.x log全域配置(包含pytest)

最近使用到flask3.x,配置了全域的log,这边记录下首先需要创建logging的配置文件,我是放在项目根目录的,

2024-01-19 16:12:58 672

原创 Flask+ Dependency-injecter+pytest 写测试类

最近在使用这几个在做项目,因为第一次用这个,所以不免有些问题。总结下踩的坑。

2024-01-12 16:27:56 504

原创 sqlalchemy 监听所有实体插入以及更新事件

重要的就是@event.listens_for,这里。监听公共类,所有继承了它的实体的插入更新都会被监听到,然后就是对里面的字段进行统一的操作就行了,不用再每次插入或者更新进行手动修改了。这边使用的是flask+dependency-injecter+sqlalchemy,有一个公共类,想插入或者更新的时候对公共类某些字段进行统一操作。这个是公共类:包括一些基础字段,所有的实体都会继承这个类。

2024-01-12 16:15:57 715

原创 sqlalchemy 事务自动控制(类java aop)

然后comtextmanger里面就是我们的处理代码了,我们主要依靠with代码块来控制,在yield之前的属于__init__,在yield之后属于__exit__,也就是当with代码块结束之前,如果发生任何报错,我们都会进行rollback操作,并且raise(这部分需要error handler来做了,这里就不赘述了),然后如果什么错误都没有发生,就检测transaction是否还是active,如果是就commit,然后关闭session。然后在repo里面写具体代码就行了。

2024-01-11 14:42:53 611

原创 Grafana UI 入门使用

最近项目上需要使用Grafana来做chart,因为server不是我在搭建,所以就不介绍怎么搭建grafana server,而是谈下怎么在UI上具体操作使用了。

2024-01-03 15:45:47 1602 1

原创 Grafana Refused to display ‘http://{ip:port}/‘ in a frame because it set ‘X-Frame-Options‘ to ‘deny‘

最近项目在使用grafana,想用embed的方式用iframe把在grafana上建好的chart import进项目里面,但是发现FE的console里面报错Refused to display 'http://{ip:port}/' in a frame because it set 'X-Frame-Options' to 'deny',查了下,记录。这个问题的根本是grafana服务器的配置修改。你可以在Grafana UI里面的。

2024-01-03 10:15:20 602

原创 Excel formulas 使用总结(更新中)

最近在写task assigment的时候学习到的,记录下。首先它所有需要写赋值formuls都要用开头。

2023-12-28 09:44:10 858 1

原创 UserWarning: Field “model_server_url“ has conflict with protected namespace “model_“.

我看到有人提出把pydantic 降级来修复问题,但是我不确定这样做会不会影响mlflow某些功能,而且这个告警也没有影响到我现有的功能,就暂时没有做。我这边是项目里使用到了mlflow,启动项目的时候老是有这个两个告警,虽然没有影响到什么功能,但是每次启动都看到。让new bing和chatGPT修复了半天也依然不行,就感觉出来了可能是个bug了,果然在github上看到了,有很多人也遇到了这个问题。

2023-12-19 15:20:10 1217

原创 python项目中获取相对磁盘的绝对路径 os.path.abspath

这边需要配置一个相对于磁盘的绝对路径。这个路径在我的工作路径下,但是发布的环境不同,这个路径前缀也就不一样呢,于是查了下。然后用log吧这个打印出来就可以看到是相对于磁盘的绝对路径了。例如你需要配置的路径是是。

2023-12-14 15:39:54 440

原创 Python 中 Thread 线程的用法

线程是一种并发执行的方式,可以让你的程序在等待某些事件的同时,执行其他的任务。这样,线程就会开始运行,调用指定的函数,并传入相应的参数。线程的运行是异步的,也就是说,它不会阻塞主线程的执行,而是在后台进行。- alive: 线程的存活状态,是一个布尔值,表示线程是否还在运行。- name: 线程的名称,可以在创建时指定,也可以通过setName()和getName()方法修改和获取。这样,主线程就会暂停,直到线程运行完毕。- ident: 线程的标识符,是一个整数,可以通过ident属性获取,但不能修改。

2023-12-07 15:46:15 602

原创 Flask 3.x + dependency-injector 4.xAttributeError: ‘Provide‘ object has no attribute ‘xxxx‘

我遇到当然不属于这里的任何一种,我发现我在整理项目结构的时候,把blueprint往目录深处放了,之前是和application.py同一目录,现在出问题了,就怀疑是目录的问题,移出来之后果然不报错了.然后一点一点排查,发现了问题根源,那就是。还有一种情况就是在Containers 中定义的问题,这里我就不展示了,只是把Containers 贴出来,这里一般就是忘记定义而已,很好检查。这就是初学的时候很容易犯的一个错误,编译器不会告诉你错了,启动项目也没问题,知道call到这个api了就会报这个错.

2023-12-05 21:21:45 593

原创 Flask 自定义template和静态文件路径

这边使用flask的时候希望规范下路径,就需要重新移动默认的template的路径,所以就需要自定义路径了,查了下。就直接在app.py里面进行修改,加两个属性,第一个就是放html的第二个就是放css/js那些静态文件的。修改完记得重新启动,热部署无法加载这个修改。

2023-12-04 17:23:42 917

原创 pyenv local x.xx.x不生效

3.需要保证pyenv的path环境变量比之前本地的python优先级要高(我就是这个问题,把pyenv在path中变量提到本地原来python之前就可以了)我本地原来有个python,之后用pip安装了pyenv,使用pyenv新安装了一个python,设置某个local的时候发现不生效。这种情况需要检查3个地方。2.需要重新开一个cmd。1.有没有生成这个文件。

2023-11-27 17:11:47 586

原创 pyenv修改国内镜像

pyenv安装发现很慢,默认是中心库,需要修改下国内镜像。这两个镜像二选一,然后重开一个cmd,然后执行。更新下,然后就可以使用国内镜像了。

2023-11-27 16:57:49 1381

把csv按日期分隔成不同文件

python把csv根据不同日期分隔成多个csv

2023-09-27

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除