Damien_J_Scott的博客

最近用LLM处理东西，我要求全英文处理和返回，但是的这个模型返回值中偶尔就会出现几个中文。想了个办法最小消耗token去处理这个中文问题。(prompt已经优化过了，还是会出现，应该是模型的问题)就是用正则把中文提出来，然后做我们想要的处理，我就是把中文的list丢给LLM翻译再返回list，因为顺序是一样的，所以就可以再可以通过这种方式插入回去，相当于使用翻译的英文替换了原来的中文。

最近有个需求，Azure ml pipeline中加入我们自定义的python代码来和Azure Document intelligence集成，在做POC的时候，这个怎么加入自定义python代码卡了我半天。然后是与之对应的yml文件，里面定义了你这个方法代码在哪里，显示名字是什么，传入参数是哪些类型默认值，与怎么执行你的python代码的cmd。加上我看到这段描述，就直接使用自定义组件，我使用的是自定义模型，然后因为自定义模型是V2的，组件，可以直接使用，找的我脑壳痛，还怀疑是权限问题。

抱着试一试的心态尝试去重新创建了个DI，我一开始是southeast Asia，新建了一个是East US的区域的DI，然后修改代码里面的endpoint和key。重新跑代码，居然成功了。最近项目需要使用到Azure Document intelligence,于是去做POC，但是发现最简单的demo跑的时候都会报这个错，解决了一下午终于搞定了，记录下。最后是demo代码。这个PDF应该是公共可以访问的。解决了一下午，终于解决了。的问题，本来是不太相信的，

【代码】pip 查看包依赖树。

du -sh */

我这边suppor了如果是docx就转换成pdf再返回，如果是pdf就直接把path传到send_file里面，as_attachment如果是需要浏览器弹出下载就True，否则就False。然后就可以在html中使用了，我是因为项目需求关闭了某些功能，具体哪些功能怎么用就不一一介绍了，看官方文档就行了。之前用过一个pdf预览的lib，并且还支持在线编辑，和直接下载编辑之后的pdf和直接打印，还不错，记录下。这边是我的service，直接去后端获取源文件，然后赋值给[src]就行了。

传入文件名，后缀，需要翻译成的语言。我这里用的自动检测语言，但是翻译的速度就会慢一点，如果想要达到最快的翻译速度的话，最好就是指定源语言是什么。这样翻译出来需要一点点时间，但是不会丢失格式，约等于完美翻译。可以看到他的source code是返回的一个 Detcted,直接.lang就可以拿到语言的key了。python-docx是用来读取docx的，googletrans使用来翻译的。我这边有个需求需要把一份docx翻译成指定语言的文档并且保存，研究了下，记录。这个是官方文档，额外的用法可以再这里找到。

我现在有个这个array key需要按照key去重，一开始用list(set())去重，但是发现set不能传入dict.这样做就可以用某个key来去重。

图中这个红圈的task，是我更新error记录的task，是某些特定的task特定情况会触发的。正常情况走的最下面的箭头的路径。但是现在就是就算只走了下面箭头的路径，红圈那个task依然被触发了。），意思就是上游没有失败的就会触发，不论成功或者是skiped都会执行，就算你这次代码逻辑根本走不到它。那怎么办呢？

在 Apache Airflow 中，trigger_rule 是用于控制任务何时被触发的规则。TriggerRule 是一个枚举类型，它包含了多种不同的触发规则。以下是这些规则及其用途的详细说明：trigger_rule的优先级非常高，就算dag顺序里面定义的路径应该走它但是trigger_rule没有满足，依然不会走，顺序里面不该走它，trigger_rule满足了他就会触发，我已经遇到几次这种错误导致我焦头烂额了

其实问题的关键就是TriggerRule，TriggerRule默认是ALL_SUCCESS,也就是与门，我们想要的是或门，就是只有当所有上游任务都没有失败时，当前任务才会被触发（即上游任务要么成功要么被跳过）。我截图里面是我理想状态下，走任意一条路，之后最后retrain_model_by_model_info都会执行，但是这个问题就是遇到它执行，不管走的哪条路都不执行。就拿这个图举例，这是个典型的分支路最后汇合执行的task，用代码演示就是这种情况，有两条路可以执行，最后又回归同一个task。

这边需要吧docx转成pdf，记录下。首先linux上需要安装对应lib。

最近flask里面新加个schedule任务，但是启动的时候看log，schedule被注册了两次。导致每次任务都会被执行两次，查了下解决方案，记录。

etc/yum.repos.d/hashicorp.repo 这里面使用的是。而8.6还不存在，所以改成图下面这样，我改的8，然后保存重新安装就行了。在RHEL中安装consul的时候报错。

这是我整个的nginx的配置,======================================就是需要增加的配置，保存之后sudo systemctl reload nginx 重启nginx就解决了。作为anguar17为fornt-end的pdf展示插件，本地npm start启动都没有任何问题，但是部署到nginx时候就报这个错，然后pdf也无法加载出来。

这个报错是某个文件超过了webpack配置限制的大小了，为了最大限度减小打包的大小。这种情况你可以，减小某个文件的大小，或者修改限制的配置。我的就是scss过大了，所以修改了这里就解决了。

然后修改配置，修改需要发布的端口，修改你项目打包好的地址，然后我还配置了一个代理,/api开头的都会被代理到5000端口。完成之后就可以\target\classes\static找到 ，直接把整个static上传到需要部署的地方就可以了。我的front-end是用的webpack，就直接执行的npm run build打包。接下来新建项目配置文件，这个your_project就改成你的需要的名字。当然这个打包output路径也是angular.json配置好了的。然后就可以重启nginx了。

然后还是在项目那里右键，选择upload folder，就可以把你的开发代码同步到你的vm里面了，然后在你的项目右键，然后选择open ssh in terminal。安装之后，按ctrl+shift+p，找到sftp的config。在vscode插件里面搜索sftp，安装。然后填写刚刚的IP，然后是你的用户名密码。然后切换到这个sftp的tab里面。然后再terminal里面输入密码。如果是通过密钥链接的话就是这样配置。

这样的话，只需要引入之前定义的auth_provider，然后在需要登录之后才能访问的api上加入@auth_provider.login_required，当然auth_provider这个变量名是自己取的，你怎么定义的就用什么就行了。这样的话访问该api的时候就会自动去拿jwt验证。登录的方法可以看到，验证密码之后就会生成jwt返回 ，前端接到这个jwt之后，就会放在之后的请求内。jwt过期时间你可以根据需求自己定义。最近需要用到，学习了一下记录。实现验证token的方法，生成密码的方式在这里。

滚动到最后面，然后用编辑器打开一开始导出的证书，然后粘贴到cacert.pem最后面，保存退出。直接浏览器访问报ssl错误的网站，然后找到证书，选择导出。然后在cmd里面执行，去查看certifi的位置。找到之后用文本编辑器打开，我用的vscode。