- 博客(67)
- 收藏
- 关注
RSS订阅原创 install nebula with source
此时 linux环境存在多个版本gcc：7,9.11。linux 环境：ubuntu 2004。
2024-06-29 23:39:16
257
原创 用国内镜像安装docker 和 docker-compose （ubuntu）
安装docker-ce时，会卡在添加docker的包源download.docker.com，但是这个地址一直无法访问，导致无法继续安装。替代方案，改用国内的镜像站(网易镜像）3.安装docker-compose。1.清除旧版本（可选操作）2.安装docker。
2024-06-28 21:28:23
556
原创 on ubuntu server install jupyter lab
根据base的python版本，选择对应的版本该方法优点是可以快速的启动JupyterLab，缺点是需要记住大量参数写法。--ip='*'
2024-06-21 17:52:50
378
原创 Spark-submit及参数说明
这个命令会自动处理依赖树。当然，你也可以从距离工作节点很远的机器（如：你的笔记本）上提交应用，这种情况下，通常适用cluster模式，以减少网络驱动器和执行器之间的网络通信延迟。该脚本为所有Spark所支持的集群管理器（ cluster managers）提供了统一的接口，因此，你基本上可以用同样的配置和脚本，向不同类型的集群管理器提交你的应用。这意味着，不会占用网络IO，特别是对一些大文件或jar包，最好使用这种方式，当然，你需要把文件推送到每个工作节点上，或者通过NFS和GlusterFS共享文件。
2024-06-19 00:17:06
760
原创 Py4JException: Constructor org.apache.spark.sql.SparkSession([class org.apache.spark.SparkContext, c
【代码】Py4JException: Constructor org.apache.spark.sql.SparkSession([class org.apache.spark.SparkContext, c。
2024-06-18 21:30:32
533
原创 Parallelize your massive SHAP computations with MLlib and PySpark
dict1 = {}Ifcollect()andfeaturesdict = {}if v > 0:else:shap_udfF.udf()]))))
2024-06-16 12:09:01
852
原创 Explain Python Machine Learning Models with SHAP Library
")df.shape# 0## counts# y# no 3668# yes 451# y])])])# 62plt.show()plt.show()})Great!Fantastic!
2024-06-16 12:07:10
927
原创 byzer python error:RuntimeError: (‘Exception thrown when converting pandas.Series (object) to Arrow
【代码】byzer python error:RuntimeError: (‘Exception thrown when converting pandas.Series (object) to Arrow。
2024-06-06 22:11:42
205
原创 Postgres ML 介绍
A PostgresML deployment consists of multiple components working in concert to provide a complete Machine Learning platform:We provide a fully managed solution in our cloud, and document a self-hosted installation in the Developer Docs. By building Postgre
2024-06-01 21:45:56
502
原创 分析思路：数据结构
1、时序对比：以时间维度对比2个时间点进行分析，成交量出现下降或增长，分析到底哪些因素对成交量的影响最大，找出关键影响因素，并展示关键影响者因素的贡献值和贡献率。2、当前数据点：针对某一个月的成交量，找出当前数据点的关键影响因素，并展示关键影响者因素的贡献值和贡献率。
2024-06-01 16:17:34
194
原创 python 3.10 install on centos
CentOS 7 安装 Python 3.10_yum python3.10-CSDN博客
2024-05-27 22:48:26
481
原创 byzer sql 详细参考
数据加载load excelload excel.`tmp/upload/exceltest.xls`where header="true"as hello_world;load csvload csv.`tmp/upload/taxi_tour_table_train_simple.csv` where delimiter=","and header = "true"as taxi_tour_table_train_simple;
2024-05-20 16:22:31
339
原创 byzer plugin install log
3.修改byzer-lang下面conf目录的byzer.properties.override的streaming.plugin.clzznames。，支持本地文件系统，HDFS，对象存储。Byzer-lang 下载插件至数据湖目录，并热加载之。查看log文件，错误信息如下： 从日志看，是以为delta没有元数据。Byzer-lang 支持插件安装，删除，获取列表等。安装插件前，请配置 Byzer-lang 数据湖目录。若不指定插件类型，Byzer-lang 返回所有插件。会报错，提示目录不存在。
2024-05-20 15:55:55
987
原创 cpan安装报错Invalid host name on line 1 at *FirstTime.pm line 1855.
第三步选yes <-------------------因为选择yes，才报标题的错误。完成安装后，输入exit，退出，再重新运行命令，发现可以直接进入命令符了！进入后第一步选yes。第二步选manual。
2024-05-17 19:08:40
208
原创 openmldb install log
配置以存在的spark环境，如果不设置，从上线下载，并在openmldb home 目录建立一个软#链接spark，指向当前目录下载后的spark目录。（地址为TaskManager运行机器上的路径）。填写多个ZooKeeper节点，即部署ZooKeeper集群，无需额外配置。中配置外部ZK集群，请注释标注其不受sbin部署影响，避免混乱。不进行配置时，将自动下载、使用特定Spark发行版。（部署到TaskManager机器同名路径上）。需要此工具部署ZooKeeper集群时，在。#其他参数都保留不变。
2024-05-16 15:12:55
615
原创 dial tcp 127.0.0.1:3306: connect: connection refused db query error: failed to connect to server -
可以在容器中使用这个ip来访宿主机的服务。如果是docker compose版本。如果是docker Desktop。首先，注意你安装的docker 版本。Docker 宿主机默认ip 为。
2024-05-06 21:53:36
318
3
原创 grafana csv local datasource error:local mode has been disabled by your administrator
增加配置：重启server。
2024-04-29 17:43:14
132
原创 Error: failed to handle: base_dir(`./src`) must be absolute. Please ensure that `jsc.baseUrl` is spe
【代码】Error: failed to handle: base_dir(`./src`) must be absolute. Please ensure that `jsc.baseUrl` is spe。
2024-04-28 14:21:20
215
原创 deepflow grafana plugin 编译问题解决
修改tsconfig.js 增加"noImplicitAny": false，解决代码类型没有指定，显示Any 错误。解决： 降@swc/core 版本。
2024-04-28 11:50:10
1395
原创 grafana 自定义插件 不可用
如果grafanaserver运行的帐号与目录的权限帐号不统一，建议保持一致。错误：plugin unavailable。注意：一定要加 -R，更新子目录及文件属性。
2024-04-26 14:48:53
166
原创 go 环境安装
go run bootstrap.go 会将编译好的mage文件放到默认目录，可能并没有包含在path变量里。这是需要将mage文件复制到/usr/bin/下面。#编辑~/.bashrc。
2024-04-25 16:22:08
289
原创 go 语言 mage 安装踩坑
我猜测mage 安装最后一句 go run bootstrap.go 时，先找GOBIN路径，如果没有再找GOPATH路径，然后编译mage文件到找到的目录；所以，我果断设置GOBIN变量，然后重新执行 go ruan bootstrap.go。GOBIN 变量为空，GOPATH为/root/go,但其实这个路径并不存在。但，如果把mage文件放到GOPATH下，在命令行执行mage是找不到文件的；于是我由改成下载go的tar包，进行解压缩安装。mage 要找不到要编译的go文件，所以报错了。
2024-04-20 18:13:34
1022
1
原创 windows wsl remove zsh shell，无法登录
原因是下载zsh后，默认shell还在指向zsh/bin 目录。bin/bash换成/bin/zsh,这个是root用户。这么一改，突发发现 ll 命令好用了。exit退出虚机，再执行wsl。2. 修改passwd文件。
2024-04-20 14:18:41
174
原创 如何在windows 安装linux 虚拟机
我一开始链接的是移动wifi ，发现dns解析不了；切换成家里的宽带就ok了。1.wsl 无法解析服务器的名称或地址。
2024-04-20 11:16:14
130
原创 npx\pnpm 镜像过期解决方法
到这里就可以正常使用npm命令安装需要的工具了。如( npm install -g cnpm )// 2. 关闭SSL验证。// 1. 清空缓存。
2024-04-19 18:42:38
492
原创 Get “https://proxy.golang.org/github.com/stretchr/testify/@v/v1.7.0.mod“: dial tcp 172.217.160.113:4
执行：go env ，查看配置。再运行go run 就ok了。
2024-04-19 16:56:21
386
原创 通过NFS 实现windows共享linux目录
这里我遇到一个问题：因为windows是域账号，配置目录时提示输入windows域用户及密码，这时输入什么都过不去；退出认证弹窗，直接点击浏览按钮，就可以访问到linux目录列表。4.添加自建目录 (ip为windows 地址段，后面紧接权限参数，（）前没有空格。7.查看linux ip，用于配置windows。待解决问题：linux nfs 服务设置默认启动。1.查看apt源是否存在nfs服务端安装包。3.完成配置，可以进行文件传输及更改了。2.勾选NFS服务，安装客户端。三、继续配置windows。
2024-03-14 21:32:38
704
原创 db-gpt docker部署进坑
发现没有embedding模型，就启动docker image时，docker 因为是ipc模型，映射到系统环境目录下model目录找不到text2vec。2.docker 容器启动就关闭，docker ps -a 查看容器状态为exited 停止。1.docker 不支持gpu，参考之前文章。查看dbgtp的quickstart说明。（3）下载embedding模型（略）， 需要自行下载text2vec。如果不知道怎么下载，可以私新我。
2024-02-21 11:06:51
1341
1
原创 llamaindex 集成本地大模型
Customizing LLMs within LlamaIndex Abstractions 目的：llamaindex 是一个很好的应用框架，基于此搭建一个RAG应用是一个不错的选择，但是由于llamaindex默认设置是openai的api，国内用不了，以及一些企业想要部…从用llamaindex 部署本地大模型 - 知乎。
2024-01-26 20:00:01
696
原创 llamaindex setup
我发现用pipx list 查看，poetry 版本是1.7；但是poetry -V ,版本是1.3。版本有问题，比较低，可能是安装的poetry的路径，被系统默认的poetry给接胡了。#这时，显示版本是1.7。#将其文件删除或改名；#重新安装poetry。
2024-01-26 16:17:35
796
原创 ubuntu 设置双网卡 同时下载多个大文件方法
1.先起一个下载任务，此时默认使用eno1 网卡。再起另一个下载任务，此时默认使用eno2进行下载。2.使用ifmetric命令。
2024-01-19 22:10:24
388
原创 （初研） Sentence-embedding fine-tune notebook
二.对sentensce embedding bert model ,如多语言模型 distiluse-base-multilingual-cased-v1。做微调之前需要准备微调样本数据，准备方式，我目前思考跟第二种方案是一样的。我偷懒，先验证代码可以跑通，所以用了example dataset。由于工作需要，需要对embedding模型进行微调，我调用了几种方案，都比较繁琐。先记录一个相对简单的方案。一.对BGE模型，如bge-large-zh 、bge-large-en。
2024-01-19 16:21:49
1453
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人