- 博客(134)
- 收藏
- 关注
RSS订阅
原创 使用git将本地项目推送到码云私有仓库
环境操作系统：WIN10软件环境：git, Git Bash步骤1. 打开Git Bash, 生成公钥ssh-keygen -t rsa -C "码农注册邮箱"2. 添加到本地公钥ssh-agent bashssh-add ~/.ssh/id_rsa3. 查看公钥内容cat ~/.ssh/id_rsa.pub4. 复制公钥内容并配置到码云上5. 在码云上创建新...
2019-04-23 12:29:52
455
原创 重置密码解决MySQL for Linux错误 ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using passwor
一般这个错误是由密码错误引起，解决的办法自然就是重置密码。假设我们使用的是root账户。1.重置密码的第一步就是跳过MySQL的密码认证过程，方法如下：#vim /etc/my.cnf(注：windows下修改的是my.ini)在文档内搜索mysqld定位到[mysqld]文本段：/mysqld(在vim编辑状态下直接输入该命令可搜索文本内容)在[mysqld]后面任意一行添加“skip-gran...
2018-04-01 10:10:57
1641
原创 使用 lateral view explode(col1)后行数变少了，bug排查
思考：第二条语句只比第一个多一个炸裂函数，炸裂函数的作用是将数据炸开变成多行数据，为什么还会条数变少了呢？例如有20条a是空，那如果a都没有被分割，那就会生成80条数据，我这个a有被分割，所以生成了90条数据。经过各种资料查找，数据探索，发现当字段是空时，不会形成新的一行，而是会把这条数据过滤掉。查询该表结果为100行。查询下表条数为90行。
2024-08-15 17:40:13
464
原创 spring boot 笔记大杂烩
springboot创建时idea会打开start.spring.io失败报错可以手动打开这个页面，然后选择maven项目，然后修改group和name名然后添加依赖web，然后生成项目包，解压缩后用idea打开就能用了运行后报错Error:java: 无效的源发行版: 17原因：报错是因为项目里jdk版本选择的问题，需要在sitting和struct里面分别修改成8。
2024-08-07 11:39:51
1216
原创 migrate table com.finebi.persist.impl.entity.PackageSubItemEntity failed
记录一个报错解决过程，finebi在连接外部mysql时，要把finebi里的表导入到mysql，但是如果mysql库不是utf8就会报错如下migrate table com.finebi.persist.impl.entity.PackageSubItemEntity failed。解决方法：用下面语句创建的库是可以成功连上finebi的，并且可以使用mysql里的数据。
2024-07-10 17:29:16
358
原创 docker安装的clickhouse连接不上
在本地连接docker安装的clickhouse连接不上，telent ip 8123 也不通。记录一下bug，本clickhouse是测试用在虚拟机自己搭的。找到clickhouse的id。然后重启了docker服务。
2024-07-05 13:42:04
135
原创 TypeError: return value expected ＜class ‘unicode‘＞ but ＜class ‘int‘＞ found
解决此问题的关键在于确保您的UDF函数始终返回字符串类型的数据。如果您在处理逻辑中确实需要返回某个字段的原始整数值，那么应该将其转换为字符串格式，修改如下。这通常发生在您尝试将Python字典直接作为UDF的输出，而ODPS UDF在没有正确序列化的情况下无法直接处理字典类型的返回值。方法将字典转换为JSON字符串，确保输出符合预期的Unicode字符串格式，所以将代码里dict类型封装成了json返回的。这个错误说明您的UDF函数期望返回的是一个Unicode字符串类型（），但实际上返回了一个字典类型（
2024-06-26 16:03:16
296
原创 clickhouse学习笔记（四）库、表、分区相关DDL操作
1）数据写入：在数据写入时，只有 DEFAULT 类型的字段可以出现在 INSERT 语句中，而 MATERIALIZED 和 ALIAS 都不能被显式赋值，它们只能依靠计算取值。例如试图为 MATERIALIZED 类型的字段写入数据，将会得到如下的错误。
2024-06-17 18:32:08
1354
原创 clickhouse学习笔记（三）常见表引擎
CollapsingMergeTree（折叠合并树） 就是一种通过以增代删的思路，支持行级数据修改和删除的表引擎。它通过定义一个 sign 标记位字段，记录数据行的状态。如果 sign 标记为 1，则表示这是一行有效数据；如果 sign 标记为 -1，则表示这行数据要被删除。当 CollapsingMergeTree 分区合并时，同一数据分区内，sign 标记为 1 和 -1 的一组数据（ORDER BY 字段对应的值相同）会被抵消删除。创建方法。
2024-06-07 18:21:38
939
原创 clickhouse学习笔记（二）数据类型
price Decimal(10, 2)：Decimal类型用于存储固定精度的小数，这里Decimal(10, 2)表示总位数为10位，其中小数点后有2位。supplier Nullable(String)：Nullable类型允许字段值为NULL，这对于处理可能缺失的数据非常有用。在这里，supplier字段可能没有值，因此使用了Nullable类型。类型的值在插入时应准确匹配定义的精度，否则可能会导致错误。类型允许存储大量重复值的列，而只使用少量的内存。整数类型的选择取决于数据的范围和存储需求。
2024-06-04 17:33:37
1268
原创 clickhouse学习笔记（一）入门与安装
ClickHouse 是的 Yandex 于 2016 年开源的列式存储数据库），使用C++语言编写，主要用于在线分析处理查询），能够使用 SQL 查询实时生成分析数据报告。与传统的行式存储不同，列式存储在处理分析型查询时能显著提高效率，因为它允许数据库仅读取查询所需的相关列，减少I/O操作。数据在存储前会进行高效压缩，这不仅能节省存储空间，还能加速数据读取过程，因为从磁盘读取更少的数据量。ClickHouse利用SIMD指令集优化数据处理，通过并行处理数据块来加速查询执行。
2024-06-04 09:50:41
882
原创 数据结构学习笔记
数组是一种线性数据结构，用于存储固定大小的相同类型元素集合。每个元素都有一个索引，用于快速访问。链表是一种由节点组成的数据结构，每个节点包含存储数据的部分以及指向下一个节点的指针。通过节点之间的指针连接，形成了链表的结构。链表可以分为单链表、双向链表和循环链表等不同类型，它们各自具有特定的特点和应用场景。数据元素：节点存储的实际数据。数据可以是任意类型，例如整数、字符、字符串、对象等。指针（或引用）：指向下一个节点的指针。它存储了下一个节点在内存中的地址，通过这个指针可以找到链表的下一个节点。
2024-05-31 13:49:14
781
原创 windows上安装miniforge和jupyterlab
python -m ipykernel install --user --name 自己虚拟环境名 --display-name "jupyter自定义名字"执行上述命令后会返回一个upyter_lab_config.py的文件路径，复制路径找到文件进行下列配置。conda init （初始化conda配置，它会在shell配置文件添加conda激活逻辑）配置环境变量，在系统环境变量的path添加下列就行了，根据自己的路径修改。conda activate test 激活test虚拟环境。
2024-05-22 17:11:38
2252
1
原创 安装miniforge后conda命令找不到问题
用conda activate test 激活test环境后进入test环境，发现执行conda命令找不到。命令，它会在shell配置文件添加conda激活逻辑，进入test环境后就可以使用了。安装miniforge后，配置好环境变量，在base环境下可以用conda命令。在base环境下，尝试重新初始化conda配置，
2024-05-22 10:54:20
547
原创 AttributeError: ‘FilterCollectionExpr‘ object has no attribute ‘group_by‘
AttributeError: 'FilterCollectionExpr' object has no attribute 'group_by'
2024-04-30 10:39:15
92
原创 python笔记（15）函数
你可以定义一个由自己想要功能的函数，以下是简单的规则：例如：在这个例子中，我们定义了一个名为的函数，它接受一个名为的参数，并在其内部打印一条问候消息。调用函数时，只需提供相应参数即可。位置参数：按顺序传递给函数的参数。如上例中的就是位置参数。关键字参数：通过参数名指定值的参数，允许调用者改变参数顺序或省略某些参数。例如：返回值：使用语句从函数中返回结果。如果不显式返回值，函数默认返回。3.可更改 (mutable) 与不可更改 (immutable) 对象在 Python 中，string
2024-04-25 17:29:09
886
1
原创 python笔记（14）迭代器和生成器
生成器表达式同样适用于处理大型数据集，因为它按需生成值，而非一次性生成所有元素。是一个实现了特定协议的对象，它能够按照一定的顺序返回集合中的元素。是迭代器的一种特殊实现，它以更简洁、易于维护的方式创建迭代器。函数，您可以轻松地将任何可迭代对象（如列表、字典、字符串等）转换为其对应的迭代器。当函数被调用时，它并不会立即执行函数体，而是返回一个生成器对象。表达式，此时返回该表达式的值，并再次暂停。：向生成器抛出一个异常，使其在捕获该异常的位置恢复执行。：返回迭代器对象自身，表明该对象是可迭代的。
2024-04-16 18:13:21
473
原创 python笔记（12）条件控制
结构中，模式可以利用 Python 3.10 引入的模式匹配语法，提供比传统条件控制更强大的表达能力，比如同时检查变量的类型和值、解构复杂数据结构等。（Python 3.10 及以上版本）两种条件控制结构，以及通过适当的嵌套来实现复杂的逻辑判断，使程序能够根据不同的条件执行相应的代码片段。是一组用于匹配该值的规则，可以是简单的值、变量、类型、甚至是复杂的模式（如结构化模式匹配）。子句是可选的，它提供了一个“兜底”情况，即当所有前面的条件都不满足时执行的代码块。的条件，执行对应的代码块，并跳过后续的。
2024-04-03 16:52:54
709
原创 python笔记（11）序列
start：表示切片的开始索引位置（包括该位置），此参数也可以不指定，会默认为 0，也就是从序列的开头进行切片；step：表示在切片过程中，隔几个存储位置（包含当前位置）取一次元素，也就是说，如果 step 的值大于 1，则在进行切片去序列元素时，会“跳跃式”的取元素。字符串是字符序列，支持所有序列操作，如索引、切片、连接等。：在Python 3中，普通字符串已经是Unicode编码的，与之对应的是Python 2中的。：序列中的元素按照特定的顺序排列，每个元素在序列中都有一个确定的位置，即索引。
2024-04-03 16:25:45
602
原创 python笔记（9）Dictionary(字典)
字典键值和value用：隔开，键值是不可变的，而且必须是唯一的，值可以变，可以是任意类型。1）不允许同一个键出现两次。，字典因为这些是可变类型。
2024-04-01 18:07:20
620
原创 python笔记（8）Tuple(元组)
Tuple 元组的元素不能修改，元组使用小括号（），创建元组在括号里添加元素用逗号隔开即可。创建一个元素的元组，在元素后面用逗号隔开，否则会被当作运算符。元组和字符串类似，索引从0开始，末尾从-1开始。可以删除元组 del tup1。但是不可以修改元素或者删除元素。
2024-04-01 15:00:26
378
原创 python笔记（7）List(列表)
创建一个列表（List)用方括号[]括起来就可以，数据项之间用逗号作为分隔符，数据项可以是字符串，数字，甚至是另一个列表，元组，字典。列表和字符串一样，索引也是0从头开始，-1从末尾开始。del ：删除的是变量，所以要用在变量上。remove：查找列表里的元素并删除元素。将序列（元组，集合等）转换为列表。append()可以追加元素。pop：删除列表的最后一项。
2024-03-29 17:45:11
630
原创 python笔记（5）Numbers(数字)
数值类型是不允许改变的，如果改变数字类型的值，将重新分配内存空间一下实例在变量赋值时Numbers对象将被创建，可以用del删除对象的引用。
2024-03-27 19:12:01
1067
原创 python笔记（4）运算符
除了以上的一些运算符之外，Python 还支持成员运算符，测试实例中包含了一系列的成员，包括字符串，列表或元组。所有比较运算符返回 1 表示真，返回 0 表示假。是一个逻辑运算符，用于对两个布尔表达式进行逻辑“与”操作。，在进行逻辑运算时，它们会被隐式地转换为布尔值。按位运算符是把数字看做二级制来进行计算的，规则如下。注意：True和False的首字母为大写。下表中变量 a 为 60，b 为 13。所以假设a=10,b=20。读取，切片，调用，属性引用。乘，矩阵乘，除，整除，取余。正，负，按位非 NOT。
2024-03-26 18:05:58
981
原创 HGERR_code 22012 HGERR_msge division by zero HGERR_end[query_id
这个报错是由于分母是0造成的，分母不能为0。
2024-03-26 14:02:06
162
原创 python笔记（3）基本数据类型简介
注意：在 Python2 中是没有布尔型的，它用数字 0 表示 False，用 1 表示 True。到 Python3 中，把 True 和 False 定义成关键字了，但它们的值还是 1 和 0，它们可以和数字相加。判断类型可以用type（变量）来判断，也可以用isinstance（）来判断isinstance（）和type（）的区别type（）不会认为子类是一种父类类型isinstance（）会认为子类是一种父类类型... pass...... pass...TrueTrue。
2024-03-26 13:51:05
1538
原创 python笔记（2）基础语法
可变数据与不可变数据是相对于引用地址来说的，不可变数据数据可以变，但是引用地址也变了，相当于新建了一个对象，可变数据改变不会新建对象。像if，while，def，和class这样的复合语句，首行以关键字开始，以冒号：结束，该行之后的一行或多行代码构成代码组。在字符串前加上r或者R，如r"你好呀，哈哈哈哈”，加上r或者R会忽略字符串里的\转义字符。可变数据（3个）：List（列表），Dictionary（字典），Set（集合）不可变（3个）：Number（数字），String（字符串），Tuple（元组）
2024-03-25 14:15:00
524
原创 用 LangChain 和 Milvus 从零搭建 LLM 应用
微调后，模型可以更准确地理解用户问题、将其进行分类，从而提高语义搜索结果的准确性和相关性，返回准确的结果。例如，大家可以使用 LangChain 的 Milvus 类，通过from_text方法存储文档的特征向量，然后调用similarity_search方法获取查询语句的相似向量（也就是在向量空间中找到距离最接近的文档向量），从而轻松实现语义搜索。LangChain 为 LLM 提供了标准化且易用的接口，Milvus 则提供出色的存储和检索能力，从而整体提升 ChatGPT 等应用的功能和效率。
2024-02-20 18:00:30
1438
原创 docker安装milvus后，无法打开attu，日志报错
背景，在虚拟机用docker安装milvus后，正常访问attu，过段时间挂机后无法访问。执行 python hello_milvus.py。1，执行docker-compose up -d。2，下载hello_milvus.py。正常运行，attu也恢复正常。重启了各种服务都不行。
2024-02-19 16:23:30
1098
转载 Linux之milvus向量数据库安装
对于单机部署来说主要满足满足docker和docker compose组件版本要求就可以，另外几个相关软件是在通过docker compose安装milvus时自动安装的。根据milvus安装要求，docker compose版本要求是1.25.1以上，我们这里安装的版本是1.29.2，满足要求。根据milvus安装要求，docker版本要求是19.03以上版本，我们这里安装的docker版本为23.0.1，满足要求。docker的安装见博文Linux之docker安装，这里不再赘述。
2024-02-04 16:38:40
449
原创 python笔记（1）安装环境
1，官网下载自己电脑位数的安装包install时勾选中add to path，把路径自动添加到环境变量安装pycharm就不讲了安装后选中自己的python安装包file-> setting->project:yourprojectname ->python interpreter 选中你安装路径的python，不知道路径可以在cmd里执行where python命令，就会出现路径2，pip添加国内镜像2）windows使用按键win+e%APPDATA%查看此目录下是否有pip。
2023-12-13 17:11:42
496
原创 hologres按照联合主键删除子查询中的内容，不用in
在这个SQL语句中，your_table是你要删除数据的表，column1和column2是联合主键的字段，your_subquery是你的子查询，subquery_column1和subquery_column2是子查询中的字段。Hologres支持类似的写法，但是在Hologres中，目前并不支持直接使用IN子查询来进行联合主键的删除操作。相反，你可以使用EXISTS子查询来实现相同的功能。这样的SQL语句将会根据子查询查出来的内容来删除表中符合条件的数据，确保了联合主键的唯一性。
2023-11-21 13:19:29
183
原创 count（distinct xx ,vv）中里面字段如果有任意一个是null，那都不计算条数
FROM (,2 nameUNION ALL,NULL name结果是1条数据。
2023-11-10 13:30:13
139
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人