工作之行
文章平均质量分 75
shengjk1
零基础转码,头部大厂程序员,努力构建 通俗易懂的、好玩的编程语言教程。关注我,习得转码经验!翱翔在编程的海洋里!只学习最值得学的内容!
展开
-
写给非机器学习人员的 embedding 入门
你好,我是 shengjk1,多年大厂经验,努力构建 通俗易懂的、好玩的编程语言教程。 欢迎关注!你会有如下收益:1. 了解大厂经验1. 拥有和大厂相匹配的技术等希望看什么,评论或者私信告诉我!@[TOC](文章目录)# 一、背景目前在实现 NL2SQL 就是将人的自然语言通过 LLMs 的一系列处理,在这个过程中,会把文本向量化后存储到向量数据库中,然后通过向量搜索,这个过程中发现文本 embedding 后,通过向量化搜索效果很是惊人,就跟程序能读懂人的语言一样。于是对 emb原创 2024-08-08 20:13:11 · 797 阅读 · 1 评论 -
解决maven java.rmi.ConnectException: Connection refused to host: 127.0.0.1 错误
本篇文章主要讲述了在使用Idea打开项目时,可能会遇到Maven加载失败的问题,造成这个问题可能是因为DNS配置错误或者防病毒软件或防火墙会阻止与本地主机的连接等原因。文章提供了详细的解决方法,即关闭防火墙或添加白名单。原创 2024-08-08 15:34:37 · 417 阅读 · 0 评论 -
简单了解一下 CPU 和 GPU 的区别
本文介绍了CPU和GPU的历史产生背景,以及它们之间的区别和应用。此外,文章还介绍了如何利用大模型的优势,其中推荐了一个多模型可供选择的工具葫芦AI。原创 2024-08-06 19:49:45 · 935 阅读 · 0 评论 -
解开基于大模型的Text2SQL的神秘面纱
本文介绍了NL2SQL的实现方式,包括目前比较火的开源项目Vanna、DAIL-SQL以及其他实现方式,同时总结了当前NL2SQL实现方式的优化点。此外,本文还介绍了Text-to-SQL测试集WikiSQL、Spider和BIRD,以及评估模型性能的指标Spider Exact Match和Spider Exact Execution。原创 2024-07-25 15:08:38 · 1094 阅读 · 2 评论 -
Flink 通过 paimon 关联维表,内存降为原来的1/4
本文介绍了如何通过替换维表实现FlinkSQL任务内存占用的优化。作者通过分析Iceberg lookup部分源码,发现其cache的数据会存在内存中,导致内存占用过大。作者将维表替换为paimon,通过分析paimon维表的原理,发现其cache的数据存储在rocksdb中,从而实现了内存占用的降低。原创 2024-05-28 19:59:27 · 1130 阅读 · 0 评论 -
利用java8 的 CompletableFuture 优化 Flink 程序,性能提升 50%
本文介绍了 Flink 中使用 avatorscript 脚本语言的问题,以及如何通过 CompletableFuture 优化代码来提高 Flink QPS。同时,还介绍了 avatorscript 的使用方法,包括自定义函数、从 Map 中取值、使用 Java 工具类和 AviatorScript 函数。原创 2024-05-24 16:39:02 · 532 阅读 · 0 评论 -
曲线救国:window 安装 docker
本文介绍了Docker的基本概念和在Windows系统上的安装方法,包括下载Docker Desktop、启用Hyper-V、安装Docker Desktop、验证是否安装成功等步骤原创 2024-05-14 20:06:35 · 973 阅读 · 0 评论 -
sparksql 如何计算上一个自然周和自然月
本文介绍了如何使用SparkSQL内置函数计算上一个自然周和自然月的UV和VV,以及如何在计算时只计算指定时间段内的分区。作者分享了自己的思考过程和解决方案,并提供了详细的代码示例。原创 2024-05-13 19:55:38 · 452 阅读 · 0 评论 -
进一步分析并彻底解决 Flink container exit 143 问题
本文介绍了Java中的Metaspace,以及如何设置Metaspace的大小和增长速度等参数。同时,通过分析GC日志,发现了使用Aviator表达式引擎时可能导致Metaspace内存泄漏的问题,并提供了解决方案。原创 2024-05-09 19:43:10 · 452 阅读 · 2 评论 -
Flink container exit 143 问题排查
文章主要介绍了作者在开发一个基于状态计算各种汇总数据的Flink作业时遇到的问题排查过程。作者一开始遇到报错后尝试调大Flink参数解决问题,但仍出现FullGC严重的情况。经过查看数据量、增大内存和排查后发现是由于Metadata内存分配失败导致的FullGC,最终调大JVM metadata阈值解决了问题。原创 2024-05-08 14:13:56 · 667 阅读 · 0 评论 -
window 安装大模型 chatglm.cpp
文章介绍了在工作中使用的电脑配置、安装组件及模型,并详细说明了安装步骤和运行方法。同时提及了模型量化的重要性和优缺点原创 2024-04-28 15:01:29 · 826 阅读 · 0 评论 -
window 安装大模型 chatglm-6b
有大模型以来一直想尝试通过本地安装大模型,主要的原因是GPT众所众知的原因没有办法通过 API 访问,而国内的所谓的开发平台一方面要么不兼容 openai 的 api 要么就是价格不够友好,要么两者兼有,另外的话,开发平台也有所谓的隐私问题。另外公司内部虽然有已经部署好的开源大模型,但相应的服务中的 Temperautre 或者 Top 都已经被固定了,用起来特别没意思。所以想自己搞一套,喜欢自己说了算。原创 2024-04-27 10:06:49 · 1254 阅读 · 0 评论 -
IP地址 0.0.0.0 和 127.0.0.1之间的区别
文章讲解了0.0.0.0和127.0.0.1的含义及区别,以及在服务器上下文中的应用。通过实例说明了在python django代码中绑定IP时的差异,对于理解网络协议和服务器配置有启发意义。原创 2024-04-25 16:55:22 · 1136 阅读 · 0 评论 -
是时候分清楚python 包:PyCrypto 和 PyCryptodome
今天遇到了一个 python 项目用到了 pycrypto 这个库,但这个库的依赖死活装不上去,有些懵逼,随去 GOOGLE 了一番python 密码学工具包,用来做加解密的,不幸的是最新版本 released: Oct 18, 2013,可今年是 2024年呀,一个正常的 python 包,不可能这么长时间不更新。原创 2024-04-25 10:47:01 · 601 阅读 · 0 评论 -
window Intel(R) 安装 ComfyUI时解决 Torch not compiled with CUDA enabled 问题
文章详细说明了在不支持CUDA的Intel® Iris(R) Xe Graphics系统上安装ComfyUI的过程,包括安装Anaconda、选择合适的PyTorch版本、下载ComfyUI代码,进入ComfyUI目录,以及安装依赖。接着,介绍了如何通过特定的启动选项在CPU上启动服务,特别是禁用CUDA内存分配、使用分裂跨注意力机制,并强调在CPU上执行的可能性和原因。原创 2024-04-22 20:20:54 · 1502 阅读 · 0 评论 -
关于 AssertionError: Torch not compiled with CUDA enabled 问题
文章介绍了如何解决使用 ComfyUI 安装过程中出现的 "AssertionError: Torch not compiled with CUDA enabled" 错误,重点讲解了 CUDA 和 Intel(R) Lris(R) Xe Graphics 的概念,以及解决该错误的具体步骤。原创 2024-04-18 19:56:54 · 1758 阅读 · 0 评论 -
LSM 树:数据库、搜索引擎等的首选数据结构
LSM树是一种算法设计,可以帮助存储海量数据,并通过内存层、磁盘刷新和SSTable的组织方式实现高效写入和读取操作。翻译 2024-04-16 15:18:55 · 117 阅读 · 0 评论 -
关于pandas 无法读取 csv 文件数据的解决方式
本文讨论了使用Pandas读取CSV文件时遇到的问题及解决方法。通过代码演示和相关截图,详细展示了数据错位和取值异常等情况,并最终使用适当的参数设置和处理方法解决了这些问题。原创 2024-04-09 20:17:27 · 1087 阅读 · 0 评论 -
Python是解释型语言,为啥还有 __pycache__ 文件呢?为啥还有.pyc 文件呢?
本文深入探讨了Python的执行模型,解释了Python不同于传统的纯解释型或编译型语言,而是结合了编译和解释的特点。通过介绍Python的字节码和PVM执行过程,文章强调了优化代码和提高性能的重要性,同时指出了dis模块对于理解Python代码执行过程和性能调优的关键性。原创 2024-04-02 17:05:14 · 773 阅读 · 0 评论 -
关于 FastAPI 路径参数,你知道多少?
FastAPI 最核心的之一就是路径参数,今天我们一篇彻底搞 FaST 懂路径参数"}路径操作装饰器中 name 就是路径参数,这里我们也把路径参数name的值作为参数name传递给了路径操作函数say_hello,如果我们运行示例并访问至此我们将跟路径参数相关的,包括路径参数的定义、作用、基本用法和高级用法,就介绍完了。抓紧应用到自己的工作中去吧!原创 2024-03-25 19:15:50 · 1002 阅读 · 0 评论 -
聊一下大模型的函数调用-Function call
本文介绍了大模型的 Function call 功能,包括其作用、GLM-4 如何进行函数调用、代码编写等。同时,文章还提到了如果没有 Function call,类似的问题也可以通过其他方式解决。总的来说,本文是一篇介绍大模型 Function call 功能的入门级文章。原创 2024-03-22 18:55:43 · 3956 阅读 · 3 评论 -
通过 Socket 手动实现 HTTP 协议
在本文中,我们通过使用Socket编写一个HTTP协议,以直观地感受上篇文章中的请求和响应。文章分析了客户端的GET请求和PUT请求的参数,并对服务端的响应参数进行了讨论。最后,文章扩展了内容类型(content-type)的重要性,并通过实例展示了不同类型的数据处理方式。原创 2024-03-21 17:14:07 · 625 阅读 · 0 评论 -
关于 HTTP 协议,你了解多少?
本文详细介绍了FastAPI的基础概念,特别是HTTP协议的核心组成部分。文章首先概述了HTTP协议的基本概念,包括其基于TCP/IP的请求-响应模型、无状态特性、常用的请求方法、URL结构、请求和响应头部、状态码、以及Cookie和会话管理。接着,文章深入探讨了HTTP请求和响应的结构,包括请求行、请求体、请求头部、响应行、响应头部和响应体。通过具体的例子,文章展示了如何构建和解析HTTP请求与响应,为读者提供了对Web通信基础的深入理解。原创 2024-03-20 16:28:39 · 894 阅读 · 0 评论 -
python的FastAPI 快速入门
本文介绍了使用 FastAPI 构建 API 的基本知识,包括 FastAPI 的特性、安装、基本使用、HTTP 方法、中间件和异常处理。文章以简洁明了的方式介绍了 FastAPI 的优势和基本操作,适合初学者快速入门。原创 2024-03-20 15:58:59 · 728 阅读 · 0 评论 -
ubuntu 如何使用阿里云盘
本文介绍了在Ubuntu平台上使用阿里云盘的解决方式,通过搜索发现了在GitHub上有阿里云盘命令行客户端,提供了下载并安装的步骤,以及进入交互和常用操作的详细说明。原创 2024-03-19 12:49:26 · 1956 阅读 · 2 评论 -
简单聊一下 Python asyncio
本文介绍了Python中的asyncio库,重点讨论了asyncio的本质、解决的问题以及提供的示例。asyncio是基于协程的框架,使用async和await语法来定义和执行异步操作,避免了传统的回调方式,适合构建IO密集型和高层级结构化网络代码。它解决了Python中多线程和多进程方式实现并发时的性能和易用性限制。最后,提供了一个简单的示例来展示asyncio的使用。原创 2024-03-15 16:11:35 · 920 阅读 · 0 评论 -
推荐葫芦AI-目前国内AI最好整合的平台
主流的 AI 模型,目前都是收费制。如果同时使用多个模型,每月是一笔不小的费用,而且过程很麻烦。想要去使用,免费的不好的,要想用好用的,没有办法,只能付费。原创 2024-03-14 21:36:46 · 1851 阅读 · 4 评论 -
解决安装 unbantu 后,桌面字体太小,无法调节的问题
这篇文章介绍了如何在 Ubuntu 22.04 上永久性地调整字体大小,以防止在全屏或不全屏状态下出现问题。通过修改 90_hidpi.gschema.override 文件,可以启用 HiDPI 模式并设置缩放因子为 2(即 200%),从而使界面元素在高分辨率显示器上更加清晰易读。原创 2024-03-14 15:38:01 · 542 阅读 · 0 评论 -
一文彻底搞定 Python 的 Exception 处理
这篇文章主要介绍了Python中的异常处理机制。首先阐述了异常的定义和应用场景,如文件操作、网络请求和数据验证等。然后详细解释了异常的使用方式,包括抛出异常(raise)、捕获异常(try-except)和finally块。最后,文章还提到了自定义异常的概念和用法。原创 2024-03-13 19:40:43 · 2723 阅读 · 0 评论 -
Python import 跟 Java import 有什么区别?
本文重点阐述了Python和Java中import语句的异同。主要区别包括:语法形式、编译时导入还是运行时导入、名称冲突解决方式、静态绑定与动态绑定等。同时详细解释了Python导入模块/包和Java导入类/包时各自解释器/编译器的具体执行过程。最后指出二者都是用于引入外部代码以扩展功能,并将所导入的内容引入当前命名空间。原创 2024-03-13 13:08:11 · 1072 阅读 · 0 评论 -
简单聊一下 Python 协程
本文介绍了Python中的协程概念及其优势。协程是一种轻量级的并发编程模型,允许在程序执行过程中暂停和恢复执行,实现异步和并发操作。文章解释了协程的定义和作用,并提供了一些协程的示例代码。协程的优势包括轻量级和高效性、简化并发编程、可读性和维护性、避免竞态条件以及统一的编程模型。文章还介绍了协程的使用场景,特别适合I/O密集型任务。原创 2024-03-12 20:30:25 · 733 阅读 · 0 评论 -
关于 Conda 和 pip,你了解多少
本文介绍了Conda和Pip这两种Python包管理工具的相同点和不同点。它们都是为了安装和管理Python包而设计的,但Conda提供了更广泛的软件包管理能力,可以安装任何语言编写的软件包,并具有创建隔离环境的能力。相比之下,Pip专注于Python软件包的管理。本文总结了它们的设计目的、软件包范围、环境管理和依赖关系处理等方面的差异。原创 2024-03-12 15:15:51 · 292 阅读 · 0 评论 -
python 闭包在实际项目中的一些实现方式
本文讨论了Python闭包的应用,并给出了一些实际项目中使用闭包的例子。闭包可以用于创建认证和授权系统,缓存函数以提高性能,以及事件处理系统。闭包的特性使得它在许多情况下都是一个有用的工具,可以提供更灵活和可控的代码结构,实现更简洁、可读性更高的代码,并且能够更好地封装和管理代码的状态和环境原创 2024-03-11 14:41:16 · 947 阅读 · 0 评论 -
Python 字符串格式化,你了解多少?
本文介绍了Python中常用的字符串格式化方法,包括传统的字符串格式化操作符%、字符串的format()方法、f-strings(格式化字符串字面值)、字符串模板和str.format_map()方法。对于每种方法,提供了示例代码和说明,以帮助读者理解和选择适合自己需求的格式化方式。原创 2024-03-11 12:48:11 · 664 阅读 · 0 评论 -
Python 的闭包,你知道多少?一起聊聊
本文介绍了闭包(closure)在计算机编程中的概念和应用。闭包是指在一个函数内部定义的函数,并且内部函数引用了外部函数的变量。闭包通过存储函数和环境的记录,实现了词法作用域中的名称绑定。原创 2024-03-08 21:01:28 · 867 阅读 · 0 评论 -
Python 中 _ 开头的变量,你了解多少?
最近见了很多有意思的中代码,比如特别好奇,普通的中的代码,又不是,_ 究竟是啥意思?本文探讨了以单下划线开头的变量在Python中的用途和含义。这些变量可以用作私有成员、避免与关键字和内置函数冲突、表示临时或无关紧要的变量,以及表示特殊的变量名。尽管这些约定并非强制执行,但它们有助于提高代码的可读性和可维护性。在编写Python代码时,遵循这些约定可以帮助开发人员更好地理解和使用变量。原创 2024-03-08 14:12:03 · 457 阅读 · 0 评论 -
关于 python 的 if __name__ == ‘__main__‘,你知道多少?
对于熟悉 Java 等其他有主方法的猿猿们或者用 Python 写一些测试代码时,往往偏爱撰写的语句。然而,对于,我们究竟了解多少呢?main是一种良好的编程实践,用于判断模块是否作为主程序直接执行。它增加了代码的可重用性,使模块可以方便地作为其他程序的依赖模块,并进行测试和调试。使用该条件语句可以避免执行不必要的代码,提高程序的效率。在Python社区中,使用已成为一种约定俗成的惯例,提高了代码的可读性和规范性。__name__变量在该条件语句中具有两种可能的取值情况,分别是。原创 2024-03-07 18:21:03 · 451 阅读 · 0 评论 -
关于 Python 的 import,你了解多少?
写过 Python 的猿猿肯定对 import 不陌生。但 Python 在 import module 时会执行相关的代码,你知道吗?Python import 还有其他的什么特性呢?通过这一篇文章,彻底掌握 Python import在Python中,import是用于导入模块和模块中定义的变量、函数、类等内容的关键字。import的作用是扩展Python的功能,并允许在代码中使用其他模块提供的功能。介绍了 Python 中 import 关键字的使用方法和工作原理。原创 2024-03-07 12:58:01 · 868 阅读 · 0 评论 -
Python的语法糖,你真的了解吗?
本文介绍了Python语法糖的概念、优势和原理。语法糖是一种编程语言中的语法结构或编码风格,通过转换或解释使代码更易读、更简洁或更符合人类思维习惯。Python的语法糖可以简化代码、提高可读性、提高可维护性和提高开发效率。它们包括列表推导式、字典推导式、生成器表达式、上下文管理器和装饰器等。这些语法糖可以使代码更加简洁、易读和易于理解,从而提高代码的可读性、可维护性和开发效率。语法糖在编译或解释阶段会被转换成等价的底层语法结构,以实现相同的功能。Python还有其他许多语法糖,如装饰器、属性访问器、枚举类等原创 2024-03-06 19:41:31 · 543 阅读 · 0 评论 -
关于 Python 变量的作用域,你真的了解吗?
在编程语言中,作用域(Scope)是指程序中定义的变量、函数和对象的可见性和可访问性范围。作用域规定了在程序中的哪些部分可以引用某个标识符(如变量名),以及在何处可以访问和操作这些标识符。在 Python 中,作用域是基于代码块的,也就是说,变量的作用域是在它们被定义的代码块中。例如,在一个函数中定义的变量只能在该函数中访问,而在一个循环或条件语句中定义的变量只能在该循环或条件语句中访问。在 Java 中,作用域是基于函数或类的,也就是说,变量的作用域是在它们被定义的函数或类中。原创 2024-03-06 13:24:39 · 1249 阅读 · 0 评论