自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Java与大数据相关实践内容分享!

从云服务器到组件安装使用、问题、算法及实践案例分享!

  • 博客(370)
  • 问答 (1)
  • 收藏
  • 关注

原创 AI【应用 04】FunASR离线文件转写服务开发指南(实践篇)

FunASR离线文件转写服务开发指南(实践篇)摘要: FunASR是阿里云提供的离线语音识别工具包,支持长音频/视频转文字,具备端点检测、标点预测等功能。部署环境为openEuler 22.03系统+Docker 27.4.0。实践步骤包括:1)通过脚本安装Docker;2)拉取0.4.7版本CPU镜像并启动容器;3)在容器内启动服务端,支持下载VAD、ASR、标点等模型。服务支持热词定制(通过hotwords.txt配置)、ITN文本规整,推荐4核8G配置支持32路并发。日志显示模型下载和初始化过程,若需

2026-03-03 15:14:32 1265 24

原创 MySQL【部署 04】Docker部署 MySQL8.0.32 版本(网盘镜像及启动命令分享)

本文分享了MySQL 8.0.32版本的Docker镜像部署方法。首先通过百度网盘提供镜像下载链接,然后详细说明部署流程:1)使用docker load命令导入镜像;2)创建挂载目录结构;3)配置my.cnf文件;4)提供完整的docker run启动命令模板,包含环境变量、端口映射、数据卷挂载等关键参数配置。文档还特别说明了MySQL容器运行时的核心配置选项,包括root密码设置、数据持久化、时区配置等注意事项,帮助用户快速完成MySQL容器化部署。

2026-02-24 16:32:38 1102 5

原创 2分钟一个模块,半小时一个项目!飞算JavaAI专业版实测:真无限Token + 全栈生成

2分钟一个模块,半小时一个项目!飞算JavaAI专业版实测:真无限Token + 全栈生成

2026-02-05 16:06:53 6986 21

原创 AutoGen【部署 03】部署AutoGenStudio 创建的 Agent Apps(Windows 代码调用 + Linux REST API部署测试)

本文介绍了如何部署AutoGenStudio创建的Agent Apps。主要内容包括:1)通过TeamManager类导出团队配置为JSON文件;2)在Windows环境下使用PyCharm配置虚拟环境并运行测试代码;3)在Linux环境下启动REST API服务。测试结果显示,系统能成功调用本地大模型(如阿里云通义千问)并返回响应结果。文章还提供了Gitee项目地址和相关环境配置说明。

2026-01-19 17:21:36 1370 29

原创 AutoGen【部署 02】Linux环境安装部署AutoGenStudio并调用本地 qwen2.5:0.5b 大模型举例

本文介绍了在Linux环境下安装部署AutoGenStudio并调用本地大模型的过程。首先在openEuler系统中使用conda创建Python3.10虚拟环境,通过pip安装autogenstudio包。启动Web UI后,详细说明了如何配置本地大模型:通过ollama list获取模型名称,在AutoGenStudio界面添加模型,并在Team Builder中替换默认模型进行测试调用。最后指出AutoGenStudio无需安装AutoGen及其扩展即可实现本地大模型调用。整个过程涵盖了从环境搭建到模

2026-01-08 18:49:18 427 34

原创 AutoGen【部署 01】Windows环境安装部署AutoGen、AutoGenStudio和LiteLLM流程说明

本文介绍了在Windows环境下部署AutoGen多智能体AI框架的完整流程。主要内容包括:1)使用Anaconda创建Python 3.10虚拟环境;2)通过pip安装AutoGen核心组件及扩展模块;3)安装AutoGenStudio可视化界面并启动Web服务;4)配置LiteLLM桥接本地模型服务。文章详细记录了各步骤的安装命令、常见错误及解决方法,并提供了AutoGen官方文档链接,帮助开发者快速搭建多智能体AI开发环境。

2026-01-07 09:57:00 1031 14

原创 玩转DanceGRPO,让AI生成的图片越来越“懂你“

本文介绍了将DanceGRPO强化学习框架应用于FLUX图像生成模型的实践探索。DanceGRPO作为首个应用于视觉生成领域的GRPO框架,通过三个阶段优化模型:推理生成候选图片、Reward模型打分、训练更新策略。文章详细记录了在NPU平台实现过程中的技术挑战,包括精度对齐、性能优化等关键问题,最终使模型生成质量显著提升(Reward分数提高9%)。实践表明,通过固定随机性、分阶段验证等方法,可以成功实现NPU与GPU的精度对齐,并获得25%的性能提升。

2025-12-24 18:32:40 10813 13

原创 Ascend C 异构编程环境搭建全流程指南

摘要:本文详细介绍了华为昇腾AI处理器原生算子开发语言AscendC的环境搭建全流程。首先分析了硬件兼容性要求,包括Atlas训练/推理系列芯片和操作系统版本;其次讲解了系统依赖安装、Python环境配置和CANNToolkit部署方法;然后重点阐述了环境变量配置技巧;最后通过一个简单的Add算子示例,展示了工程目录结构、核心代码实现和CMake构建方法,并提供了编译运行及调试技巧。文档覆盖910A/910B训练芯片和310P推理芯片,为开发者提供了从零开始搭建AscendC开发环境的完整指导。

2025-12-24 18:29:22 9508 23

原创 Flink【基础知识 01】简介+核心架构+分层API+集群架构+应用场景+特点优势(一篇即可大概了解Flink)

摘要:Apache Flink 是一个支持高吞吐、低延迟的实时分布式处理框架,能够对有界和无界数据流进行有状态计算。其核心架构分为API层、Runtime层和部署层,支持流批统一处理。Flink采用分层API设计,包括SQL/Table API、DataStream/DataSet API及底层Process Function。集群采用Master-Slave架构,由JobManager、TaskManager等组件协同工作,通过资源管理和任务调度实现高效处理。相比Spark的微批处理,Flink提供纯实时

2025-12-19 14:37:33 1883 25

原创 Flink【环境搭建 01】1.9.3 集群版安装、配置、验证

本文介绍了Flink 1.9.3集群版的安装配置过程。首先规划3节点集群(1主2从),配置SSH免密登录,包括生成密钥对和授权。然后解压安装包并修改配置文件,设置JobManager地址、RPC端口和内存参数。接着配置slaves文件指定所有节点,分发程序到各节点后启动集群。最后通过jps命令和WebUI验证集群状态。文中还提示了配置主机映射和内存参数设置的注意事项。整个流程为搭建Flink Standalone集群提供了完整指导。

2025-12-19 14:34:28 547 2

原创 HBase【付诸实践 01】hbase shell 常用命令详解(表操作+数据增删改查+2种查询操作)(hbase-2.4.5 单机版standalone模式)

本文介绍了HBase Shell的常用命令操作,主要包括:1. 运行环境配置(HBase 2.4.5、Hadoop 3.1.3、Java 1.8);2. 基本命令如启动Shell、获取帮助、查看集群状态和版本信息;3. 表操作包括创建表、查看表结构、启用/禁用表、检查表存在性和删除表;4. 数据操作如添加列族。文章通过具体命令示例展示了HBase Shell的基本使用方法,适合初学者快速掌握HBase数据库的基本操作。

2025-12-19 14:24:28 709 1

原创 Shell【脚本 06】监测文件数据量并压缩及查看远程服务器状态并删除文件脚本分享

本文介绍了两个Shell脚本实现物联网设备文件同步与清理的自动化方案。第一个脚本zip_and_move.sh监控源目录文件数量,当超过50个时自动压缩最新文件到同步目录并删除源文件;第二个脚本check_and_delete.sh通过ping检测主服务器状态,若在线则清理同步目录文件。两个脚本通过crontab定时执行,实现了主备服务器间的文件自动同步与清理功能。文章还指出了Shell脚本编写中的关键语法点,如命令执行符号、路径处理等,并提到日志记录等可优化方向。

2025-12-06 15:05:33 386 14

转载 从环境搭建到项目实战:为什么这本《AI+Java编程入门》成了新手的“通关秘籍”?

《AI+Java编程入门:让代码跑起来》是一本面向零基础学习者的Java入门指南,由清华大学出版社出版。该书创新性地将AI编程助手(百度文心快码)融入教学,帮助读者快速上手。特色包括:1)详细的环境搭建指导;2)AI智能辅助(代码补全、错误诊断、优化建议);3)渐进式实战项目(从Hello World到BMI计算器等)。相比传统教材,该书更注重实践,通过AI即时反馈降低学习门槛。适合编程新手、自学受挫者及高校学生使用。现京东双11特惠5折发售。

2025-10-31 11:39:20 273 38

原创 Java【代码 24】AOI数据获取(通过地址名称获取位置UID后再获取AOI数据)

摘要 本文介绍了获取AOI(兴趣区域)边界数据的多种方法。首先对比了OSM数据下载、水经微图、QGIS绘制等方案,重点推荐使用百度地图API获取数据。详细说明了通过百度地图接口获取地点UID和边界数据的两步流程:1)使用官方API或抓包接口获取地点UID;2)通过UID请求边界数据。文章提供了完整的接口说明、响应示例和Java调用代码,特别适合需要批量获取地理边界数据的开发者参考。

2025-09-30 18:02:37 1151 19

原创 PostgreSQL【应用 04】加解密扩展 pgcrypto 使用实例(加密、导出、导入、解密流程说明)

本文介绍了PostgreSQL中使用pgcrypto扩展进行数据加密的实例。通过测试数据展示了如何对phone字段进行加密,并比较了Navicat和COPY命令两种导出方式的差异:Navicat导出为BASE64格式,COPY命令导出为16进制格式。文章重点指出,在使用不同方式导出和导入加密数据时,必须保持格式一致才能成功解密,否则会导致解密失败。特别强调了密钥管理的重要性,一旦丢失将无法恢复数据。

2025-08-28 16:35:03 1034 25

原创 Hive【应用 04】常用DDL操作(数据库操作+创建表+修改表+清空删除表+其他命令)

文章摘要:本文介绍了Hive中常用的DDL操作,包括数据库操作(查看、使用、创建、删除等)和表操作(创建内部表、外部表、分区表、分桶表、倾斜表、临时表等)。详细说明了各种表的创建语法和使用场景,并提供了修改表结构、重命名表、清空表等常见操作的SQL示例。文章内容全面,涵盖了Hive DDL的主要操作要点,适合作为Hive数据定义语言的参考手册。

2025-08-06 23:13:01 760 29

原创 Hive【安装 02】属性配置的三种方式及配置的优先级说明

Hive属性配置的三种方式及优先级:1)配置文件(hive-site.xml等)永久有效;2)命令行启动时--hiveconf参数作用于整个Session;3)交互模式下set命令实时配置。配置优先级从低到高依次为:hive-site.xml → hivemetastore-site.xml → hiveserver2-site.xml → --hiveconf → set命令。set命令还可通过-i参数加载初始化脚本批量配置。具体参数可参考官方文档按需设置。

2025-08-06 23:01:25 502 5

原创 Hive【应用 03】HiveServer2/beeline 配置使用

HiveServer2 (HS2) 是 Hive 的改进服务,支持多客户端并发访问和身份验证。相比 HiveServer,HS2 基于 Thrift 协议,提供更安全高效的远程连接方式,官方推荐使用其客户端工具 Beeline。配置时需要修改 Hadoop 的 core-site.xml 文件以启用代理用户机制,避免权限异常。启动 HS2 服务后,可通过 Beeline 连接,支持多种参数如用户名、密码、脚本执行等。Beeline 基于 JDBC,功能比传统的 Hive CLI 更强大,已成为 Hive 的

2025-07-29 18:17:56 953 25

原创 Hive【应用 02】多数据源可视化工具 DataGrip 和 DBeaver 连接 Hive 数据库及 Connection refused:connect. 问题处理

本文介绍了Hive多数据源可视化工具DataGrip和DBeaver的使用方法。首先分析了连接报错"Connection refused:connect"的原因是由于未启动HiveServer2服务,并提供了启动方法。随后详细介绍了两种可视化工具的操作流程:DataGrip作为JetBrains产品界面统一,支持快速下载驱动和智能补全;DBeaver作为开源免费工具支持300多种数据库,功能全面但需要多次尝试下载驱动。文章对比了两款工具的优缺点,最终推荐DBeaver,认为其免费、功能强

2025-07-29 11:14:27 1505 9

原创 Hive【应用 01】CLI 命令行工具使用(创建库+创建表+导入数据+执行SQL文件+交互式命令+执行SQL命令+配置Hive变量)

本文介绍了Hive CLI命令行工具的基本使用方法。首先通过创建测试数据库和表,并导入示例数据作为准备工作。然后详细讲解了Hive CLI的各项功能:包括查看帮助信息(-H)、交互式命令行模式、直接执行SQL命令(-e)、执行SQL脚本文件(-f,支持本地和HDFS文件)、配置Hive变量(--hiveconf)以及通过初始化文件配置启动参数。文章通过具体示例展示了每种功能的用法,并验证了操作结果,为Hive CLI的使用提供了实用参考。

2025-07-25 16:26:11 1112 11

原创 Hive【安装 01】hive-3.1.2版本安装配置(含 mysql-connector-java-5.1.47.jar 网盘资源)

Hive【安装 01】hive-3.1.2版本安装配置(含 mysql-connector-java-5.1.47.jar 网盘资源)

2025-07-25 15:52:37 1059 43

原创 OpenSSH【安装 03】远程代码执行漏洞CVE-2024-6387修复(OpenSSH_9.7p1升级到9.8p1及cp: 无法创建普通文件“/usr/sbin/sshd“:文本文件忙问题处理)

本文介绍了在CentOS 7.7/7.8系统中将OpenSSH从9.7p1升级到9.8p1以修复CVE-2024-6387漏洞的过程。主要内容包括:1)环境准备,确认依赖包已安装;2)详细的升级步骤,包含备份、编译安装、配置文件更新等操作;3)针对"文本文件忙"错误的解决方案,通过编写脚本停止sshd进程完成文件替换。文中提供了完整的操作命令和脚本示例,并特别强调了在远程升级时保持连接的重要性。升级后需验证sshd版本确保漏洞修复成功。

2025-07-12 18:17:09 1425 61

原创 AI【应用 03】Windows环境部署 TTS CosyVoice2.0 详细流程记录(Matcha-TTS、spk2info.pt等文件分享)

AI【应用 03】Windows环境部署 TTS CosyVoice2.0 详细流程记录(Matcha-TTS、spk2info.pt等文件分享)

2025-07-10 16:04:40 2009 41

原创 OpenSSH【安装 02】离线升级异常问题解决、无法升级时的失败恢复

摘要:本文记录了OpenSSL离线升级过程中遇到的常见问题及解决方案。主要包括:1)"Can't locate IPC/Cmd.pm"错误,通过强制安装rpm包解决依赖问题;2)Python版本冲突问题,通过重新安装Python 2.7.5解决依赖关系;3)升级失败后的恢复方法,需重新安装原始版本的openssh相关rpm包。文章还分享了解决问题所需的安装包资源,包括Python依赖文件和SSH恢复文件,存放在百度网盘供下载使用。

2025-06-30 18:05:00 741 11

原创 AI【应用 02】STT 工具 OpenAI Whisper Windows环境安装测试(入门版本)

OpenAI Whisper Windows环境安装测试

2025-06-25 09:07:40 835 37

原创 Milvus【工具 01】milvus_cli和可视化工具attu安装使用

milvus_cli和可视化工具attu安装使用

2025-06-23 11:53:43 1279 5

原创 Milvus【部署 03】Linux OpenEuler 环境在线+离线安装及卸载(离线安装文件分享及连接异常问题处理)

Linux OpenEuler 环境在线+离线安装及卸载 Milvus

2025-06-23 11:47:57 740 17

原创 Nginx【问题 01】前端出现的 413 错误 Request Entity Too Large 问题解决

摘要: 当Nginx出现"413 Request Entity Too Large"错误时,表明客户端上传的文件大小超过了服务器限制。该问题可通过调整client_max_body_size参数解决,该参数可在http、server、location三个层级配置,作用域逐级缩小。默认值为1M,设置为0则不限制大小。示例中,http全局限制1M,server级限制10M,而特定location(/upload)允许100M上传。通过合理配置该参数,可灵活控制不同层级的文件上传大小限制。

2025-06-11 11:03:25 792 17

原创 AI【应用 01】Trae Agent Gitee自动化辅助神器(使用 MCP tools 创建自定义 Trae Agent 的探索分享)

我用Trae 做了一个有意思的Agent 「Gitee自动化辅助神器」。 点击 [https://s.trae.com.cn/a/b38cc4](https://s.trae.com.cn/a/b38cc4) 立即复刻,一起来玩吧!

2025-06-11 09:09:32 2796 60

原创 Linux【工具 04】Java等常用工具的多版本管理工具SDKMAN安装使用实例

Java等常用工具的多版本管理工具SDKMAN安装使用实例

2025-05-31 23:23:52 1329 9

原创 Django【应用 02】第一个Django应用开发流程图

第一个Django应用开发流程图

2025-05-27 10:05:50 469 1

原创 Ollama【部署 05】Linux环境安装、升级、启动脚本(connection reset by peer异常)

Linux环境下Ollama安装、升级与启动指南:1)安装步骤为下载安装包解压至/usr目录并启动服务;2)升级方式包括运行安装脚本或重新解压安装包覆盖旧版本;3)启动脚本需配置环境变量(如CPU线程数、模型路径等),支持设置主机地址、内存驻留时长等参数。常见问题解决:内网下载失败时可通过其他服务器下载后离线导入模型。

2025-05-07 18:31:10 851 9

原创 Node【问题 01】gyp verb `which` failed Error: not found: python2【无法下载win32-x64-83_binding.node问题处理】

摘要:本文针对无法下载win32-x64-83_binding.node的问题提供了三种解决方案。首先检查Node.js与node-sass版本匹配性,尝试通过设置npm国内镜像和安装windows-build-tools解决(方案一)。若失败,可直接下载缺失文件(方案二)或使用淘宝镜像安装(方案三)。其中方案二详细说明了下载地址和安装命令,并提供了网盘资源。最终方案三通过淘宝镜像快速安装成功。三种方法均针对node-sass 4.14.1版本,适用于Node.js 14.17.0环境。

2025-04-25 14:57:54 549 19

原创 Django【应用 01】django-plotly-dash安装及使用

django-plotly-dash安装及使用

2025-04-25 09:04:12 1569 1

原创 Python【代码 01】导出微信通讯录(微信号+昵称+地区+备注+标签+签名+来源)操作说明(可执行文件exe分享)

Pyhton 导出微信通讯录(微信号+昵称+地区+备注+标签+签名+来源)操作说明(可执行文件exe分享)

2025-04-09 12:17:35 1308 52

原创 Neo4j【环境部署 03】插件APOC和ALGO配置使用实例分享(网盘分享3.5.5兼容版本插件)

Neo4j 插件APOC和ALGO配置使用实例分享(网盘分享3.5.5兼容版本插件)

2025-03-28 11:55:05 1716 26

原创 Java【代码 20】写入csv文件的字段值含有特殊字符的转义处理

本文介绍了CSV文件中特殊字符的转义处理规范(RFC4180),主要包含:1)每条记录单独占行,以CRLF分隔;2)字段需用双引号包裹的情况(含逗号、双引号或换行符时);3)字段内双引号需转义为两个双引号。文中提供了Java实现代码示例,通过判断字段值是否包含特殊字符来决定是否添加双引号包裹,并对内部双引号进行转义处理。表格清晰展示了常见字段转义前后的对比结果,如"ab"c,d"转义为"ab""c,d"。

2025-03-25 08:56:26 942 19

原创 Ollama【部署 04】Linux环境离线安装Ollama及模型文件(sha256缓存与gguf模型文件)

本文介绍了在Linux环境下离线安装Ollama及模型文件的方法。主要内容包括:1) 在openEuler系统上离线安装Ollama软件;2) 两种模型导入方式:通过sha256缓存文件迁移(需复制manifest和blobs文件)和使用下载的gguf格式模型(需创建Modelfile配置文件);3) 详细步骤说明和注意事项。文章展示了如何通过文件迁移实现模型离线部署,并验证了模型导入成功的方法。该方案适用于需要离线部署本地大模型的场景,具有很强的实用性。

2025-03-18 14:16:54 1470 23

原创 Ollama【部署 03】客户端应用ChatBox、AnythingLLM及OpenWebUI部署使用详细步骤

摘要: 本文介绍了三款AI客户端工具:ChatBox、AnythingLLM和OpenWebUI,帮助用户低门槛使用大模型。ChatBox支持多格式文件交互,数据本地存储,安装简单并提供模型配置功能。AnythingLLM可构建私有ChatGPT,支持本地文档处理,需配置模型参数。OpenWebUI为开源工具,支持Docker部署,适合开发者二次开发。三款工具各有侧重:ChatBox适合个人日常使用,AnythingLLM适合企业文档协作,OpenWebUI适合定制化开发。

2025-03-07 21:16:49 2979 13

原创 Ollama【部署 02】Linux本地化部署及SpringBoot2.X集成Ollama(ollama-linux-amd64.tgz最新版本 0.6.2 网盘分享)

摘要:本文介绍了Ollama在Linux系统上的本地化部署方法,包括脚本安装和手动安装两种方式。手动安装部分详细说明了下载、解压和启动流程,并提供了环境变量配置建议。文章还介绍了模型安装方法,以及通过Nginx进行端口映射的配置方案。最后列出了Ollama服务相关的环境变量参数说明,为SpringBoot集成提供基础支持。网盘分享了多个版本的安装文件和客户端工具。

2025-02-28 18:33:36 1571

智能AI开源模型与大模型接口整理

8个开源模型(可本地部署)+7个大模型接口 1.说明 1.1 开源模型 1.2 大模型接口 2.开源模型整理 2.1 ChatGLM 2.2 Baichuan 2.3 Qwen 2.4 Yi 2.5 XVERSE 2.6 MOSS 2.7 ChatRWKV 2.8 GPT4All 3.大模型接口整理 3.1 百度千帆大模型 3.2 阿里模型服务灵积 3.3 腾讯混元大模型 3.4 科大讯飞星火大模型 3.5 清华智谱清言 3.6 昆仑万维天工AI 3.7 OpenAIGPT ———————————————— 数据主要来源于 【数据学习】的整理和汇总。 https://www.datalearner.com/ai-models/llm-evaluation https://www.datalearner.com/ai-models/llm-coding-evaluation https://www.datalearner.com/blog/105169

2024-01-29

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除