flyingant9-CSDN博客

原创当前大模型落地几种方式

对于模型训练，一般采用的有预训练PT、监督微调训练SFT、强化学习（如rm、PPO、DPO、KTP），基于原有的基础模型、现有的数据集进行微调，训练方法有lora和qlora等。在实际运用中，以上几种可以独立使用，更多是需要互相的关联使用、交叉使用、或者与我们传统的逻辑规则（如业务逻辑API接口）组合起来，才能解决实际的复杂场景。如coze、dify都是这样的工具，可以通过定制工作流、智能体，把复杂问题拆解、比较、组合，然后得到最优解。

2025-03-16 13:17:53 163

原创关于数据治理和AGI发展的思考

f）当前数据开发的质量，数据的质量，数据制度的执行情况，只能按预定规则去评估；在AGI应用开发中，包括几块吧，首先懂业务或者能快速的熟悉业务，才能设计应用，然后在开发阶段，你必须要懂代码可以不精，当前AI的发展，你不用很精通代码，我们熟悉的pycharm或者idea中都能继承AI，协助你编写代码、解决疑难杂症，最后就是模型的部署和微调了，这个现在也提供了很多工具，比如Ollama、LLamaFactory、VLLM等，如果还想省事，那现在大厂做好的如coza、各家的智能体中心等，都提供了一站式解决方案。

2025-01-12 11:28:59 382

原创如何从0到1搭建数据治理体系框架

另一方面，需要稳定的团队，包括工程实施、数据治理、产品研发、安全保障、项目管理等人员，这里重要一点，数据治理是持续性项目，所以核心人员要保持稳定，稳定的队伍在输出价值时是叠加的，不然输出的价值和服务就是断层的，就是不连续的，会内耗的。要理解项目建设的背景，项目的建设要求，项目的建设是为企业战略服务的，要与战略一致，只谈数据治理技术而忽略企业战略，是闭门造车，没法及时实现效益，注定会失败，只谈战略而忽视数据治理技术，注定是夸夸其谈，满足不了后续增长业务需要。在完成实施后，不是一成不变了，是需要迭代优化的。

2024-11-05 10:27:44 323

原创数据治理（策略）是什么，怎么做

那为什么要做数据治理呢？对外来说，这两年国家成立国家数据局，加强和促进数据要素的交易，所以数据以后可以作为企业的资产，类似固定资产纳入企业的财务报表了，这就能体现企业资产价值，而且这些数据也可对外与其他单位进行数据交易，产生收益。数据治理：简单的说，就是管理数据，通过治理动作形成高可用数据，深刻的来说，数据治理是一个组织对其数据资产进行管理的过程，通过对多源、多渠道数据的管理，采用一些治理动作，形成高质量、高可用、高价值的数据。如果做个比喻，数据治理是项工程，数据治理策略是一套规则去保障工程的有效执行。

2024-10-10 15:44:28 296

原创日志采集方案和集群flume+kafka+elasticsearch

准备工作：1、服务器三台172.16.xx.17172.16.xx.18172.16.xx.192、更改主机名（可选，本机器主机名太长）vi /etc/hostsvi /etc/systemconfig/network3、安装jdk：jdk-8u131-linux-x64.tar.gz1.8版本，不按照会出现莫名错误、jps无法使用配置/etc/profileexport JAVA_HOME=/usr/java/jdk1.8.0_131export JRE_HOME=JAVAHOME

2021-09-24 09:36:36 552

原创 mysql导入导出大批量数据和时间测验

本次需要导出表的数据量在1千万，字段约20个。导出：1、navicat客户端（和服务端在同网段，保证传输效率）导出txt，时间10分钟2、mysql 服务器端，outfile导出txt，时间1分多3、mysql 服务器端，mysqldump导出sql，时间2分多mysqldump -uroot -p --databases dsjj --tables test_xx > E:\test_xx.sql导入：1、mysql 服务器端，load data方法导入txt，时间4分多2

2021-09-15 09:33:11 1991

原创安装python第三方模块包时，报错 error: Microsoft Visual C++ 14.0 or greater is required. Get it with “Microsoft C

现象1：安装python第三方模块包时，报错 error: Microsoft Visual C++ 14.0 or greater is required. Get it with “Microsoft C++ Build Tools”: https://visualstudio.microsoft.com/visual-cpp-build-tools/解决办法，下载Microsoft Visual C++ 安装此编译器，https://pan.baidu.com/s/1r_WYUE90yBc2yN

2021-09-08 14:23:33 3207 3

原创 python 比较内容的相似度

实现对两个文件xls中固定列内容的相似度比较# -*- coding:utf-8 -*-import difflibimport xlrdimport xlwtfrom xlutils.copy import copydef string_similar(s1, s2): return difflib.SequenceMatcher(None, s1, s2).quick_ratio()def getData_bb(dir_pathname_bb): print(dir

2021-07-29 11:44:50 1493

原创 python实现不同数据库间数据同步

功能描述数据库间数据同步方式很多，在上篇博文中有总结。代码

2021-02-23 17:29:11 3371 4

原创 py脚本打包成exe

我的py包anaconda进行管理的，故本例中是在anaconda中进行打包操作的。1、打开anaconda2、选择python安装环境，打开cmd窗口，例如我的是python3环境，则在Environments选择python3，右边有个箭头图标，点击后选择Open Terminal3、在cmd中，切换到py源文件目录4、执行打包命令打包exePyinstaller -F setup.py不带控制台的打包Pyinstaller -F -w setup.py打包指定exe图标打包Pyin

2021-02-22 15:30:14 122

原创 linux系统用rpm方式安装mysql5

1、下载2、解压后如下四个安装文件mysql-community-common-5.7.19-1.el6.x86_64.rpmmysql-community-libs-5.7.19-1.el6.x86_64.rpmmysql-community-client-5.7.19-1.el6.x86_64.rpmmysql-community-server-5.7.19-1.el6.x86_64.rpm3、安装root用户下登录[root@localhost mysql]# rpm -ivh mys

2021-02-22 15:02:38 204

原创 python处理excel和调用http接口实战案例

功能描述：调用第三方接口获取数据，并写入excel中。用到了在Python中读取和写入excel，如何调用http接口，如何对接口返回json处理。代码：#!/usr/bin/python3# -*- coding: UTF-8 -*-import timeimport jsonimport requestsfrom openpyxl.reader.excel import load_workbook#初始化数值access_token = 'xxxx'file_name = '

2021-02-22 14:37:50 870

原创数据库客户端工具连接不上或无反应

问题描述：今天上班，同学说用plsqldeveloper工具无法登录了，昨天还登录正常呢，奇怪_啊，网络和防火墙都没问题，数据库服务端也正常解决分析：1、经检查，ping和telnet端口都正常，说明网络和防火墙都没问题2、此服务端是在win机器上安装的，检查实例、监听和服务启动都正常，同时发现在服务端机器上，用sqlplus工具连接正常，说明服务端运行是正常的3、tnsping 服务名，发现没反应，重启win服务监听，然后tnsping提示12541 无监听程序错误，茫然了…经观察，发现每次重

2021-02-22 14:19:43 782

原创 win10下安装mysql8.0.23版本

1、下载一般我们自己用，就下载社区版本，免费开源版本，其他版本收费了本次安装是8.0.23版本下载地址2、解压到安装目录，自己指定个目录，例D:\mysql3、如果没有my.ini文件，需要在bin下创建，第一次配置文件简单点，后面在根据需求添加[client]port=3306default-character-set=utf8[mysqld]port=3306character_set_server=utf8basedir=D:\mysql\mysql8023datadir=D:\

2021-02-22 11:22:42 1162

原创 oracle数据同步方法

oracle数据同步方法总结：1、用insert语句，但不适合大数据量alter table B nologging;insert /* +APPEND / into A(a1,a2) values(x,xx);insert / +APPEND */ into B select * from A where …;2、用 imp、exp导入imp username/password@192.168.1.1:45021/orcl file=D:\test\1102\test.dmp full=

2021-02-22 11:04:14 1987

原创 python自动生成sql语句小工具，针对超多字段（如100多个字段）建表场景

描述：工作中在数据库中创建表时，当字段很多时，比较麻烦，开发一个工具，可在excel中写好字段英文名和中文名，然后通过py生成脚本或直接在库中生成表脚本：import tkinterfrom tkinter import *import tkinter.messageboxfrom tkinter import scrolledtextimport xlrdimport pymysqlimport os#从excel中获取字段项，组合建表语句def get_create_sql(di

2021-02-22 10:47:51 2419 2