- 博客(106)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 MetaGPT-打卡day01
MetaGPT是一个基于大型语言模型（LLMs）的多智能体协作框架。它利用SOP（Standard Operating Procedures，标准作业程序）来协调基于大语言模型的多智能体系统，从而实现元编程技术。该框架使用智能体模拟了一个虚拟软件团队，包含产品经理、架构师、项目经理、工程师、质量工程师等角色，并引入SOP成为框架的虚拟软件团队的开发流程。MetaGPT提供了两种部署方式：pip本地部署和docker部署。
2024-01-15 21:40:57
1725
原创 Python代码整洁之道：使用异常来代替无意义的返回值
打印错误来代替None模式，可以帮助我们更好的调整bug。python是一个动态语言，因此编写代码时需要小心，None是从函数返回的默认值，但不要在任何意外情况下过度使用它，在使用None之前，请考虑是否可以通过引发异常而使得代码更整洁。
2023-03-06 21:49:15
288
原创 Dask Bag 应用
Dask Bag包提供了如map\filter\groupby和python对象的集合聚集。 类似于pythonnic版本的pyspark RDD。 Dask 包通常用于对非结构化或半结构化数据（如文本数据、日志文件、JSON 记录或用户定义的 Python 对象）的简单计算进行并行化。 Bag的优点： Parallel：数据被拆分，允许多个内核或机器并行执行； 迭代：数据处理延迟，允许大于内存的数据平滑执行，即使在单个分区内的单个机器上；
2021-12-29 22:31:17
886
原创 Dask介绍
Dask 是一个灵活的 Python 并行计算库。Dask由两部分组成： 为计算优化的动态任务调度。这类似于Airflow、Luigi、Celery 或 Make，但针对交互式计算工作负载进行了优化。 “大数据”集合，如并行数组、数据帧和列表，将常用接口（如NumPy、Pandas 或 Python 迭代器）扩展到大于内存或分布式环境。这些并行集合运行在动态任务调度程序之上。 Dask 强调以下优点： 熟悉：提供并行化的 NumPy 数组和 Pandas DataFrame .
2021-12-29 20:58:44
3701
原创 设计模式_职责模式
职责模式也称为责任链模式,它将请求的发生在和接受者解耦.客户端不需要知道请求处理者的明确信息和处理的具体逻辑,甚至不需要知道链的结构,它只需要将请求进行发送即可.场景: 员工->请假--> A领导-->B领导-->C负责人在设计职责模式的时候,需要注意的点:请求者和请求内容:确认谁要发送请求,发送请求的对象成为请求者,请求的内容通过发送请求时的参数进行传递. 有哪些责任人:责任人是构成责任链的关键要素.请求的流动方向是链条中的线.而责任人这是链条上的点,线和点...
2021-11-28 19:33:10
239
原创 Gbase8s学习笔记-整理
明天就可以参加Gbase8S的考试了.这里整理了这期间的学习笔记.不过任然需要几天才能整理完成.加油,一定要取个好成绩.~项目地址:编号DZ02229 / gbase8s笔记 · CODE CHINA
2021-11-27 21:24:42
500
原创 gbase8s学习笔记2-运行模式及转换
备注：gadmin -s 和 -u 的区别：-s: 会检测链接用户状态，然后再切换到静态模式。当有用户连接到数据库时，会等用户断开连接后再进行模式切换。-u：立即切换到静态模式。当有用户连接到数据库时，会直接杀掉用户连接，并进行模式切换。...
2021-11-15 19:44:48
809
原创 Gbase8s 学习笔记1
Gbase8s 学习笔记1文章目录Gbase8s 学习笔记11.客户端工具dbaccess1.1 dbaccess配置1.2 关于Gbase8s的客户端工具1.客户端工具dbaccessdbaccess是GBase8s提供的一个命令行客户端工具。。嗯，使用起来的话，稍微有一些奇怪，一下子并不是很适应。不过，慢慢就好了。支持的四种模式：交互模式：菜单交互模式：提供一个奇怪的交互模式，不喜欢。指令交互模式： 和其他数据库命令行类似那种。Demo ： dbaccess 数据库名 -,第一
2021-11-14 19:20:19
1512
2
原创 数据预处理
数据预处理摘录数据预处理中常考虑的要点数据标准化数据离散化数据抽样数据降维数据清理常用的数据标准化方法数据标准化是指将数据按照一定的比例进行缩放,使其落入一个特定的小区间.数据标准化可以加快模型的收敛速度,提高模型的精度.1.Min-Max标准化对原始数据进行线性变换，将值映射到[0-1]之间。计算公式如下：x′=x−xminxmax−xminx'=\frac{x-x_{min}}{x_{max}-x_{min}}x′=xmax−xminx−xmin2.Z-.
2021-05-17 22:02:36
391
原创 pyodps学习笔记_1
针对PyODPS的一个简单学习笔记梳理. 在日常工作中,用的pyodps并不少, 但很多时候,只是用了一小部分. 很多时候,其实只是对小数据量的清洗.然后快速的导入阿里云上.或者快速的把某个小表下载下来做处理. 其实只是使用了其非常少的一部分功能.所以近期对官方的文档进行了一次回顾,把需要的地方整理了一次.xmind文档:https://shandianpan.com/f/3InU[这里使用了闪电盘做的文件分享,如果失效的话,可以留言,这里提供了一个邀请注册的链接..嗯,作为白嫖资源的报答...
2021-03-28 20:26:45
355
原创 SQLAlchemy数据库实战-学习笔记-2
SQLAlchemy数据库实战大概读了一遍,这里上传了整理的思维导图,后续会再写一下SQLAlchemy ORM部分的应用.之前阅读了官方的文档.嗯,英文版的,没有理清楚头绪.不过读了这本书以后,感觉还可以.之前的迷茫,多半是困惑在一些细节地方了. 操作数据库,最关键的,无非就是增删改查了,弄清楚这些基本操作,剩下的就相对快入手了....
2021-03-15 21:27:13
143
原创 时间转换小工具开发
晚上失眠了一小会儿,然后突然想写个小程序.然后学习了下C#…嗯,打包一个小的时间转换工具,给自己用.嘿嘿,挺好玩的.效果截图** 下载地址:**coding-文件分享主要代码:using System;using System.Collections.Generic;using System.ComponentModel;using System.Data;using System.Drawing;using System.Linq;using System.Text;usin.
2021-03-11 23:30:25
115
原创 SQLAlchemy数据库实战-学习笔记-1
今天开始了三月份的第一次学习打卡,2021年,加油!SQLAlchemysqlalchemy是一个python语言实现的的针对关系型数据库的orm库。可用于连接大多数常见的数据库，比如Postges、MySQL、SQLite、Oracle等。嗯…之所以对这个进行学习,是因为在写代码的时候,遇到了数据库的操作问题…然后就发现了SQLAlchemy.希望用它来解决在业务开发中的一些问题.这里以脑图的方式对知识点进行了简单的整理.代码笔记:from datetime import datetim.
2021-03-01 22:03:02
239
2
原创 Docker开发实践-读书笔记-第一章
1. Docker简介1.1. Docker的概念1.2. Docker背景1.3. 容器与虚拟机1.4. Docker与容器1.5. Docker的应用场景2. Docker组件3. Docker的相关技术4. Docker安装1. Docker简介1.1. Docker的概念Docker 是一个开源平台,包含容器引擎和Docker Hub注册服务器1.2. Docker背景软件开发者面临的一些问题:环境管理复杂更为轻便的虚拟化需求移植性的需求1.3. 容器.
2021-01-18 22:51:06
171
原创 Jupyter地图可视化方案
文章目录背景IPython.display中的IFrame自定义函数背景因为一些特殊的原因,工作环境是和互联网隔离的.然而在工作中又经常遇到一些需要地图可视化的东西.找了一些资料,但是并不很理想.常见的方案就是Folium包…不过内网比较坑,地图加载也比较麻烦.(在外网也一样).于是萌生了一个想法…借助高德地图API(内网也有高德API),结合IPython的IFrame方法来做一些东西.IPython.display中的IFrame从一些资料上看到,在IFrame中,可以嵌入网页\PDF\图片等等
2020-12-29 00:04:36
2531
原创 Python-字符串方法
晚上的时候看到一个书上介绍的一些python字符串方法,所以便摘录了几条.感觉比较有意思.splitline对一段文本进行拆分，返回一个列表.(可以比较一下常用的split方法~)data="""Pandas 的melt的使用_数据分析-CSDN博客Pandas 的melt的使用_数据分析-CSDN博客2Pandas 的melt的使用_数据分析-CSDN博客1"""data.splitlines()['Pandas 的melt的使用_数据分析-CSDN博客', 'Panda.
2020-12-28 23:24:27
154
1
原创 windows环境下的Flask应用部署
因为一个好奇心,所以开始学习Flask,自己做一些简单的工具,用来解决工作上的问题.在过程中,遇到了这样的一个问题.我应该把我的应用部署到哪里?因为我只有一个windows server2008,网上粗略搜索到的,都是基于linux部署的.为了让我的APP能运行的更加省心,我整理了一下windows上部署flask的方案.由于flask本身运行不稳定，需要将其部署在可以容纳WSGI应用的服务器上，客户服务器是windows server 2008，原来发布解决方案是在Linux下Nginx+u..
2020-10-21 20:33:51
3826
原创 数据仓库与数据挖掘 学习笔记 第二章 联机分析处理
OLAP是针对特定问题的联机数据访问和分析处理.通过对信息的多种可能形式进行快速,稳定,一致的交互式存取,允许决策者对数据进行深入的观察.\目录1. OLAP的相关概念.2.OLAP和OLTP的关系比较.3.OLAP准则1. OLAP的相关概念. 多维数据集:(数据立方体).多维数据集是一个数据集合,通常从数据仓库子集构造,并组织成一个由一组维度和度量值定义的多维结构...
2019-08-04 22:40:58
382
原创 数据仓库与数据挖掘 学习笔记 第一章 绪论
第一章 绪论引言:数据采集能力和手段增强存储设备技术发展海量数据库技术面临的问题新认识文章目录第一章 绪论1.数据仓库2.数据仓库的基本概念3.数据仓库的体系结构1.数据仓库数据仓库是以关系数据库,并行处理和分布式技术为基础的信息新技术.数据仓库是一个面向主题的,集成的,时变的,非易失的数据集合,用于支持股那里决策.面向主题: 数仓关注经常在的数据建模分析而不是...
2019-08-04 22:37:08
479
原创 阿里云ODPS-MR学习
因为工作的需要,意外的接触了阿里云ODPS.总得来说,和Hadoop生态体系还是有很多的相似之处的.工作中,很多的场景都可以写ODPS脚本去解决问题,但是毕竟类SQL的语言在一些场景下总是有些苍白,所以不得不学习MR去解决一些难题.工作的地方没有互联网,仅有一个PDF,周围没有人带..无奈的只好晚上加班补.我想吐槽自己一下自己的java…出道一年以来,从来没有用过debug.所有的程序只有两...
2018-08-22 22:46:12
1897
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人