- 博客(76)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 使用 Python 快速开始机器学习
🔗 快速开始 PyTorch｜使用 Python 建立深度学习模型🔗 快速开始 TensorFlow2｜面向初学者的快速入门🔗 快速开始 Scikit-Learn｜使用 Scikit-Learn 建立机器学习模型🔗 快速开始 NumPy｜了解 NumPy 的数组并实现常用的数组操作🔗 快速开始 Pandas｜了解 Pandas 的数据结构并实现常用的表格操作🔗 快速开始 matplotlib｜广泛使用的 Python 数据可视化模块快速开始 seaborn｜入门 seaborn 数据可视化
2024-03-23 22:41:07
878
原创 动手学深度学习｜notebook教程
含 PyTorch、NumPy/MXNet、TensorFlow 和 PaddlePaddle 实现。被全球 70 多个国家 500 多所大学用于教学。下面是整理好的，可以直接运行的notebook。面向中文读者的能运行、可讨论的深度学习教科书。
2024-03-20 10:01:25
1715
原创 科学计算教程 SciCompforChemists
作为科学计算的入门资料，通过使用Python、Jupyter笔记本和SciPy堆栈来完善计算技能。文章使用了多种软件包，包括NumPy、SciPy、matplotlib、pandas、seaborn、NMRglue、SymPy、scikit-image和scikit-learn。
2024-03-20 09:50:43
225
原创 大模型提示工程和常用的几个场景下Prompt案例
用户可以通过提示工程来提高大语言模型的安全性，也可以赋能大语言模型，比如借助专业领域知识和外部工具来增强大语言模型能力。提示工程（Prompt Engineering）是一门较新的学科，关注提示词开发和优化，帮助用户将大语言模型（Large Language Model, LLM）用于各场景和研究领域。基于对大语言模型的浓厚兴趣，我们编写了这份全新的提示工程指南，介绍了大语言模型相关的论文研究、学习指南、模型、讲座、参考资料、大语言模型能力以及与其他与提示工程相关的工具。
2024-03-19 01:37:45
717
原创 大模型算命，对比下kimi和ChatGPT，AI离道破天机就差一个你信不信
都说了性格冲动偏激，财运不错，ChatGPT不上传文件也能有不错的回答，但是都让他重试回答才看着更好些，以后不用街边10块钱算命了，还真不如大模型看着靠谱。
2024-03-19 01:24:27
1678
4
转载 一文理解贝叶斯优化
以上的小故事其实蕴含了一种不基于梯度的全局优化算法——“贝叶斯优化”的核心思想，而贝叶斯优化被广泛应用于复杂黑盒函数的优化问题上。接下来，就让我们一起来了解一下贝叶斯优化吧！贝叶斯优化（Bayesian Optimization）是一种高效的全局优化方法，主要用于优化具有高度非线性、高维度和未知性质的目标函数。在机器学习和深度学习领域，贝叶斯优化经常用于调整模型的超参数，以提高模型的性能。贝叶斯优化的优势在于它可以通过利用已有的观测数据，来指导对下一个采样点的选择，从而加速优化过程。
2024-03-19 00:43:39
312
转载 快速了解第一性原理计算
查看原文并在线调试代码📌 第一性原理计算：第一性原理计算是指基于量子力学原理的计算方法，通过求解薛定谔方程来预测材料的性质和行为。量子力学的提出1687 ，牛顿在《自然哲学的数学原理》【1】一书中总结出了牛顿经典力学，向我们描述了宏观物体的运动规律。19 世纪末，人们发现一些科学现象，例如黑体辐射【2】、光电效应【3】、原子光谱【4】等，无法被牛顿经典力学所解释。人类科学的研究从那个时候开始从宏观世界转向更微观的世界。1900 年，普朗克在《在黑体光谱中的能量分布》论文中，普朗克假定能量在发射
2024-03-18 23:52:42
354
原创 科学计算免费课程集锦
内容包括：二次量子化(粒子数表象)方法,既全同多体粒子体系的置换对称性，单粒子产生和湮灭算符以及粒子数表象中玻色子和费米子单体和二体算符的表达式和相应的矩阵元的计算；主要介绍Klein-Gordon方程，Dirac方程和它的相对论协变性，Dirac粒子的自旋，自由电子的平面波解，以及反电子概念的引入。在这样的学科发展背景下，开设一门系统化计算材料学的课程是非常必要的。通过基础教学和实践应用的结合，本课程旨在激发创新灵感，促进材料科学领域的进步，为学习者提供应用机器学习技术揭示新材料和解决复杂问题的技能。
2024-03-18 23:38:48
1028
转载 快速开始 Pandas｜了解 Pandas 的数据结构并实现常用的表格操作
- 了解 Pandas 的数据结构对象- 使用 Pandas 创建、读取或导出数据- 查看或选择数据，对数据进行处理（选择，删除，分组，分类等）- 表格处理，例如多表合并，改变表的数据结构- 使用 Pandas 时间序列数据- 结合 matplotlib 对 Pandas 数据进行绘图
2024-03-18 15:36:51
35
原创 本地Argo配置，连接远端Argo Server
安装cli并生成token$ brew install argo....$ argo auth tokenBearer xxxxx配置环境变量export ARGO_SERVER=xx.xx.xx.xx:2746export KUBECONFIG=/dev/nullexport ARGO_NAMESPACE=argoexport ARGO_SECURE=false # 我们服务器配置的http，所以不设置为falseexport ARGO_TOKEN="Bearer xxxxx.
2022-05-02 20:36:24
724
原创 Go使用Private仓库用作module依赖
在go 项目中使用private仓库作为module依赖时，执行get报错$ go get -x gitee.com/xxx/xx/pkg/logger......go: module gitee.com/xxx/xx/pkg/conf/env: git ls-remote -q origin in /Users/xx/go/pkg/mod/cache/vcs/2e35dcd54deffa37be1a6dc6bafd375ae8f1dbb041676b2e1d5c781d4c76627e: exit
2022-04-12 17:24:48
1969
原创 Docker运行mysql
下载mysql镜像，不指定tag，自动使用latestshell> docker pull mysql/mysql-server:tag运行，–name指定自定义名称(就mysql这个镜像，默认是mysql)， -d是后台运行shell> docker run --name=mysql1 -d mysql/mysql-server:tag查看运行shell> docker psCONTAINER ID IMAGE COMMAND
2022-04-01 19:38:23
2922
原创 Mac terminal主题修改
下载https://github.com/mbadolato/iTerm2-Color-Schemes，页面中有各主题对应的截图terminal下双击对应的*.terminal文件会弹出对应的主题终端关掉弹出的终端在terminal的偏好设置中就可以找到对应的主题样式我最终选的Fideloper...
2022-04-01 11:12:30
835
原创 shell脚本批量修改某目录下的文件名
现有如下目录$ ls L0*L0_0:t1.txtL0_1:t0.txtL0_2:t1.txtL0_3:t12.txt目标是批量修改目录下t*.txt为t.txt$ for i in `ls L0_*/t*.txt`; do echo "$i"; mv "$i" "${i%/*}/t.txt"; done$ ls L0*L0_0:t.txtL0_1:t.txtL0_2:t.txtL0_3:t.txt...
2022-03-09 18:48:47
449
原创 linux下 lscpu命令查看cpu信息
Architecture: #架构CPU(s): #逻辑cpu颗数Thread(s) per core: #每个核心线程Core(s) per socket: #每个cpu插槽核数/每颗物理cpu核数CPU socket(s): #cpu插槽数Vendor ID: #cpu厂商IDCPU family: #cpu系列Model:
2022-02-16 19:37:50
1770
原创 【Slurm】Accounting and Resource Limits
三个命令：sacct: 可以查看running 或 terminated的jobsstat：只能查看running的jobsreport：可用于根据特定时间间隔内执行的所有作业生成报告三个配置：AccountingStorageType：JobAcctGatherType：JobCompType：
2022-02-06 02:17:08
517
原创 阿里云ECS 挂盘
fdisk -l# 挂载sudo fdisk /dev/vdb# 格式化sudo mkfs.ext4 /dev/vdb1# 挂载目录sudo mount /dev/vdb1 /mnt
2021-11-16 19:19:05
811
原创 Slurm之sacct
查询已经结束作业的相关信息sacct -j 7454119# 指定输出格式format=jobid,jobname,partition,nodelist,alloccpus,state,endsacct --format=$format -j 7454119但是使用这个命令，需要开Accounting，有两种任务数据存储方式，本地文件/数据库本地文件修改/etc/slurm/slurm.conf......# ACCOUNTINGAccountingStorageEnforce=1A
2021-11-04 19:17:41
2043
原创 Redis常用维护
查看内存情况~$ redis-cli 127.0.0.1:6379> info memory# Memoryused_memory:152794264used_memory_human:145.72Mused_memory_rss:302395392used_memory_rss_human:288.39Mused_memory_peak:281135088used_memory_peak_human:268.11Mused_memory_peak_perc:54.35%used
2021-10-28 16:04:52
525
原创 AMQP: AMQPLAIN和PLAIN配置
celery 访问阿里amqp队列报错:amqp.exceptions.ConnectionError: Couldn't find appropriate auth mechanism (can offer: AMQPLAIN; available: PLAIN)添加配置：broker_login_method = 'PLAIN'
2021-10-28 14:36:30
657
原创 Sqlalchemy获取某个字段长度
from sqlalchemy import Column, Stringclass Test(Model): __tablename__ = 'test' code = Column(String(32)) ......举例如上，在开发中经常遇到往数据库中写数据时报“Data too long for column ‘code’ …”，数据库配置可以解决，同时也可以在代码中避免此类问题，避免写超t = Test()t.code = "x"*44db.session.a
2021-10-26 01:58:09
618
原创 wsl配置ssh和自启动
1.配置Linux子系统ssh先把win的ssh服务关了，因为Ubuntu20.04子系统自带的ssh服务无法连接，需卸载后重新安装。卸载ssh服务apt remove openssh-server重装ssh服务apt install openssh-server修改配置# /etc/ssh/sshd_configPort 22ListenAddress 0.0.0.0PermitRootLogin yesPasswordAuthentication yes重启服务servi
2021-10-13 00:51:55
2736
原创 Form表单的格式和Python Requests库的表单应用
在对接某第三方平台api时，postman测试form表单请求ok，但用python的requests库post请求，传参到data则请求失败，用flask搭了一个server测试两种请求都ok，打印body发现，一个Content-Type=application/x-www-form-urlencoded 而另一个Content-Type=multipart/form-data，猜测跟这个有关，但requests库中没有记得哪里设置这个参，查资料后，用requests库的files解决了，基于此，把r.
2021-09-23 16:14:47
1855
原创 celery消费者刷新db.session
celery的消费者进程和生产者进程因为独立，sqlalchemy的session缓存因为不同步，导致生产者插入或修改数据，发送id到消费者接受消息后，数据库中查询不到，可以在消费者消费完消息后主动close一下session来刷新sesion的缓存import celeryfrom celery import Taskclass BaseTask(Task): def on_failure(self, exc, task_id, args, kwargs, einfo): .
2021-08-13 19:58:22
233
1
原创 Celery产生随机队列问题
rabbitmq查看经常出现Queue fb25dd5d-6877-3473-8860-af0a9f840371一类的随机消息队列，获取消息内容格式：{“task_id”: “8c2346e2-850c-4de6-9d0f-e6f794ec0a74”, “status”: “SUCCESS”, “result”: null, “traceback”: null, “children”: []}这种消息格式是消费者执行的结果，结果保存到mq中了，查看文档，当result_backend配置为rpc时，消.
2021-08-13 14:47:09
149
原创 flask请求返回400问题
客户端有个请求大概如下requests.get(“http://127.0.0.1:5000/data/get_something”, headers={‘Content-Type’: ‘application/json’})，现象是服务器一直返回400检查url，服务器代码之类，并没有异常，只有新加的在服务端检查了request.json是否存在，这个检查只是为了兼容老代码，怀疑是这个json解析问题，顺便理了下flask解析json的流程flask的request.json部分代码如下# ...
2021-04-29 14:55:15
6554
原创 Docker的安装和测试
官方文档卸载旧版本$ sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ docker-logrot
2021-04-28 00:14:46
126
原创 linux 查看进程运行状态
当发现内存占用较高时，可以用这个命令看下系统中进程的占用情况ps -e -o 'pid,comm,args,pcpu,rsz,vsz,stime,user,uid'
2021-04-23 19:26:46
247
原创 在docker中使用nginx
查看可用的nginx版本$ docker search nginxNAME DESCRIPTION STARS OFFICIAL AUTOMATEDnginx Official build of Nginx. 14744 [OK] .
2021-04-21 15:21:44
334
原创 linux 创建账号和设置root账号不可远程登录
先创建一个登录账号#增加一个新用户：adduser auser#设置新用户秘密：passwd auser#设置用户权限：sudo vi /etc/sudoers #增加xxxx ALL=(ALL) NOPASSWD:ALL 设置sudo免密centos：root ALL=(ALL) ALLusername ALL=(ALL) NOPASSWD:ALLubuntu：%sudo ALL=(ALL:ALL) ALL%username .
2021-04-08 18:52:56
236
原创 SQLAlchemy commit和 flush的区别
Session对象是对数据库的更改（更新，插入，删除）的持续事务。 这些操作在commit之前不会持久保存到数据库中，如果程序在会话中间的事务中中止，则会丢失任何未提交的更改Session使用add注册事务操作，但在flush之前尚未将它们传递给数据库。flush将一系列操作传递给数据库（插入，更新，删除）。 数据库将它们维护为事务中的挂起操作。 在数据库收到当前事务的commit之前，更改不会永久保留到磁盘或对其他事务可见。commit将这些更改提交（持久）到数据库。默认Session会自动执行f.
2021-03-26 14:55:09
590
原创 Docker安装和简单应用
安装#centossudo curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun加速到阿里容器镜像服务查看具体操作sudo mkdir -p /etc/dockersudo tee /etc/docker/daemon.json <<-'EOF'{ "registry-mirrors": ["https://yours.mirror.aliyuncs.com"]}EOFsudo sy.
2021-03-25 15:22:01
194
原创 Flask-Sqlalchemy批量更新或删除报错的问题
设置synchronize_session为False可以解决model_obj.filter(**filter_param).update(update_param, synchronize_session=False)探究一下synchronize_session默认是evaluate#site-packages/sqlalchemy/orm/query.py def update(self, values, synchronize_session="evaluate", update_a.
2021-03-23 16:26:10
1664
原创 MongoDB(一)：安装和配置
打开官方下载页https://www.mongodb.com/try/download/community，选择合适系统的版本，Copy Link，然后到服务器上下载本次使用系统版本是centos7.5，下载链接：wget https://repo.mongodb.org/yum/redhat/7/mongodb-org/4.4/x86_64/RPMS/mongodb-org-server-4.4.4-1.el7.x86_64.rpm下载完成后安装rpm -i xxxx.rpm# 安装完.
2021-03-18 16:43:55
205
原创 nginx泛域名配置-私有二级域名
通过nginx配置实现个性化二级域配置域名的泛域名解析，如 *.m.domain.com, *.domain.com等配置nginx，反向代理的话，需要加proxy_set_header Host $host， 否则server取不到正确的hostserver { listen 80; server_name ~^(?<subdomain>.+)\.m\.domain\.com$; location /{ proxy_pass http://xxx.
2021-03-09 15:15:08
1884
原创 flask_SQLAlchemy之Session的工作原理分析
首先要区分sqlalchemy的session(会话)，Connection(连接)，pool(连接池)这三者关系，session 使用连接来操作数据库，一旦任务完成 session 会将数据库 connection 交还给 pool问题：flask_sqlalchemy如何保证session的线程安全在一个请求中session在哪被释放，连接被回收的看代码# 假设在这样一个工厂函数中初始化app和dbfrom flask_sqlalchemy import SQLAlchemydef.
2021-02-24 10:59:10
777
原创 Goland开发中的小问题总结
已安装扩展里点go的设置选择extension settings找到Docs Tool，选择gogetdoc，没有安装的话，会提示安装完
2021-02-20 18:01:00
424
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人