- 博客(109)
- 资源 (5)
- 收藏
- 关注
翻译 [PyTorch 2.0 翻译&学习] 数据集和数据加载器
自定义数据集类必须实现三个函数:[__init__]{.title-ref}、[__len__]{.title-ref}和[__getitem__]{.title-ref}。看看这个实现;FashionMNIST图像存储在一个目录img_dir中,它们的标签分别存储在一个CSV文件中。import os__init__The __init......__init__[__init__]{.title-ref}函数在实例化数据集对象时运行一次。
2024-05-27 16:57:45
45
翻译 [PyTorch 2.0 翻译&学习] 1. 张量
张量是一种专门的数据结构,非常类似于数组和矩阵。在PyTorch中,我们使用张量来编码模型的输入和输出,以及模型的参数。张量类似于NumPy的ndarrays,不同之处在于张量可以在GPU或其他硬件加速器上运行。事实上,张量和NumPy数组通常可以共享相同的底层内存,从而无需复制数据(请参见与NumPy的桥接)。张量还针对自动微分进行了优化(我们稍后将在自动微分部分看到更多)。如果您熟悉ndarrays,那么您将对张量API感到非常熟悉。如果不熟悉,请跟着学习!
2024-05-24 19:11:16
39
翻译 [PyTorch 2.0 翻译&学习] 0. 快速开始
在这里,我们定义了一个批处理大小为 64,即 DataLoader 可迭代对象中的每个元素将返回一个包含 64 个特征和标签的批次。PyTorch 有两个用于处理数据的基本类:torch.utils.data.DataLoader 和 torch.utils.data.Dataset。我们希望看到准确率随着每个 epoch 的增加而增加,损失随着每个 epoch 的减少而减少。在单个训练循环中,模型对训练数据集进行预测(以批次的方式提供给模型),并通过反向传播预测误差来调整模型的参数。
2024-05-24 17:42:55
29
原创 【elasticsearch实战】从零开始设计全站搜索引擎
最近需要一个全站搜索的功能,我们的站点的特点是数据多源,即有我们本地数据库,也包含了外部数据源,我们的数据类型除了网页还包括了各种类型的文档,例如:doc、pdf、excel、ppt等格式。
2024-03-15 16:25:12
2029
原创 【elasticsearch实战】知识库文件系统检索工具FSCrawler
使用官方文档FSCrawler 提供了一站式的集成方案用来解决各种文档数据转化并存储到es数据库,也有一定的灵活性来自定义拓展字段,可以作为一种文档转换存储工具的选择之一。
2024-02-21 16:59:50
1634
原创 DNS解析原理和k8s DNS 实践
在近期的一次功能开发中,需要在自研IDC环境调用太湖的API,结果却出现了接口超时,经过排查发现是DNS解析的问题。顺藤摸瓜,先回顾了DNS的原理,然后一起看看在Docker容器、Kubernetes集群中如何进行DNS配置。
2024-01-09 16:25:55
1636
3
原创 【GPT4结对编程】word文档导出功能&GPT4来实现
从对话可以看的出来,GPT4强大的代码能力和理解能力,生成的代码都是可以直接运行的,每一次我需要对程序的修改,都能按照我想要的方式完成,我不需要去看POI的官网文档,不需要理解api,直接告诉GPT4我需要什么就可以了,真的非常逆天,我花了那么多时间调研来调研去,为何不一开始就问GPT4呢,可能我想体现自己的价值吧。
2023-07-24 16:05:14
2225
原创 macOS升级到Ventura 后vscode远程开发ssh链接失败
最近公司IT让升级到mac系统,说之前的老版本太久了,因此要被迫升级macOS系统,这是一次重大升级,升级之后加大了和apple其他设备的互通性,升级完成之后确实和iOS更像了。除了SHA-256/SHA-384/SHA-512哈希算法外,还有基于椭圆曲线的签名算法,例如ECDSA算法,已被广泛应用于数字证书和电子签名等应用中。目前,RSA使用SHA-256、SHA-384、SHA-512等较为安全的哈希算法作为数字签名是一个更好的选择,这些算法在实际应用中已被广泛采用。因此需要手动指定支持上述算法。
2023-04-07 10:26:33
772
原创 mysql全文搜索使用和踩坑总结
大致意思就是说,包含“a,b”的文档被解析为“a,”和“,b”。如果将逗号 (“,”) 定义为停用词,则“a”和“,b”都会从索引中排除,因为它们包含逗号。表结构如下,content因为包含中文和英文,不知为何部分关键词可以检索出来,部分关键词就是无法检索出来。来进行分割的,系统默认是2,例如有字符串’abcd’,分词后:‘ab’, ‘bc’, ‘cd’。, 每个词都包含了停用词‘i’ 或者‘a’,因此被排除了。我验证了我的猜想,删掉分词的全文索引,就能搜索出来了。等进行搜索,发现部分英文词出不来, 如。
2023-03-31 18:34:50
1149
2
原创 3分钟自定义你的chatGPT聊天微信机器人
最近chatGPT实在太火了,不谈下都不好意思说自己在技术圈混了,刚好前段时间公司里面在举办一个企业微信机器人比赛,然后就用注册了openai的一个账号,用python写了一个玩玩,但是想想不过瘾,于是乎🈶️花了2个小时写了一个基于微信的聊天机器人,这里和大家交流下。
2023-03-29 19:32:48
5959
原创 go切片常见错误
创建一个新的切片slices2保存slices1的内容,我想为了避免slice1的动态扩容,我想摸人给slices2一个长度。拷贝的切片slices2内容多了一个初始化的元素0, 在创建切片时使用的。那上面的初始化切片代码这么改就行了。
2023-02-16 17:47:54
216
原创 【golang分布式Job调度服务】
目前各服务里经常会有定时任务相关需求,而定时任务通常要求同时只有一个任务执行,为了保证定时任务高可以通常也需要主备部署,导致开发定义任务时需要考虑锁竞争关系,以及考虑任务执行状态(成功、失败、重试等)。任务参数1: {“name”:“task1”,“params”:[“params1=x1”,“params2=x2”], “cron_time”:“*/1 * * *?客户端是分布式任务执行的组成单元,通过监听自己能执行的任务队列,来执行任务。分布式任务中心用来管理任务、监控、调度、监听任务执行结果等。
2023-02-12 08:05:33
2523
1
原创 HTTP协议路由转发小结
到此我相信大家对开放平台的转发规则不会有大多疑问了,如果有欢迎和我交流讨论。下面我盗了一张经典的网络层图。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rGSEJ8ss-1676095692371)(/img/image-1607080895179.png)]
2023-02-11 14:17:10
1375
原创 云数据库-elasticsearch
我们系统使用了自研网关, 包括了api网关和准入网关,分别用来解决服务鉴权和用户身份鉴权。网关的访问日志存原先是自己部署es来存储,我们这次直接用腾讯云es来收集日志。
2023-01-17 14:33:22
171
原创 可视化监控告警-grafana
grafana 目前只能安装指定插件,但是我只能安装指定插件,不过基本上主流插件都囊括了,问题是在我安装goshposh-metaqueries-datasource 插件失败,找人工协助之后,添加插件配置后再次安装才成功。
2023-01-17 14:31:28
2660
原创 java 程序代理配置
背景由于疫情的影响,最近一段时间大家运程办公,购买腾讯云主机、mysql、redis、es等作为项目的开发环境。然后使用腾讯云主机远程办公带来了一些的问题,项目的团队成员在50人左右,使用腾讯云作为开发环境,为了安全腾讯云主机的开发环境不对外开放,使用时需要给每个人开通个人开发机的ip权限,然而腾讯云的服务智能开通最多10个ip白名单,因此50个人最多只有10个同时使用某一个服务,大家每天会有各...
2020-02-26 16:49:15
1068
1
原创 修改mysqli使其支持超时调研
mysql 客户端支持三种超时https://github.com/mysql/mysql-server/edit/5.7/include/mysql.h :connect_timeout, read_timeout,write_timeout。struct st_mysql_options { unsigned int connect_timeout, read_timeout, w...
2019-12-10 11:04:39
326
原创 php入门学习总结
语法基础菜鸟教材框架codeIgniter点击这里,这么包括了教程和下载包windows运行环境WampServer 是windows环境下的php开发集成环境,包含了php5~7等不同版本,集成了apache+mysql等运行环境,一键安装比较方便。安装之后,可以将上一步下载的codeIgniter包解压到wampServer安装的安装目录 C:\wamp64\www下,例如解压文件...
2019-12-10 11:03:33
612
原创 curl 常用命名整理
基础命令详细命名可参考 https://man.linuxde.net/curl查看网页源码 curl www.sina.com-o 保存网页相当于 wget curl -o [文件名] www.sina.com-L 抓取自动跳转页面,www.sina.com 会自动跳转到www.sina.com.cn ,该参数会返回跳转后的内容 curl -L www.sina.com-i 查看...
2019-12-10 10:00:37
895
原创 一次cpu使用率低负载高的生产事故(2019-9-24)
事故背景昨天晚上半夜3:26分被电话铃声吵醒了,看到一个未接电话,然后看到微信里面同事拉了群,看到是我负责的一个服务分布式文件存储系统报警了, 报警信息是部署该服务的所有机器同时出现了load average,并且运维同事已经尝试重启应用来恢复负载过高问题,依然无效,重启应用之后服务器负载又马上飙山来。处理过程由于我刚刚入职该公司,接手这个文件存储系统不到2个礼拜,而之前开发的人都离职了。这...
2019-12-10 09:51:39
321
原创 Nginx location 优先级
nginx location 不是根据location在nginx.conf 里的顺序来决定的,而是根据location的匹配决定的的。location=)>(location 完整路径)>(location ^~ 路径)>(location~,(location~,~*正则顺序)>(location 部分起始路径)>(/)...
2018-09-12 12:16:31
1004
原创 基于springboot+maven的工程级项目构建
简介springboot可以说是继springMVC之后,spring家族重点推出的一个轻量级的框架,可以完成基于 Spring 的应用程序的大部分配置工作。本文只介绍构建工程级的springboot项目构建过程,至于spring的具体细节涉及不多,可以参考官方文档:springboot官网。项目构建思路应用级别的项目通常都是由多个子系统组成,例如一个对外服务的应用,通过包括这么几个部...
2018-03-27 10:42:13
869
转载 自然语言处理-NLP应用分类
作者:微软亚洲研究院 链接:https://www.zhihu.com/question/19895141/answer/149475410 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。1.句法语义分析:对于给定的句子,进行分词、词性标记、命名实体识别和链接、句法分析、语义角色识别和多义词消歧。 2.信息抽取:从给定文本中抽取重要的信息,比如,时间、地点、
2017-12-18 11:16:15
1332
原创 千万级别数据表创建唯一索引-存在重复数据
业务背景最近一个开发维护的公众号管理系统用户表(user_info)数据已经达到15,000k了,而此时有一个业务场景需要将公众号的用户信息重新同步一次,且后台原有过针对单个公众号的用户同步,但是已经非常难以使用,因为同步时间太长了,以前的同步用户方式大概流程如下: 通过上面的流程可以看出来更新用户流程过程非常耗时,每个用户更新下来应该需要300ms左右,因为这涉及到每次更新一个用户都需要调用一次
2017-09-25 12:52:10
14137
1
原创 MongoDB常用命令
mongoDB 最近开始做一些简单的数据查询计算功能,但是因为mongodb用的比较少,对很多的查询方法都不熟悉,因此整理了一些常用的命令,平时工作有需要时候方便查询,当然遇到一些新的也可以进行更新。
2017-08-31 19:09:33
402
原创 分布式任务调度框架技术调研
研究的目的定时任务问题一直是我们组项目的主要问题来源,很多问题的最终定位是由于定时任务异常停止导致的,例如:六马的新闻刷新任务,微管家的token刷新任务等等。这些定时任务通常是单点故障任务,一旦出现异常肯定会导致业务异常。因此,我一直想寻找一个方案来解决定时任务的单点故障问题。我觉得可以从下面两个方面来找手做。可监控定时任务出现故障的时候可以第一时间得到通知;(监控系统)试用分布式定时任务,解
2017-08-25 15:23:23
5177
原创 zookeeper集群安装-debian
zookeeper的安装下载安装方式可以参考: http://zookeeper.apache.org/doc/trunk/zookeeperStarted.html 下载解压后,参考文档的方式进行配置和启动。我下面要说下载在linux debian系的apt-get install方式安装和配置方式。安装 apt-get install zookeeperd启动停止 service
2017-08-22 16:16:53
1356
原创 virtualenv 用来管理python多版本环境
背景虽然说python3.x是趋势,但是不可否认的是python2.x 还是有很多历史的包和工具在沿用,最近需要使用python3.5版本来做一个项目开发,为了该版本花了不少时间。python3版本安装公司Debian 的python3 apt-get 源最新只有3.4 ,因此只能手动编译一个3.5版本的包 1. wget http://www.python.org/ftp/python/3.5.
2017-07-27 10:28:45
547
原创 nginx 的 location 配置优先级
最近做项目开发的时候遇到这么一个问题,需要在nginx里面添加一个location 到指定路径的跳转: location /server1/path1/path2 结果这个配置一直未生效,后来查资料才发现,location 配置有优先级的,优先级如下:(location =) > (location 完整路径) > (location ^~ 路径) > (location ~,~* 正则顺序)
2017-07-11 15:17:34
725
原创 微信公众号与小程序数据互通
实现多公众号、小程序数据互动是管理多公众号业务的基本需求之一,因为通过多公众号数据互通可以更精确的分析用户来源和数据,并且提供更优质的服务,公众号结合小程序数据互通那么就可以实现多业务多入口。背景最近做了一个有意思的功能《官网内容订阅》,用户在官网扫码后可以订阅官网栏目,订阅栏目后发送模版消息提醒用户订阅成功,模版消息关联了小程序,然后做了一
2017-06-13 14:14:50
36993
5
原创 科学计数法表示零
由于机器表示浮点数有精度限制,因此在做double类型比较判断时,不能用直接用double类型和〇做比较,而应该设置一个无限接近与〇的小数做比较正数的科学计数法long a = 1e10;小数的科学计数法double b = 1e-10;
2017-05-09 17:03:50
1785
原创 Maven实战-创建maven多子工程项目
创建父工程mvn archetype:generate -DgroupId=com.pet511.pet -DartifactId=pet 创建之后,到pet 文件目录下面,删除调 src文件夹,只保留pom.xml 文件。编辑pom.xml文件,修改: 修改points下面的pom.xml文件 <packaging>jar</packaging> 的jar为pom <packaging>pom
2017-03-30 15:34:29
712
转载 Tomcat内存设置
设置Tomcat启动的初始内存其初始空间(即-Xms)是物理内存的1/64,最大空间(-Xmx)是物理内存的1/4。可以利用JVM提供的-Xmn -Xms -Xmx等选项可进行设置三、实例,以下给出1G内存环境下Java jvm 的参数设置参考:JAVA_OPTS=”-server -Xms800m -Xmx800m -XX:PermSize=64M -XX:MaxNewSize=256m -XX:
2017-03-24 10:32:25
356
转载 linux top 命令各字段含义
top 字段含义列名 含义 PID 进程 ID USER 进程所有者的用户名 PR 任务优先级 NI nice 值。数值越小表示优先级越高,数值越大表示优先级越低 VIRT 进程使用的虚拟内存总量,单位:kb。VIRT=SWAP+RES RES 进程使用的、未被换出的物理内存大小,单位:kb。RES=CODE+DATA SHR 共享内存大小,单位:kb S 进程状
2017-03-14 11:32:14
12020
原创 windows 常用命令整理
netstat –ano|findstr 指定端口号 tasklist|findstr 进程号 taskkill /f /t /im 进程名称
2017-03-09 09:44:57
352
原创 《Java并发编程实战》- 个人阅读总结(一)
背景最近想更深入了解下Java多线程相关的知识,对Java多线程有一个全面的认识,所以想找一本Java多线程相关的书籍来阅读,最后我选择了《Java并发编程实战》这本个人认为还算相当不错,至于为什么选择它,下面有介绍。书的介绍中文书名:《Java并发编程实战》 英文书名:《Java Concurrency in Practice》 作者:Brian Goetz / Tim Peierls / J
2017-03-06 21:40:00
12726
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人