- 博客(107)
- 资源 (5)
- 收藏
- 关注
RSS订阅翻译 [PyTorch 2.0 翻译&学习] 1. 快速开始
在这里，我们定义了一个批处理大小为 64，即 DataLoader 可迭代对象中的每个元素将返回一个包含 64 个特征和标签的批次。PyTorch 有两个用于处理数据的基本类：torch.utils.data.DataLoader 和 torch.utils.data.Dataset。我们希望看到准确率随着每个 epoch 的增加而增加，损失随着每个 epoch 的减少而减少。在单个训练循环中，模型对训练数据集进行预测（以批次的方式提供给模型），并通过反向传播预测误差来调整模型的参数。
2024-05-24 17:42:55
2
原创 【elasticsearch实战】从零开始设计全站搜索引擎
最近需要一个全站搜索的功能，我们的站点的特点是数据多源，即有我们本地数据库，也包含了外部数据源，我们的数据类型除了网页还包括了各种类型的文档，例如：doc、pdf、excel、ppt等格式。
2024-03-15 16:25:12
1481
原创 【elasticsearch实战】知识库文件系统检索工具FSCrawler
使用官方文档FSCrawler 提供了一站式的集成方案用来解决各种文档数据转化并存储到es数据库，也有一定的灵活性来自定义拓展字段，可以作为一种文档转换存储工具的选择之一。
2024-02-21 16:59:50
1301
原创 DNS解析原理和k8s DNS 实践
在近期的一次功能开发中，需要在自研IDC环境调用太湖的API，结果却出现了接口超时，经过排查发现是DNS解析的问题。顺藤摸瓜，先回顾了DNS的原理，然后一起看看在Docker容器、Kubernetes集群中如何进行DNS配置。
2024-01-09 16:25:55
1393
3
原创 【GPT4结对编程】word文档导出功能&GPT4来实现
从对话可以看的出来，GPT4强大的代码能力和理解能力，生成的代码都是可以直接运行的，每一次我需要对程序的修改，都能按照我想要的方式完成，我不需要去看POI的官网文档，不需要理解api，直接告诉GPT4我需要什么就可以了，真的非常逆天，我花了那么多时间调研来调研去，为何不一开始就问GPT4呢，可能我想体现自己的价值吧。
2023-07-24 16:05:14
1637
原创 macOS升级到Ventura 后vscode远程开发ssh链接失败
最近公司IT让升级到mac系统，说之前的老版本太久了，因此要被迫升级macOS系统，这是一次重大升级，升级之后加大了和apple其他设备的互通性，升级完成之后确实和iOS更像了。除了SHA-256/SHA-384/SHA-512哈希算法外，还有基于椭圆曲线的签名算法，例如ECDSA算法，已被广泛应用于数字证书和电子签名等应用中。目前，RSA使用SHA-256、SHA-384、SHA-512等较为安全的哈希算法作为数字签名是一个更好的选择，这些算法在实际应用中已被广泛采用。因此需要手动指定支持上述算法。
2023-04-07 10:26:33
707
原创 mysql全文搜索使用和踩坑总结
大致意思就是说，包含“a,b”的文档被解析为“a,”和“,b”。如果将逗号 (“,”) 定义为停用词，则“a”和“,b”都会从索引中排除，因为它们包含逗号。表结构如下，content因为包含中文和英文，不知为何部分关键词可以检索出来，部分关键词就是无法检索出来。来进行分割的，系统默认是2，例如有字符串’abcd’，分词后：‘ab’, ‘bc’, ‘cd’。, 每个词都包含了停用词‘i’ 或者‘a’，因此被排除了。我验证了我的猜想，删掉分词的全文索引，就能搜索出来了。等进行搜索，发现部分英文词出不来, 如。
2023-03-31 18:34:50
858
2
原创 3分钟自定义你的chatGPT聊天微信机器人
最近chatGPT实在太火了，不谈下都不好意思说自己在技术圈混了，刚好前段时间公司里面在举办一个企业微信机器人比赛，然后就用注册了openai的一个账号，用python写了一个玩玩，但是想想不过瘾，于是乎🈶️花了2个小时写了一个基于微信的聊天机器人，这里和大家交流下。
2023-03-29 19:32:48
5836
原创 go切片常见错误
创建一个新的切片slices2保存slices1的内容，我想为了避免slice1的动态扩容，我想摸人给slices2一个长度。拷贝的切片slices2内容多了一个初始化的元素0, 在创建切片时使用的。那上面的初始化切片代码这么改就行了。
2023-02-16 17:47:54
191
原创 【golang分布式Job调度服务】
目前各服务里经常会有定时任务相关需求，而定时任务通常要求同时只有一个任务执行，为了保证定时任务高可以通常也需要主备部署，导致开发定义任务时需要考虑锁竞争关系，以及考虑任务执行状态（成功、失败、重试等）。任务参数1: {“name”:“task1”,“params”:[“params1=x1”,“params2=x2”], “cron_time”:“*/1 * * *?客户端是分布式任务执行的组成单元，通过监听自己能执行的任务队列，来执行任务。分布式任务中心用来管理任务、监控、调度、监听任务执行结果等。
2023-02-12 08:05:33
2300
1
原创 HTTP协议路由转发小结
到此我相信大家对开放平台的转发规则不会有大多疑问了，如果有欢迎和我交流讨论。下面我盗了一张经典的网络层图。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rGSEJ8ss-1676095692371)(/img/image-1607080895179.png)]
2023-02-11 14:17:10
1171
原创 云数据库-elasticsearch
我们系统使用了自研网关, 包括了api网关和准入网关，分别用来解决服务鉴权和用户身份鉴权。网关的访问日志存原先是自己部署es来存储，我们这次直接用腾讯云es来收集日志。
2023-01-17 14:33:22
154
原创 可视化监控告警-grafana
grafana 目前只能安装指定插件，但是我只能安装指定插件，不过基本上主流插件都囊括了，问题是在我安装goshposh-metaqueries-datasource 插件失败，找人工协助之后，添加插件配置后再次安装才成功。
2023-01-17 14:31:28
2473
原创 java 程序代理配置
背景由于疫情的影响，最近一段时间大家运程办公，购买腾讯云主机、mysql、redis、es等作为项目的开发环境。然后使用腾讯云主机远程办公带来了一些的问题，项目的团队成员在50人左右，使用腾讯云作为开发环境，为了安全腾讯云主机的开发环境不对外开放，使用时需要给每个人开通个人开发机的ip权限，然而腾讯云的服务智能开通最多10个ip白名单，因此50个人最多只有10个同时使用某一个服务，大家每天会有各...
2020-02-26 16:49:15
793
1
原创 修改mysqli使其支持超时调研
mysql 客户端支持三种超时https://github.com/mysql/mysql-server/edit/5.7/include/mysql.h ：connect_timeout, read_timeout,write_timeout。struct st_mysql_options { unsigned int connect_timeout, read_timeout, w...
2019-12-10 11:04:39
310
原创 php入门学习总结
语法基础菜鸟教材框架codeIgniter点击这里，这么包括了教程和下载包windows运行环境WampServer 是windows环境下的php开发集成环境，包含了php5~7等不同版本，集成了apache+mysql等运行环境，一键安装比较方便。安装之后，可以将上一步下载的codeIgniter包解压到wampServer安装的安装目录 C:\wamp64\www下，例如解压文件...
2019-12-10 11:03:33
596
原创 curl 常用命名整理
基础命令详细命名可参考 https://man.linuxde.net/curl查看网页源码 curl www.sina.com-o 保存网页相当于 wget curl -o [文件名] www.sina.com-L 抓取自动跳转页面，www.sina.com 会自动跳转到www.sina.com.cn ，该参数会返回跳转后的内容 curl -L www.sina.com-i 查看...
2019-12-10 10:00:37
823
原创 一次cpu使用率低负载高的生产事故（2019-9-24）
事故背景昨天晚上半夜3：26分被电话铃声吵醒了，看到一个未接电话，然后看到微信里面同事拉了群，看到是我负责的一个服务分布式文件存储系统报警了， 报警信息是部署该服务的所有机器同时出现了load average,并且运维同事已经尝试重启应用来恢复负载过高问题，依然无效，重启应用之后服务器负载又马上飙山来。处理过程由于我刚刚入职该公司，接手这个文件存储系统不到2个礼拜，而之前开发的人都离职了。这...
2019-12-10 09:51:39
279
原创 Nginx location 优先级
nginx location 不是根据location在nginx.conf 里的顺序来决定的，而是根据location的匹配决定的的。location=)>(location 完整路径)>(location ^~ 路径)>(location~,(location~,~*正则顺序)>(location 部分起始路径)>(/)...
2018-09-12 12:16:31
985
原创 基于springboot+maven的工程级项目构建
简介springboot可以说是继springMVC之后，spring家族重点推出的一个轻量级的框架，可以完成基于 Spring 的应用程序的大部分配置工作。本文只介绍构建工程级的springboot项目构建过程，至于spring的具体细节涉及不多，可以参考官方文档：springboot官网。项目构建思路应用级别的项目通常都是由多个子系统组成，例如一个对外服务的应用，通过包括这么几个部...
2018-03-27 10:42:13
849
转载 自然语言处理-NLP应用分类
作者：微软亚洲研究院 链接：https://www.zhihu.com/question/19895141/answer/149475410 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。1.句法语义分析：对于给定的句子，进行分词、词性标记、命名实体识别和链接、句法分析、语义角色识别和多义词消歧。 2.信息抽取：从给定文本中抽取重要的信息，比如，时间、地点、
2017-12-18 11:16:15
1302
原创 千万级别数据表创建唯一索引-存在重复数据
业务背景最近一个开发维护的公众号管理系统用户表（user_info）数据已经达到15,000k了，而此时有一个业务场景需要将公众号的用户信息重新同步一次，且后台原有过针对单个公众号的用户同步，但是已经非常难以使用，因为同步时间太长了，以前的同步用户方式大概流程如下： 通过上面的流程可以看出来更新用户流程过程非常耗时，每个用户更新下来应该需要300ms左右，因为这涉及到每次更新一个用户都需要调用一次
2017-09-25 12:52:10
14073
1
原创 MongoDB常用命令
mongoDB 最近开始做一些简单的数据查询计算功能，但是因为mongodb用的比较少，对很多的查询方法都不熟悉，因此整理了一些常用的命令，平时工作有需要时候方便查询，当然遇到一些新的也可以进行更新。
2017-08-31 19:09:33
386
原创 分布式任务调度框架技术调研
研究的目的定时任务问题一直是我们组项目的主要问题来源，很多问题的最终定位是由于定时任务异常停止导致的，例如：六马的新闻刷新任务，微管家的token刷新任务等等。这些定时任务通常是单点故障任务，一旦出现异常肯定会导致业务异常。因此，我一直想寻找一个方案来解决定时任务的单点故障问题。我觉得可以从下面两个方面来找手做。可监控定时任务出现故障的时候可以第一时间得到通知；（监控系统）试用分布式定时任务，解
2017-08-25 15:23:23
5157
原创 zookeeper集群安装-debian
zookeeper的安装下载安装方式可以参考： http://zookeeper.apache.org/doc/trunk/zookeeperStarted.html 下载解压后，参考文档的方式进行配置和启动。我下面要说下载在linux debian系的apt-get install方式安装和配置方式。安装 apt-get install zookeeperd启动停止 service
2017-08-22 16:16:53
1326
原创 virtualenv 用来管理python多版本环境
背景虽然说python3.x是趋势，但是不可否认的是python2.x 还是有很多历史的包和工具在沿用，最近需要使用python3.5版本来做一个项目开发，为了该版本花了不少时间。python3版本安装公司Debian 的python3 apt-get 源最新只有3.4 ，因此只能手动编译一个3.5版本的包 1. wget http://www.python.org/ftp/python/3.5.
2017-07-27 10:28:45
524
原创 nginx 的 location 配置优先级
最近做项目开发的时候遇到这么一个问题，需要在nginx里面添加一个location 到指定路径的跳转： location /server1/path1/path2 结果这个配置一直未生效，后来查资料才发现，location 配置有优先级的，优先级如下：(location =) > (location 完整路径) > (location ^~ 路径) > (location ~,~* 正则顺序)
2017-07-11 15:17:34
707
原创 微信公众号与小程序数据互通
实现多公众号、小程序数据互动是管理多公众号业务的基本需求之一，因为通过多公众号数据互通可以更精确的分析用户来源和数据，并且提供更优质的服务，公众号结合小程序数据互通那么就可以实现多业务多入口。背景最近做了一个有意思的功能《官网内容订阅》，用户在官网扫码后可以订阅官网栏目，订阅栏目后发送模版消息提醒用户订阅成功，模版消息关联了小程序，然后做了一
2017-06-13 14:14:50
36737
5
原创 科学计数法表示零
由于机器表示浮点数有精度限制，因此在做double类型比较判断时，不能用直接用double类型和〇做比较，而应该设置一个无限接近与〇的小数做比较正数的科学计数法long a = 1e10;小数的科学计数法double b = 1e-10;
2017-05-09 17:03:50
1694
原创 Maven实战-创建maven多子工程项目
创建父工程mvn archetype:generate -DgroupId=com.pet511.pet -DartifactId=pet 创建之后，到pet 文件目录下面，删除调 src文件夹，只保留pom.xml 文件。编辑pom.xml文件，修改： 修改points下面的pom.xml文件 <packaging>jar</packaging> 的jar为pom <packaging>pom
2017-03-30 15:34:29
685
转载 Tomcat内存设置
设置Tomcat启动的初始内存其初始空间(即-Xms)是物理内存的1/64，最大空间(-Xmx)是物理内存的1/4。可以利用JVM提供的-Xmn -Xms -Xmx等选项可进行设置三、实例，以下给出1G内存环境下Java jvm 的参数设置参考：JAVA_OPTS=”-server -Xms800m -Xmx800m -XX:PermSize=64M -XX:MaxNewSize=256m -XX:
2017-03-24 10:32:25
341
转载 linux top 命令各字段含义
top 字段含义列名 含义 PID 进程 ID USER 进程所有者的用户名 PR 任务优先级 NI nice 值。数值越小表示优先级越高，数值越大表示优先级越低 VIRT 进程使用的虚拟内存总量，单位：kb。VIRT=SWAP+RES RES 进程使用的、未被换出的物理内存大小，单位：kb。RES=CODE+DATA SHR 共享内存大小，单位：kb S 进程状
2017-03-14 11:32:14
11805
原创 windows 常用命令整理
netstat –ano|findstr 指定端口号 tasklist|findstr 进程号 taskkill /f /t /im 进程名称
2017-03-09 09:44:57
331
原创 《Java并发编程实战》- 个人阅读总结（一）
背景最近想更深入了解下Java多线程相关的知识，对Java多线程有一个全面的认识，所以想找一本Java多线程相关的书籍来阅读，最后我选择了《Java并发编程实战》这本个人认为还算相当不错，至于为什么选择它，下面有介绍。书的介绍中文书名：《Java并发编程实战》 英文书名：《Java Concurrency in Practice》 作者：Brian Goetz / Tim Peierls / J
2017-03-06 21:40:00
12666
转载 sublime text 快捷键整理
Ctrl+Shift+P：打开命令面板 Ctrl+P：搜索项目中的文件 Ctrl+G：跳转到第几行 Ctrl+W：关闭当前打开文件 Ctrl+Shift+W：关闭所有打开文件 Ctrl+Shift+V：粘贴并格式化 Ctrl+D：选择单词，重复可增加选择下一个相同的单词 Ctrl+L：选择行，重复可依次增加选择下一行 Ctrl+Shift+L：选择多行 Ctrl+Shift+Ent
2017-02-22 16:02:13
531
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人