- 博客(246)
- 资源 (12)
- 收藏
- 关注
RSS订阅原创 Mongodb学习记录
如果查询条件是找出那些没有某个字段的文档，则可能需要进行全表扫描，因为索引中只记录了存在字段的文档，而 MongoDB 无法从索引中直接查出“缺失字段”的文档。如果你的文档中大量字段是缺失的，选择不包含该字段可以减少索引的大小和数据库的存储开销。稀疏索引不包括字段缺失的文档，因此在查询包含字段的文档时，可以提高效率。：如果文档中没有某个字段，而你对该字段建立了索引，MongoDB 的索引只会记录那些拥有该字段的文档。如果你的查询主要查找字段存在的文档，字段缺失不会明显影响性能，尤其是使用了合适的索引。
2024-10-11 11:19:15
1132
原创 Linux miniconda 安装tensorflow-gpu遇到找不到GPU问题
6、再次验证，不能正常检测到 GPU。8、再次验证，可正常检测到GPU。5、降低protobuf版本。更换镜像源，单独安装。
2024-07-02 17:15:39
218
原创 Mysql实战中的一些小tips
'["1.0"大尺寸CMOS 约2020万有效像素", "F1.8-2.8大光圈，24mm广角+4.2倍光学变焦镜头，5cm微距", "Wi-Fi影像分享，NFC近场通信，更方便的遥控拍摄", "汇集多种模式，丰富你的拍摄构思", "机身搭载取景器，更专业与更舒适的拍摄体验”]'2. 从数据库读取json.dumps的字段后，直接使用json.loads()转换，出现错误：Expecting ',' delimiter: line 1 column 7 (char 6)
2024-06-21 16:09:11
494
原创 MacOS访问某局域网域名存在问题，但是ip可以正常访问的问题解决方案
公司服务器部署wiki，之前macos访问wiki服务都是通过ip:8090形式访问，后来给wiki服务配置了域名wiki:8090，后macos浏览器连接同样的网络却一直没办法正常域名访问wiki，但可以ip访问wiki，但是其他同事们都可以正常访问。但是不幸的是，过一会，又回到解放前的状态，又是ip可以访问，域名无法访问，多次重复上述操作，都是不断循环。可以看出，此时域名解析已经正确，然后测试wiki.**cn可以正常访问wiki服务。而且，本地查看域名解析，一直都是正确的Ip，但是就是访问不到服务。
2024-01-12 11:38:13
1262
原创 MacOS VSCode 配置远程服务器ssh remote链接，并上传文件文件服务器
7. 注意，6中的操作都是在远程服务器的变动，不会对本地文件同步。此时，可以在5中本地项目的窗口，选中相应需要同步的文件夹或文件，右键，选择Download，把远程服务器更新后的文件下载到本地目录。右侧两个一个是在当前窗口打开远程链接，一个是在新窗口打开远程连接，选择一个即可，我倾向于选择一个新窗口。5. 此时，就可以在本地文件窗口内，右键 -> Upload Folder上传文件夹，或者上传文件。4. 当本地已经有个项目，需要同步传输到服务器，首先在VSCode打开该文件，并配置sftp。
2023-12-07 16:46:37
2358
原创 一次安装apex的血泪史
最后执行python setup.py install --cuda_ext --cpp_ext安装成功~export LD_LIBRARY_PATH= # 为了取消之前的变量。1. 服务器安装CUDA==12.2和PyTorch=11.8版本不一致。执行source ~/.bash_profile。如果顺利的话，就so easy~ 然鹅，吐血。然后 source ~/.bash_profile。后使用g++ -v确认版本为更新后的版本即正常。还是报错，错误内容完全一致。解决方案：升级g++版本。
2023-11-08 18:25:26
896
原创 Torch使用过程错误解决记录
1、错误信息：cannot import name 'notf' from 'tensorboard.compat'
2023-10-07 14:37:55
1376
原创 Pycharm链接远程mysql报错
我的Mysql为5.7.43，此时Pycharm mysql驱动为8.0版本，不匹配，所以需要根据实际的版本选择对应的驱动；选择对应的版本，在大版本一直的情况下，可逐个尝试，此处我选择的是5.1.35；回到DataSource配置，重新测试链接，可以看到成功链接。点击下方Apply；
2023-08-25 16:01:55
1617
原创 cannot import name dataclass_transform
【代码】cannot import name dataclass_transform。
2023-08-24 18:14:34
619
原创 macbook 加载模型报错：failed to load model
在linux上加载是正常的，但是在macbook上就报错：failed to load model。环境：macbook m1 + conda + python3.9。原来的是0.1.78，更新为48之后，的确是可以正常加载了。一开始以为模型坏了，删除重新下载，仍然报错。
2023-08-21 17:52:59
907
原创 MacOS M2 使用lightgbm训练，报错：segmentation fault
如果执行wget时，终端很慢，或者别的链接问题，可直接复制链接到浏览器下载。然后，直接在下载路径执行后续操作。上述步骤执行完后，可重新进入上述路径确认版本，正常情况下应该已经更新到11.1.0版本。错误场景如标题所示，经查询验证有效方案为：降级libomp版本。之后重新执行lightgbm训练脚本，可正常跑。libomp版本为：16.0.6；
2023-08-15 15:29:30
278
原创 linux 升级node
2. ln -s /usr/local/bin/node /bin/node # 新建新node的软连接。1. rm -f /bin/node # 删除旧的链接。3. n stable # 下载最新的稳定的版本。再次执行node -v即为新版本。
2023-07-26 11:23:26
1648
原创 mac pro 13 m2，安装brew报错fatal: unable to access ‘https://github.com/Homebrew/brew/‘: Recv failure...
mac pro 13 m2，安装brew报错
2023-05-25 10:31:09
975
原创 tensorflow1.14.0代码适配tensorflow2.5.0遇到的坑
最后推理，代码应该是没问题，流程本地也都多次测试，也没问题，从影响面来看，不只是当前任务进程卡住，也影响到了有同样加载预训练模型的其他模块流程，那应该是共用的某些部分产生了影响。在测试环境运行时，上述代码在tf2.5.0环境下，是正常运行的。但是到线上环境，和其他相关服务部署到一起后，就不行。奇怪的是，在容器内部的python环境中，逐行执行上面加载预训练模型操作，是可以正常执行的。故针对当前代码，重新适配tf2，把session和graph相关的都直接删除。各种排查，无果，也没任何报错。
2022-10-28 18:33:05
815
原创 python & pandas 拆分csv文件
当进行模型训练时，可能需要手动把一份文件一分为二的情况，可使用上述方法；但是，需注意，此方法要求label中每个标签个数至少为2；
2022-08-19 10:45:01
844
原创 conda升级tensorflow-gpu=2.5.0及cudn,cudatoolkit版本
conda升级tensorflow-gpu=2.5.0及cudn,cudatoolkit版本
2022-07-20 17:15:50
3176
原创 Pycharm remote ssh pyenv error: pydev debugger: warning: trying to add breakpoint to file that does
本地pycharm使用的远程服务器上的conda python环境，在pycharm执行某个py文件，debug时，报错如下： 解决办法：打开配置界面如下图：注意，红框内，为空。修改为如下图： 也就是说，把本地项目路径和远程服务器上的项目文件夹路径对应好，即可。...
2022-06-29 15:59:15
489
原创 python import gensim error: ModuleNotFoundError: No module named ‘dataclasses‘
import gensim报错
2022-06-22 18:00:23
4081
2
原创 linux conda安装tensorflow虚拟环境步骤
conda create -n your_vir_name python==3.6.8 pipconda activate your_vir_nameconda install cudatoolkit=10.1.243conda install cudnn=7.6.0=cuda10.1_0pip install tensorflow-gpu==2.3.0 -i https://pypi.mirrors.ustc.edu.cn/simple/下面测试能否正常链接GPU：import t.
2022-05-19 14:24:35
669
转载 你可能不需要BERT-flow：一个线性变换媲美BERT-flow - 科学空间|Scientific Spaces - sujianlin
转载自：你可能不需要BERT-flow：一个线性变换媲美BERT-flow - 科学空间|Scientific SpacesBERT-flow来自论文《On the Sentence Embeddings from Pre-trained Language Models》，中了EMNLP 2020，主要是用flow模型校正了BERT出来的句向量的分布，从而使得计算出来的cos相似度更为合理一些。由于笔者定时刷Arixv的习惯，早在它放到Arxiv时笔者就看到了它，但并没有什么兴趣，想不到前段时间小火了一
2022-05-17 16:06:26
539
原创 Could not load dynamic library libcudart.so.10.1
环境：python 3.6.8 tensorflow-gpu2.3.0 CUDA 10.0.130 cudnn 7.6.0错误：不能正确加载GPU解决方案：conda install cudatoolkit=10.1升级cuda 10.0 -> 10.1升级完成后，经测试，可以正常加载GPU；
2022-04-21 17:27:28
3089
原创 curl指令与request获取参数对应
背景：很多时候，服务上线后需要在linux服务器上，直接去调试服务，测试服务是否正常等，这就需要使用到curl指令去请求，而python后端服务不同的获取参数方式，限制了curl请求的不同传参方式，不对应，就会导致获取不到正确的参数。此处做下对应记录。1. python后端代码如下：curl请求格式对应如下：curl --location --request POST 'http://ip:port/***' --form 'text=不好吃'--form 'tag=随便'有几个参.
2022-04-19 16:18:45
10185
查找最相似的英文句子 python
2018-08-23
寻找两个文件中相同的句子 python
2018-08-23
使用md5对文件去重 python
2018-08-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人