- 博客(242)
- 资源 (12)
- 收藏
- 关注
RSS订阅原创 MacOS访问某局域网域名存在问题，但是ip可以正常访问的问题解决方案
公司服务器部署wiki，之前macos访问wiki服务都是通过ip:8090形式访问，后来给wiki服务配置了域名wiki:8090，后macos浏览器连接同样的网络却一直没办法正常域名访问wiki，但可以ip访问wiki，但是其他同事们都可以正常访问。但是不幸的是，过一会，又回到解放前的状态，又是ip可以访问，域名无法访问，多次重复上述操作，都是不断循环。可以看出，此时域名解析已经正确，然后测试wiki.**cn可以正常访问wiki服务。而且，本地查看域名解析，一直都是正确的Ip，但是就是访问不到服务。
2024-01-12 11:38:13
761
原创 MacOS VSCode 配置远程服务器ssh remote链接，并上传文件文件服务器
7. 注意，6中的操作都是在远程服务器的变动，不会对本地文件同步。此时，可以在5中本地项目的窗口，选中相应需要同步的文件夹或文件，右键，选择Download，把远程服务器更新后的文件下载到本地目录。右侧两个一个是在当前窗口打开远程链接，一个是在新窗口打开远程连接，选择一个即可，我倾向于选择一个新窗口。5. 此时，就可以在本地文件窗口内，右键 -> Upload Folder上传文件夹，或者上传文件。4. 当本地已经有个项目，需要同步传输到服务器，首先在VSCode打开该文件，并配置sftp。
2023-12-07 16:46:37
1410
原创 一次安装apex的血泪史
最后执行python setup.py install --cuda_ext --cpp_ext安装成功~export LD_LIBRARY_PATH= # 为了取消之前的变量。1. 服务器安装CUDA==12.2和PyTorch=11.8版本不一致。执行source ~/.bash_profile。如果顺利的话，就so easy~ 然鹅，吐血。然后 source ~/.bash_profile。后使用g++ -v确认版本为更新后的版本即正常。还是报错，错误内容完全一致。解决方案：升级g++版本。
2023-11-08 18:25:26
389
原创 Torch使用过程错误解决记录
1、错误信息：cannot import name 'notf' from 'tensorboard.compat'
2023-10-07 14:37:55
945
原创 Pycharm链接远程mysql报错
我的Mysql为5.7.43，此时Pycharm mysql驱动为8.0版本，不匹配，所以需要根据实际的版本选择对应的驱动；选择对应的版本，在大版本一直的情况下，可逐个尝试，此处我选择的是5.1.35；回到DataSource配置，重新测试链接，可以看到成功链接。点击下方Apply；
2023-08-25 16:01:55
1535
原创 cannot import name dataclass_transform
【代码】cannot import name dataclass_transform。
2023-08-24 18:14:34
433
原创 macbook 加载模型报错：failed to load model
在linux上加载是正常的，但是在macbook上就报错：failed to load model。环境：macbook m1 + conda + python3.9。原来的是0.1.78，更新为48之后，的确是可以正常加载了。一开始以为模型坏了，删除重新下载，仍然报错。
2023-08-21 17:52:59
603
原创 MacOS M2 使用lightgbm训练，报错：segmentation fault
如果执行wget时，终端很慢，或者别的链接问题，可直接复制链接到浏览器下载。然后，直接在下载路径执行后续操作。上述步骤执行完后，可重新进入上述路径确认版本，正常情况下应该已经更新到11.1.0版本。错误场景如标题所示，经查询验证有效方案为：降级libomp版本。之后重新执行lightgbm训练脚本，可正常跑。libomp版本为：16.0.6；
2023-08-15 15:29:30
180
原创 linux 升级node
2. ln -s /usr/local/bin/node /bin/node # 新建新node的软连接。1. rm -f /bin/node # 删除旧的链接。3. n stable # 下载最新的稳定的版本。再次执行node -v即为新版本。
2023-07-26 11:23:26
1344
原创 mac pro 13 m2，安装brew报错fatal: unable to access ‘https://github.com/Homebrew/brew/‘: Recv failure...
mac pro 13 m2，安装brew报错
2023-05-25 10:31:09
735
原创 tensorflow1.14.0代码适配tensorflow2.5.0遇到的坑
最后推理，代码应该是没问题，流程本地也都多次测试，也没问题，从影响面来看，不只是当前任务进程卡住，也影响到了有同样加载预训练模型的其他模块流程，那应该是共用的某些部分产生了影响。在测试环境运行时，上述代码在tf2.5.0环境下，是正常运行的。但是到线上环境，和其他相关服务部署到一起后，就不行。奇怪的是，在容器内部的python环境中，逐行执行上面加载预训练模型操作，是可以正常执行的。故针对当前代码，重新适配tf2，把session和graph相关的都直接删除。各种排查，无果，也没任何报错。
2022-10-28 18:33:05
744
原创 python & pandas 拆分csv文件
当进行模型训练时，可能需要手动把一份文件一分为二的情况，可使用上述方法；但是，需注意，此方法要求label中每个标签个数至少为2；
2022-08-19 10:45:01
766
原创 conda升级tensorflow-gpu=2.5.0及cudn,cudatoolkit版本
conda升级tensorflow-gpu=2.5.0及cudn,cudatoolkit版本
2022-07-20 17:15:50
2804
原创 Pycharm remote ssh pyenv error: pydev debugger: warning: trying to add breakpoint to file that does
本地pycharm使用的远程服务器上的conda python环境，在pycharm执行某个py文件，debug时，报错如下： 解决办法：打开配置界面如下图：注意，红框内，为空。修改为如下图： 也就是说，把本地项目路径和远程服务器上的项目文件夹路径对应好，即可。...
2022-06-29 15:59:15
450
原创 python import gensim error: ModuleNotFoundError: No module named ‘dataclasses‘
import gensim报错
2022-06-22 18:00:23
3948
2
原创 linux conda安装tensorflow虚拟环境步骤
conda create -n your_vir_name python==3.6.8 pipconda activate your_vir_nameconda install cudatoolkit=10.1.243conda install cudnn=7.6.0=cuda10.1_0pip install tensorflow-gpu==2.3.0 -i https://pypi.mirrors.ustc.edu.cn/simple/下面测试能否正常链接GPU：import t.
2022-05-19 14:24:35
610
转载 你可能不需要BERT-flow：一个线性变换媲美BERT-flow - 科学空间|Scientific Spaces - sujianlin
转载自：你可能不需要BERT-flow：一个线性变换媲美BERT-flow - 科学空间|Scientific SpacesBERT-flow来自论文《On the Sentence Embeddings from Pre-trained Language Models》，中了EMNLP 2020，主要是用flow模型校正了BERT出来的句向量的分布，从而使得计算出来的cos相似度更为合理一些。由于笔者定时刷Arixv的习惯，早在它放到Arxiv时笔者就看到了它，但并没有什么兴趣，想不到前段时间小火了一
2022-05-17 16:06:26
481
原创 Could not load dynamic library libcudart.so.10.1
环境：python 3.6.8 tensorflow-gpu2.3.0 CUDA 10.0.130 cudnn 7.6.0错误：不能正确加载GPU解决方案：conda install cudatoolkit=10.1升级cuda 10.0 -> 10.1升级完成后，经测试，可以正常加载GPU；
2022-04-21 17:27:28
3060
原创 curl指令与request获取参数对应
背景：很多时候，服务上线后需要在linux服务器上，直接去调试服务，测试服务是否正常等，这就需要使用到curl指令去请求，而python后端服务不同的获取参数方式，限制了curl请求的不同传参方式，不对应，就会导致获取不到正确的参数。此处做下对应记录。1. python后端代码如下：curl请求格式对应如下：curl --location --request POST 'http://ip:port/***' --form 'text=不好吃'--form 'tag=随便'有几个参.
2022-04-19 16:18:45
9096
原创 使用tensorflow-gpu-2.6.1作为基础镜像打包出现的坑
Dockerfile：FROM tensorflow/tensorflow:2.3.0-gpurequirements.txt如下：tensorflow-gpu>=2.1执行打包过程中，正常情况下，tf版本已经符合要求，不应该重新安装，但是却一直如下：启动tensorflow/tensorflow:2.3.0-gpu镜像，进入容器查看pip安装包：发现里面竟然没有tf-gpu。继续确认是否可检测GPU：综上所述，tf-2.6.2-gpu官方..
2022-03-03 18:11:48
881
原创 Linux服务器上，打包带有ssh服务的镜像，作为Pycharm的远程Python环境步骤
1. 打包基础镜像Dockerfile参考：FROM tensorflow/tensorflow:2.3.0-gpuCOPY .ssh /root/.ssh # 因为本人需要使用git安装自己公司的项目，所以需要自己电脑的ssh相关文件RUN chmod 600 /root/.ssh/id_rsa# 改成北京时间RUN rm -rf /etc/localtime && ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localti
2022-03-03 11:14:17
1168
原创 install ssh in docker image,Error:Couldn‘t create temporary file /tmp/apt.conf.CtZH9J
错误信息：Hit:1 http://archive.ubuntu.com/ubuntu bionic InReleaseGet:2 http://security.ubuntu.com/ubuntu bionic-security InRelease [88.7 kB]Err:1 http://archive.ubuntu.com/ubuntu bionic InRelease Couldn't create temporary file /tmp/apt.conf.CtZH9J for pa
2022-03-02 16:47:14
613
原创 MacOS + Pycharm + Docker + Dockerfile打包报错：GPG error: At least one invalid signature was encountered
配置如标题所示；报错截图如下：查阅各种资料，很多种说法，解决方案，有加RUN apt clean的，有说是DNS问题，修改docker配置的，但是我的都解决不了，然后，这次经历再次让我见识到了“重启大法”之功效。下面介绍下重启思路：1- 想着可能是网络问题，首先尝试重启电脑；重启后，无效；2- 那就可能是本机docker问题，重启docker；无效；3- emm...可能的确是配置存在问题，我升级下docker试试；升级，重启，无效；4- 盯着Pycharm看了半天，重启下P
2022-01-05 14:04:23
1092
查找最相似的英文句子 python
2018-08-23
寻找两个文件中相同的句子 python
2018-08-23
使用md5对文件去重 python
2018-08-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人