- 博客(75)
- 资源 (1)
- 问答 (13)
- 收藏
- 关注
RSS订阅原创 书籍《Continuous Machine Learning with Kubeflow》
利用kubernets 的能力构建可靠的 MLOPS 平台。
2022-10-09 13:51:36
797
原创 pandas及python代码
以下方法以此图为例一，读入csv文件时，添加parse_dates参数，把时间转为时间戳temp = pd.read_csv(file_path,parse_dates=['告警开始时间'])二，dataframe 新增加列，并用apply方法根据其他列的值计算temp['IS_VIP_Alarm'] = temp['告警名称'].apply(lambda x: 1 if x in VIP_Alarm else 0)def Alarm_to_index(df): index = wo
2022-07-14 22:52:12
1201
原创 k8s学习（3）-kubectl && Deployment && StatefulSet
在Master通常上包括 kube-apiserver、etcd 存储、kube-controller-manager、cloud-controller-manager、kube-scheduler 和用于 K8s 服务的 DNS 服务器（插件）在Node上组件包括 kubelet 、kube-porxy 以及服务于pod的容器运行时(runtime)。外部storage与registry用于为容器提供存储与镜像仓库服务。......
2022-07-09 19:24:54
1192
原创 WARNING: Unsupported upgrade request.
用fastapi 写了一个接口，然后java发送post请求，fastapi的接口一直报这个错误，而且java端也也没有收到返回信息google 了好久，点赞量最高的就是需要重新安装但是这个在我的项目中并没有解决问题最后发现是java 使用请求的，而fastapi用的uvicorn启动，此时此刻，有两种方法解决方法一：fastapi 的接口升级为方法二：java指定http版本...
2022-06-21 22:38:30
482
原创 如何同时操作三台服务器
通过pycharm 的SSH terminal 操作三台主机，想输出一条命令在3同机器上同步执行方法一，写个脚本1，首先使用 生成密钥文件。2， 把公钥文件拷贝到指定的HOST3，当前机器创建一个文件，写入机器地址（xxx.xxx.xxx.xxx）4，在当前机器写个脚本（注意脚本中的路径要改一下）5 ,增加文件的执行权限6，执行命令方法二，还没尝试使用...
2022-06-16 15:02:22
527
原创 window 安装 PyStan 和 prophet
必须先安装conda或者miniconda ，然后Anaconda Prompt 中操作以下命令conda install libpython m2w64-toolchain -c msys2以下根据情况操作然后 E:\ProgramData\Miniconda3\Lib\distutils中创建distutils.cfg文件添加以下内容[build]compiler=mingw32具体参考文档conda install numpy cython -c conda-forgeco
2022-05-30 16:13:25
772
原创 pycharm terminal 无法将“xxx”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。
记得以前是可以直接在pycharm 的terminal 端运行python程序的，但是今天运行的时候不行，不知道为啥，于是解决问题直接Google 的方法都不靠谱，不用浪费时间了刚开始，想着为什么，安装的conda 的base 环境，无法在cmd 以及powershell中运行，按照这个搜索，也是无用后来想着，pycharm 的terminal 直接打开默认就是Windows的PowerShell，应该可以更改，让打开就直接进入conda 的base环境按照这个思路检索到一篇文章pycharm te
2022-05-27 09:49:40
3420
原创 Pycharm 中如何编写JavaScript
1 先安装node.js插件参考链接2 设置提示3 创建js文件在js文件中编写代码4，解决JSHint: 'console' is not defined.(W117)报错代码也顶端添加/* global console*/5，创建HTML<script type="text/javascript"> var n = 123 n = {} n.name = 123 n.age = 18 n.se
2022-05-21 23:56:07
6212
1
翻译 比较Dask，Ray，Modin，Vaex和RAPIDS
看到了一篇文章，在这儿记录一下Modin，Ray作为后端。通过安装这些，您可能会看到仅更改一行（“import pandas as pd”到“import modin.pandas as pd”）的显着好处。与其他工具不同，Modin旨在与Pandas完全兼容。Dask，一个更大，因此更复杂的项目。但Dask还提供了Dask.dataframe，这是一个更高级别的，类似Pandas的库，可以帮助您处理核心外的数据集。Vaex，旨在帮助您在标准笔记本电脑上处理大数据。它的Pandas替代品涵
2022-05-09 14:15:28
921
原创 prophet使用记录
linux 安装详细介绍prophet是一个工业级应用，而不是说在时间序列预测的模型上有非常大的创新。趋势模型prophet里使用了两种趋势模型：饱和增长模型（saturating growth model）和分段线性模型（piecewise linear model）。两种模型都包含了不同程度的假设和一些调节光滑度的参数，并通过选择变化点（changepoints）来预测趋势变化节假日与突发事件模型节假日需要用户事先指定，每一个节假日都包含其前后的若干天。wprophet_plot_com
2022-03-24 15:25:18
668
原创 centos7.9 升级python3.9
在虚拟环境中升级python 不可行，只能系统中重新装python一、卸载自带pythonrpm -qa | grep python | xargs rpm -e --allmatches --nodeps //强制卸载自带的python以及相关联的程序whereis python | xargs rm -rf //删除所有与python相关的残余文件二 安装新版wget https://www.python.org/ftp/python/3.9.7/Python-3.9.7.tar.xz
2022-03-03 17:10:42
1544
原创 Linux安装go 环境
系统：ubuntu20.04搜了一些都是之前的错误的，在这儿记录一下安装语言去官网查看教程官网教程wget https://dl.google.com/go/go1.17.6.linux-amd64.tar.gz如果之前安装过要删除掉之前的-C代表change目录的意思，本例中指定解压文件到 /usr/local 这个目录下 tar -C /usr/local -xzf go1.17.6.linux-amd64.tar.gz设置环境变量export PATH=$PATH:/usr/loc
2022-01-28 11:34:09
1152
原创 阿里云ECS 已配置安全组，外网仍无法访问原因
ECS系统Ubuntu 20.04.2 LTS (GNU/Linux 5.4.0-67-generic x86_64)问题：在阿里云的ECS服务器中启动了jupyter botebook 然后笔记本电脑方位端口，结果一直没有反应，之前是一直再用的，前几天动了一下服务器的防火墙，就不能用了，所以一定是防火墙问题解决1、firewall-cmd --state（查看防火墙开启状态）提示running则防火墙已启动2、firewall-cmd --list-ports（查看防火墙）3、如果是防火墙没
2022-01-24 16:41:35
2489
原创 软考高级架构师备考记录
刚刚公布了软考高级架构师的成绩，急忙去查万幸考过了报名的希赛课程学了差不多4轮（所有课程2倍速播放）第一轮，报名之后看短视频入门第二轮，7月老师开课之后跟着老师学习第三轮 ，从头再看一遍课程，这一次开始做笔记并刷题，按照主题刷，把重点章节的刷第四轮，跟着老师冲刺课学习并对照笔记，查漏补缺，冲刺课主要是讲做题技巧以及常见案例考题形式作文准备，只写了一篇文章，经过老师批改合格，掌握了答题技巧之后，把希赛后台准备的作文论题的知识点打印，考前背诵（不过自己考试也没用上，但是作文题还是都覆盖
2021-12-24 22:33:47
674
原创 pycharm bash: 第 0 行:cd: D:/xxxxxxx: 没有那个文件或目录
在使用pycharm 调用远程服务器的时候，遇到这个问题，搜不到答案，自己解决之后在这儿记录一下部分python包只有linux版，所以避免不了要调用远程服务器的python 解释器。新打开一个项目文件，再配置deployment 的时候，要填这个路径映射确定之后，会自动把项目文件上传到服务器，然后，你这个项目的代码就可以在服务器上跑了。当你再打开别的项目的时候，如果你这样修改是不管用的你必须这样修改增加路径才会上传路径把你当前项目的路径再次映射，然后回重新上传当前项目的文件，然后你就
2021-11-26 16:22:32
3678
2
原创 yaml文件中怎么获取cpu count？
可以以此为参考，获取其他编码参考代码import osfrom omegaconf import OmegaConfOmegaConf.register_new_resolver("os_cpu_count", lambda: os.cpu_count())my_yaml = """trainer: cpu_count: ${os_cpu_count:}"""cfg = OmegaConf.create(my_yaml)expected = os.cpu_count()as
2021-11-22 12:10:51
214
原创 yaml中使用记录及环境变量的交互
yaml配合hydra，omegaconf使用环境变量name: &name "Citrinet-512-8x-Stride"model: sample_rate: &sample_rate 16000 train_ds: manifest_filepath: "${oc.env:train_data_dir}/train_manifest.json"查看系统环境变量在命令行输入以下命令printenv查看PATH环境变量printenv PATH
2021-09-28 22:34:23
4583
原创 NVIDIA NGC使用记录
NGC 介绍 参考1，登陆（需要翻墙）2，安装 NGC CLI根据平台选择相应的下载，我是AMD64 先择执行下面的命令(关闭翻墙下载更快)wget -O ngccli_cat_linux.zip https://ngc.nvidia.com/downloads/ngccli_cat_linux.zip && unzip -o ngccli_cat_linux.zip && chmod u+x ngcmd5sum -c ngc.md5echo "expo
2021-09-18 16:16:39
1281
转载 图像模糊检测
不用拉普拉斯方法，除非你能控制光照，环境和采集图像过程，否则很难确定令人满意的阈值不用拉普拉斯方法，除非你能控制光照，环境和采集图像过程，否则很难确定令人满意的阈值不用拉普拉斯方法，除非你能控制光照，环境和采集图像过程，否则很难确定令人满意的阈值很多场合会用到图像质量检测1， 图像质量分级2，OCR 中只将OCR应用于高清图像的3，帮助专业摄影师拍摄的1000s 图像中间自动丢掉低质量的图片看到有人翻译了，就不自己整了，请参考这儿...
2021-08-17 22:01:25
603
原创 ab工具测试flask 接口并发
ab工具安装（ubuntu）apt-get install apache2-utils先用python程序看请求时间（1个请求）falsktest.py的内容可以看上一篇文章python falsktest.py 1.png返回时间0.1秒使用ab工具 测试先根据接口参数生成json文件import jsonimport base64file = "/ntt/smz_data/images/test/1.png"with open(file, "rb") as f: im
2021-07-28 15:38:19
318
原创 base64 编解码速度测试（pillow vs opencv）
1 测试脚本import requestsimport base64import jsonimport timeimport sysimport numpy as npimport cv2from PIL import Imagefrom utils.plots import colorsimport osfrom tqdm import tqdmfrom glob import globdef pic_post(img,filename): postdata = {
2021-07-27 09:18:28
898
1
翻译 训练神经网络的秘诀
训练技巧关注数据coding training/testing ,并拿到糟糕的baselineshttp://karpathy.github.io/2019/04/25/recipe/关注数据训练神经网络之前，不要碰任何模型，而是应该尽力检查数据。经常需要数小时的查看数据，了解数据分布，找到数据模式，我们大脑非常适合干这个，有一次，我发现数据集中有一些重复的数据，另一次，我发现了损坏的图片/标签，寻找一些数据不平衡。我通常还会注意我自己对数据进行分类的过程，能够给我们最终的架构实现一些线索。例如，
2021-07-22 22:46:11
156
python-prihect.zip
2021-07-22
pandas怎么根据上一行的数据对应的新增一行？
2020-07-02
爬虫BeautifulSoup的find().find_all()可以连起来用吗？
2020-04-24
result = "{:0>2}:{:0>2}:{:0>2}"这是什么写法
2020-04-11
python用命令行格式写的程序，怎么在程序内部传参数来debug？
2020-03-25
下面这段代码到底想干啥？求大佬详细解释
2020-03-25
计算IOU 时候W和H 看有有些代码中会+1，到底应该加不加的？
2019-11-21
如何知道自己的目标检测算法有多少帧？
2019-11-15
python -m visdom.server时遇到报错 求助解决
2019-11-01
python中 if (i+1)/1000 == 0:是什么意思
2019-10-26
img[y:y+h,x:x+w]这个是什么意思？
2019-10-13
哪位大佬有可视化神经网络编程系统？
2019-09-15
np.where这个函数不太理解
2019-09-12
根据numpy的argsort（）得到的结果，索引得到的数据是否正确？
2019-09-11
TA创建的收藏夹 TA关注的收藏夹
TA关注的人