Python操作
totobey
这个作者很懒,什么都没留下…
展开
-
python安装tfx/新建环境
问题:想装tfx,但是提示不支持python3.9。解决方案:新建一个环境tfx专门用来运行流水线,这个环境安装python3.8。1.查看自己的python版本(jupyter notebook):import syssys.version #查看python版本2.新建一个名为tfx的环境(Anaconda Prompt)首先查看当前已有环境: conda env list创建一个名为【tfx】的环境:conda create --name .原创 2022-05-15 17:47:38 · 551 阅读 · 0 评论 -
python处理大数据集的7个技巧(内存有限)
How to Work with BIG Datasets on 16G RAM (+Dask)本文为转载,原文链接:How to Work with BIG Datasets on 16G RAM (+Dask) | Kaggle本文有精简。TIP 1 - Deleting unused variables and gc.collect()if you used up a dataframe (or other variable), get in the habit of deleti转载 2022-04-17 18:59:37 · 1108 阅读 · 0 评论 -
CUDA driver version is insufficient for CUDA runtime version
fit - CatBoostClassifier | CatBoostNoteSet thetask_typeparameter in the class constructor to to train the model on GPU. Training on GPU requires NVIDIA Driver of version 450.xx or higher.完蛋了,我的电脑显卡是AMD,拜拜了您嘞~~~~ 附:NVIDIA和AMD是两家显卡厂商,互为竞争对...原创 2022-04-16 23:28:09 · 1258 阅读 · 0 评论 -
python三种编码OneHotEncoder,LabelEncoder,OrdinalEncoder对比
1.LabelEncoder# LabelEncoder:Encode target labels with value between 0 and n_classes-1# This transformer should be used to encode target values *i.e.* `y`, and not the input `X`.#1.LabelEncoder用来给lable编码(而不是特征),编码后的值为 0 and n_classes-1#2.如果transform的时原创 2022-04-09 22:15:00 · 5570 阅读 · 1 评论 -
python保存对象至本地磁盘pickle和joblib速度对比
太长不看版:半斤八两。测试的文件3.4G:保存至本地和加载回来的时间对比:保存至本地joblib更快一点,加载回来pickle更快一点。本地的文件大小:代码:import _pickle as cPickleimport joblibjoblib.dump(train ,'preprocess/train_joblib.pkl')train_joblib=joblib.load('preprocess/train_joblib.pkl')c...原创 2022-03-19 16:49:48 · 1542 阅读 · 1 评论 -
【anaconda装catboost】不用改镜像
网上百度了好多方法,都是涉及镜像的,不管用。管用的就是:直接用jupyter notebook装!第一步:把乱七八糟的镜像都移除(在promot中输入):conda config --set show_channel_urls yesconda config --remove-key channels成功变成下面这个样子(文件路径: C:\用户\用户名\.condarc):第二步,在jupyter notebook中输入:pip install catboost.原创 2022-03-15 22:05:00 · 1488 阅读 · 0 评论 -
Hyperopt调参,返回值注意事项(坑),为什么num_leaves和max_depth会显示0?Python
关于Hyperopt的使用可以参考以下几篇文章,本文不做解释:(4条消息) Hyperopt入门_浅笑古今的博客-CSDN博客_hyperopt使用 Hyperopt 进行参数调优(译) - 简书 (jianshu.com)本文主要说明一下返回值的坑!调LightGBM的时候:fmin函数↓搜索空间↓坑来了!最终返回结果是这样(仅做示例):{'bagging_fraction': 4, 'feature_fraction': 2, 'max_depth': ..原创 2022-02-22 22:49:15 · 1428 阅读 · 3 评论 -
Python-JupyterLab设置自动匹配(补全)右括号/右引号
如下图设置:效果:输入左括号/引号会自动匹配右括号/引号原创 2022-02-19 21:08:14 · 4978 阅读 · 0 评论 -
Python数据文件导出到本地并导回的代码(cPickle)
import _pickle as cPickle#将data导出到本地,导出的文件名为【第四章data】,文件类型为pklcPickle.dump(data,open("第四章data.pkl","wb"))#将"第四章data.pkl"从本地导回来,导入后的名字是data_importdata_import = cPickle.load(open("第四章data.pkl","rb")) ...原创 2022-02-02 20:31:04 · 1001 阅读 · 0 评论 -
Anaconda安装新的包(如xgboost包)步骤
1.在https://www.lfd.uci.edu/~gohlke/pythonlibs/#xgboost 找到对应包(用ctrl+F搜索)【xgboost-1.5.1-cp38-cp38-win_amd64.whl】2.把上述whl文件下载后,放到Anaconda3安装目录下【D:\ProgramData\Anaconda3\Scripts】(注意改成自己的目录)3.启动Anaconda Prompt4.在Anaconda Prompt输入【cd /d D:\ProgramData\An.原创 2022-02-02 20:26:35 · 2197 阅读 · 0 评论