qq_35000538的博客

原创 conda创建环境/安装包报错网络问题

命令行中运行：conda config --show-sources，则显示.condarc的路径为“/Users/xx/.condarc”

原创 HiveSql抽样

hivesql抽样

原创 hivesql-通过array/map创建临时表

原创 统计各数据集上的坏占比

'''dataframe的groupby:单列聚合:agg多列聚合:apply'''df.groupby(['dataSet']).target.agg([('样本量','count'),('坏样本量','sum'),('坏占比',lambda t:t.sum()/t.shape[0])])

原创 conda vs pip

anaconda官网关于conda&pip的介绍conda install和pip install区别知乎讨论1. 结论conda ≈ pip（python包管理） + virtualenv（能够创建虚拟环境） + 非python依赖包管理2. conda 和 pip 的区别表类目condapip管理二进制文件(二进制文件是提前编译好的)轮子(wheel)或源文件repo(拉取数据的包管理仓库)anaconda，包数量远少于PyPIPyPI，一些包会

转载 python列表元素计数

python列表元素计数

转载 python的coding小技巧之内置高阶函数

转载：Python高阶函数函数名功能输入输出map对序列中的各元素按照某个相同规则处理函数，序列迭代器filter对序列中的各元素按照某个规则过滤函数，序列迭代器reduce对序列中的各元素按照某个规则作累计函数，序列单个值''' map '''num=[1,2,3,4,5]def square(x): return x**2#map函数模拟def map_test(func,iter): num_1=[] for

原创 mac term2连接远程服务器

方案一 直接终端采用ssh指令连接服务器，每次连接均需要输入密码# 终端ssh指令连接服务器ssh -p port user@hostuser@host's password:方案二 配置iterm2的profilestep1. 在终端任意指定一个路径，新建一个.sh文件vim iterm2_login.sh在该文件中填写以下内容#!/usr/bin/expectset PORT &&&set HOST &&&set USER

原创 mac安装tensorflow+jupyter notebook配置指定解释器虚拟环境

一. 安装tensorflowstep1. 安装anaconda3step2. 创建并激活虚拟环境conda create -n tf2py36 python=3.6 conda activate tf2py36step3. 安装tensorflowpip3 install tensorflow==2.3.1 -i https://mirrors.aliyun.com/pypi/simple/二. 终端启动jputer notebook1. 安装ipykernelpip3 instal

转载 json中load和loads区别

json中load和loads区别

原创 shap安装记录

环境准备：windows10python3.7step1. 直接在python命令行输入pip install shap ## 安装python报错1：解决1： 将python切换为python3.6即可(可重建一个python3.6的虚拟环境)step2. 在pycharm中运行脚本import xgboostimport shap# 训练一个XGBoost 模型 X, y = shap.datasets.boston() model = xgboost.train(

原创 mac安装labelme

mac安装labelmelabelme github地址：labelmestep1. 安装anaconda（这一步网上很多教程，记得添加环境变量就好啦～）step2. 创建一个python虚拟环境conda create -n labelme_py3 python=3.6.10 ###创建名为labelme_py3，编辑器为python3.6.10的python虚拟环境step3. 激活python虚拟环境conda activate labelme_py3 step4. 安装labe

原创 python 列表表达式

python 列表表达式l1=[0, 1, 2, 3, 4, 5]l2=[i+1 for i in l1] ## 将l1中每个元素都加1l3=[i/0.5 if i%2==0 else i*100 for i,v in enumerate(l1)] ## 将l1中偶数索引的数字除以2，奇数索引的数字乘100print(l1) # [0, 1, 2, 3, 4, 5]print(l2...

原创 python环境安装包CondaHTTPError

问题python环境安装包时出现网络报错：CondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://mirrors.tuna.edu.cn/anaconda/pkgs/free…分析可能是未添加镜像源或镜像源失效不能用解决找到“C:\Users\san_zhang.condarc”，打开后修改：将“-default...

原创 pd.qcut()怎样返回切分点？

原创 Image.Draw模块报错

问题： 在执行ImageDraw()的multiline_text()时出现报错draw = ImageDraw.Draw(target)draw.multiline_text(self.text_loc[col], multi_text, fill=(font_color, font_color, font_color), font=self.font, spacing=4, align=...

原创 python第三方库手动安装链接

https://www.lfd.uci.edu/~gohlke/pythonlibs/

原创 python 安装 opencv

step1. 利用anaconda创建虚拟环境# 根据所需的Python版本创建虚拟环境conda create -n py2 python=2.7 ### 创建解释器为python2.7，环境名为py2的虚拟环境conda create -n py3 python=3.7 ### 创建解释器为python3.7，环境名为py3的虚拟环境step2. 激活虚拟环境...

原创 PermissionError: [Errno 1] Operation not permitted: '../middle_result/df_cleaned.csv'

PermissionError: [Errno 1] Operation not permitted: '../middle_result/df_cleaned.csv'问题排查解决问题spyder中的ipython console运行脚本，执行pd.read_csv()时出现报错：PermissionError: [Errno 1] Operation not permitted: ‘…/...

原创 Qcut Pandas : ValueError: Bin edges must be unique

Qcut Pandas : ValueError: Bin edges must be unique报错：在使用qcut进行等频分箱时，报错**“Qcut Pandas : ValueError: Bin edges must be unique”原因：qcut按照等频方式分箱，且要求分位点处的取值唯一。当有多个元素有相同的分位点处取值时，就会报错解决：添加.rank(method=‘...

原创 AttributeError: module 'torch.nn' has no attribute 'ModuleDict'

1. 报错在安装pytorch后跑代码，遇到报错：AttributeError: module ‘torch.nn’ has no attribute ‘ModuleDict’2. 查找原因按照提示查看 torch.nn接口文档，发现原来版本的pytorch中的确没有这个模块，二0.4.0版本的pytorch中的torch.nn接口有ModuleDict模块0.4.0文档链接：https...

原创 微众联邦学习FATE单机版开发笔记

微众联邦学习FATE开源框架单机版开发笔记微众FATE项目地址：https://github.com/FederatedAI/FATE一、FATE安装(单机版)FATE的单机版安装包括docker版本和手动安装两种方法，官方推荐为docker方法安装，下面介绍其具体安装方法：1.依赖环境：要求：jdk1.8+、Python3.6、python virtualenv、redis-5.0....