- 博客(10)
- 收藏
- 关注
RSS订阅原创 spark-sql优化，隐式转换造成join倾斜
简化的优化前sql示例：select ***from aleft join b on a.orderid=b.orderidleft join c on a.orderid=c.orderidleft join d on a.orderid=d.orderid;优化前日志记录：运行时长2-3h。InsertIntoHiveTable: Partition `dw**`.`edw_**_detail` {d=2021-08-19} stats: [numFil
2021-08-19 21:22:27
270
原创 idea主菜单消失 intellij-idea main menu disappears（macOS）
找了好多博客试了均无效，浪费很多时间，比如preference>keymap > main menu的方法尤其多。最后再stackoverflow上找到解决办法了，唉～idea-community version 2021.1macOS 10.14按照如下步骤：step1：快捷键shift+shift（或cmd+shift+A)step2：输入 vmoptions, 可以看到idea.vmoptions文件step3：edit文件，末尾添加：-Da...
2021-07-06 19:36:29
741
6
原创 sklearn几种交叉验证的比较
1 sklearn.model_selection.train_test_split()将数据集划分为训练集train和测试集test，再调用score方法在test数据集中评估,默认train : test = 3:1。缺点是数据集只划分一次，具有偶然性.链接: 文档.示例：from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression as lr
2020-06-14 18:02:37
964
原创 哑变量(Dummy Variable)、独热编码(one-hot Encoding)、label-encoding归纳
1 概念当某特征具有k个属性值，那么：哑变量（虚拟变量）—— 具有k-1个二进制特征，基准特征将被忽略独热编——：具有k个特征二进制特征姓名年纪小明童康康青迈克中哑变量/虚拟变量姓名童青小明10康康01迈克00独热编码姓名童青中年小明100康康010迈克0012 优缺点1 哑变量：从k-1个变量推论第k个类别，不太直观，但不冗余；2 独热
2020-06-12 11:37:38
7644
原创 pygame报错:PackagesNotFoundError: The following packages are not available from current channels
conda install pygame时报错,按网上办法，更新conda、anaconda，pip install，conda install -c conda-forge pygame 均行不通。$ conda install pygameCollecting package metadata (current_repodata.json): doneSolving environmen...
2020-05-02 15:40:11
1116
原创 各版本python环境管理
1 创建环境# apple @ qinwanhe in ~ [13:46:26]$ conda create -n python3.5_env 【或者指定python版本 conda create -n snakes python=３.7】Collecting package metadata (current_repodata.json): doneSolving environme...
2020-05-02 15:10:44
259
原创 python安装&启动路径梳理
一 解释器路径1 系统自带python解释器路径#app @ user1 in /System/Library/Frameworks/Python.framework/Versions [23:02:58] C:1$ pwd/System/Library/Frameworks/Python.framework/Versions#app @ user1 in /System/Librar...
2020-05-02 00:07:25
475
原创 jupyter notebook 代码自动补全解决
首次操作报错：1.安装nbextensions》pip install --user jupyter_contrib_nbextensions -i https://pypi.mirrors.ustc.edu.cn/simple》jupyter contrib nbextension install --user此步骤报错：jupyter contrib nbextension in...
2020-04-12 13:14:34
1782
原创 conda update/install报错：The environment is inconsistent, please check the package plan carefully
背景：conda update conda,conda install anacondat 均报错报错：WARNING conda.base.context:use_only_tar_bz2(632): Conda is constrained to only using theold .tar.bz2 file format because you have conda-build ins...
2020-04-11 20:21:12
3308
原创 zsh: command not found: brew
当前用户配置环境变量1 > cd ~2 > vim bash_profile加入路径：export PATH=/usr/local/bin:/usr/local/mysql/bin:$PATH或者执行命令 > /usr/local/bin/brew list3 文件生效 >source bash_profile...
2020-03-31 21:09:07
10814
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人