工作

1.工具：阿里云，Hue, Xshell6, gitGUI,DataStudio
python name.py
create table if not exists name_table();
insert overwrite table name_table
ps -aux | grep hadoop
hadoop fs -get /data/other/feature.txt 获取文件到当前位置
hadoop fs -put ./test.txt /test 上传文件到指定路径

实时查看任务及时间top
查看进程 ps -aux | grep python
查看内存free -g

Git简单生成公钥和私钥的方法
1、打开git bash
2、执行生成公钥和私钥的命令：ssh-keygen -t rsa 并按回车3下（为什么按三下，是因为有提示你是否需要设置密码，如果设置了每次使用Git都会用到密码，一般都是直接不写为空，直接回车就好了）。会在一个文件夹里面生成一个私钥 id_rsa和一个公钥id_rsa.pub。（可执行start ~ 命令，生成的公私钥在 .ssh的文件夹里面）

3、执行查看公钥的命令：cat ~/.ssh/id_rsa.pub

上传文件到服务器
我们常常需要将本地文件上传到Linux主机上，这里简单记录下使用Xsheel工具进行文件传输

1：首先连接上一台Linux主机
2：输入rz命令，看是否已经安装了lrzsz，如果没有安装则执行 yum -y install lrzsz命令进行安装。
3：安装成功后，输入rpm命令确认是否正确安装
4： 使用 rz -y命令进行文件上传，此时会弹出上传的窗口

使用IntelliJ IDEA 上传本地代码到gitlab

传送门：https://www.cnblogs.com/pinard/p/9220199.html
使用PMML把python模型用java线上部署， 要注意pmml版本与java版本是否一致

模型保存pmml

sklearn2pmml.sklearn2pmml(pipeline, r'/opt/bigdata_model_jar/Xgb_model.pmml.xml')

XGBoost特征重要性：

import xgboost as xgb

train_data = xgb.DMatrix(data, label=label)
params = {‘max_depth’: 3}
bst = xgb.train(params, train_data, num_boost_round=1)

for importance_type in (‘weight’, ‘gain’, ‘cover’, ‘total_gain’, ‘total_cover’):
print(’%s: ’ % importance_type, bst.get_score(importance_type=importance_type))

特征交叉

PolynomialFeatures
这个类可以进行特征的构造，构造的方式就是特征与特征相乘（自己与自己，自己与其他人），这种方式叫做使用多项式的方式。
例如：有 a、b 两个特征，那么它的 2 次多项式的次数为 [1,a,b,a2,ab,b2]
PolynomialFeatures 这个类有 3 个参数：

1.degree：控制多项式的次数；
2.interaction_only：默认为 False，如果指定为 True，那么就不会有特征自己和自己结合的项，组合的特征中没有 a2 和 b2；
3.include_bias：默认为 True 。如果为 True 的话，那么结果中就会有 0 次幂项，即全为 1 这一列。


注意：使用PMMLPipeline 模型调参时，参数设置前要加上模型名__