- 博客(7)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Linux下运行带有Spark依赖的Python脚本
在Python中，你可以把应用写成Python脚本，但是需要使用Spark自带的bin/spark-submit脚本来运行。spark-submit脚本会帮我们引入Python程序的Spark依赖。这个脚本为Spark的PythonAPI配置好了运行环境。首先找到spark的安装目录，一般在Linux下，会将第三方软件安装到/opt目录下面。然后运行下述指令：/opt/spark/b...
2018-07-25 16:37:50
1537
原创 Ubuntu下使用Linux服务器常见操作
进入服务器 ssh username@ip_address输入密码后进入 退出服务器 快捷键：Ctrl + D 将本地文件上传到远程服务器(scp) 在本地终端进行操作，注意不是在服务器上操作。scp -r /home/username/Documents/localfile.txt username@ip_address:/home/username/...
2018-07-25 12:12:15
454
原创 预测模型结果校准——前言
对于正负样本十分不均衡的问题，通常先进性负采样，然后再对模型进行校准，可参阅文献[1]，博客中介绍了Prior Correction 和 Weighting方法。 利用分bin的方法，通过统计训练数据的CTR，对预测的CTR进行校准，建立预测CTR到校准后CTR的映射函数，比如Bining方法。 根据已有的先验知识，以预估值作为变量，观测值作为目标，用回归算法拟合参数。比如Plattin...
2018-07-17 16:05:58
1727
原创 预测模型结果校准——Bining
预测模型结果校准——Bining文献[2]中，将训练集中样本按估计值降序排序，均分成k等分；对于落在某个bin里的新样本，属于某个class的概率等于这个bin中这个class的实例所占的比例。[1] 文献[3]中，(1) 将logistic regression模型的输出结果划分成n个等长的bin，使得，定义了第i个bin的区间范围。对于第i个bin的校准值通过下式获得：即计...
2018-07-17 16:04:49
7021
原创 模型预测结果校准——参数拟合分布
模型预测结果校准——参数拟合分布以预估值作为变量，观测值作为目标，用回归算法拟合参数。（use a calibration layer to match predicted CTRs to observed click{through rates）。Platt Scaling tric approach）， 使用LR模型（sigmoid函数）对模型的输出值进行拟合，将模型的原始输出值映射为...
2018-07-17 16:02:32
4795
原创 模型预测结果校准——Isotonic regression
模型预测结果校准——Isotonic regression 方法简介：Isotonic Regression: the method used by Zadrozny and Elkan (2002; 2001) to calibrate predictions from boosted naive bayes, SVM, and decision tree models.[1]Za...
2018-07-16 18:48:13
13706
原创 模型预测结果校准——Platt Scaling
模型预测结果校准——Platt Scaling方法简介：Platt scaling is a method for transforming SVM outputs from to posterior probabilities (Platt, 1999). [1]Platt (1999) proposed transforming SVM predictions to poster...
2018-07-16 18:45:58
4459
Understand-5.0.948-Windows-64bit.exe
2020-07-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人