大数据
春风吹23
这个作者很懒,什么都没留下…
展开
-
Spark学习——使用Spark做CTR预估
赛题信息背景 任务描述:基于用户对广告任务的历史行为和广告任务属性,选择合适的算法预测用户在特定上下文下对某个广告任务的点击概率。 尝试解决的问题:提高广告点击转化率预估的准确性 难点:广告任务相对可推用户数量非常少;有行为的广告任务较少,数据非常稀疏;广告任务在投放周期的不同阶段转化率差异较大;存在误点击噪音数据;有效特征识别困难 数据集 - 训练集很大,采用分割方式进行数据集查看 训练集 [‘label’, ‘uId’, ‘adId’, ‘operTime’, ‘siteId’, ‘slotId’,原创 2020-10-19 21:22:16 · 576 阅读 · 1 评论 -
搭建Spark集群系列之2------搭建环境
1 配置集群我们还要将服务器防火墙关闭,在CentOS中6.5和7版本的命令行是不一样的,由于使用的是CentOS7.6,网上搜了一下命令先将防火墙关闭. CentOS 7.0默认使用的是firewall作为防火墙。 firewall-cmd --state #查看默认防火墙状态(关闭后显示notrunning,开启后显示running) [root@localhost ~]#firew...原创 2019-08-27 16:28:14 · 118 阅读 · 0 评论