A/Btest小项目实操

一、项目简介

1.背景介绍

A/B测试应用场景：在网站和APP的设计、产品的运营中，经常会面临多个设计/运营方案的选择。小到按钮的位置、文案的内容、主题的颜色，再到注册表单的设计、不同的运营方案，都有不同的选择。A/B test可以帮助我们做出选择，消除客户体验（UX）设计中不同意见的争执。

A/B测试原理：类似于初中生物说的对照试验。对用户分组，每个组使用一个方案（方案应遵从单变量前提），在相同的时间维度上去观察用户的反应（体现在业务数据和用户体验数据上）。需要注意的是各个用户群组的组成成分应当尽量相似，譬如新老用户很有可能表现出较大的偏好差异。最后根据假设检验的结果，判断哪些版本较之原版有统计意义上的差异，并根据效应量选出其中表现最好的版本。

本项目背景：以支付宝营销活动为例，通过广告点击率指标比较两组营销策略的广告投放效果

2.数据集来源

数据集来源于阿里云天池：数据集-阿里云天池

3.数据集介绍

数据集包含三张表：

• emb_tb_2.csv: 用户特征数据集
• effect_tb.csv: 广告点击情况数据集
• seed_cand_tb.csv: 用户类型数据集

主要使用广告点击情况数据，字段如下：

• dmp_id：营销策略编号（1：对照组，2：营销策略一，3：营销策略二）
• user_id：支付宝用户ID
• label：用户当天是否点击活动广告（0：未点击，1：点击）

二、数据清洗和处理

1.数据清洗

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

%matplotlib inline

导入数据

data=pd.read_csv('effect_tb.csv',header=N