机器学习-Kaggle竞赛-Titanic

1912.04.15 泰坦尼克号沉没，成为人类历史上重大海难事件之一。
……
没有足够的救生船，以及部分船没有载满就离开了。导致了大量的游客遇难。
根据幸存者的信息，试图寻找哪些人更容易逃生~~

信息解读

train.csv test.csv
首先下载2个数据文件。

• PassengerId//游客id
• Survived//1幸存
• Pclass//1 2 3 表示社会地位
• Name//姓名
• Sex//性别
• Age//年龄
• SibSp//同船上的兄弟、姐妹数量
• Parch//父母 子女数量
• Ticket//船票号码
• Fare//花费金额
• Cabin//船舱号码
• Embarked//S C Q 上船地点

特征工程

这里的数据有很多是缺失的，比如Age、Fare，用其他游客的平均值来填充。不过是按照 Pclass 分开来填充。这些操作是在excel中完成的。
首先我们假设这里影响逃生的因素有，Pclass,Sex,Age,SibSp,Parch,Fare.
对这些字段进行归一化处理~

def Sex(sex):
    if sex == 'male':
        return -1
    return 1
def Age(age):
    if float(age)<15:
        return 1
    elif float(age)<35:
        return 2
    elif float(age)<60:
        return 3
    else:
        return 4
def Fare(fare):
    if fare == '':
        return 2
    if float(fare)<10:
        return 1
    elif float(fare)<20:
        return 2
    elif float(fare)<30:
        return 3
    else:
        return 4

对于这里的SibSp,Parch，累加在一起作为新的 FamilySize字段。

Logistic regression(逻辑回归)

尝试使用逻辑回归算法预测~~
code

def preprocess(data,istest=False):#数据预处理
    dat = np.mat(data)
    dat = np.delete(dat,0,0)#delete head line
    for i in range(len(dat)):
        if dat[i,5] == '':
            dat[i,5]=0
    tt=dat[:,5].astype(float)
    surval=''    
    if istest:
        surval=''
    else:
        surval = dat[:,1].astype(int).transpose().tolist()[0]
    #surval = list(dat[:,1].astype(int))
    avrage=tt[np.nonzero(tt)].mean()
    #avrage = dat[:,5][np.nonzero(dat[:,5])].astype(float).mean()
    ret = np.zeros((dat.shape[0],6))
    for i in range(len(dat)):
        ret[i,0]=dat[i,2].astype(int)#Pclass
        ret[i,1]=Sex(dat[i,4])#Sex
        age = dat[i,5]
        if age =='':
            ret[i,2]=Age(avrage)
        else:
            ret[i,2]=Age(age)
        ret[i,3]=FamilyCount(float(dat[i,6])+float(dat[i,7]))
        ret[i,4]=Fare(dat[i,9])
        if Sympol_id(dat[i,3]):
            ret[i,5]=1
    return ret,surval

def sigmod(x):
    return 1/(1+exp(-x))

def classfy0(datamat,weight):
    if sigmod(datamat*weight)>0.5:
        return True
    return False

def stocalcgrand(dataMatin,labelMatin):
    m,n=np.shape(dataMatin)
    alpha=0.01
    weight=np.ones(n)
    for i in range(m):
        h=sigmod(sum(dataMatin[i]*weight))
        error=labelMatin[i]-h
        weight=weight+alpha*error*dataMatin[i]
    return weight

def testlogre():
    dat=loadcsv('train.csv')
    ret,surval=preprocess(dat)
    we=stocalcgrand(ret,surval)
    test=loadcsv('test.csv')
    testret,surval=preprocess(test,True)
    testret=np.mat(testret)
    we=np.mat(we).transpose()
    for i in range(len(testret)):
        if classfy0(testret[i],we):
            print '1'
        else:
            print '0'

这么小段代码改了好几遍。从0.73684到0.77990~每次提升一点点都好难~。不过这个成绩并不理想~

优化

网上看到有人把名字信息也用起来了，因为名字里有很多的称号，比如 爵位，军衔等。(titanic-getting-started-with-r-part-4-feature)
提取名字信息代码：

def splitname(data):
    ret={}
    for v in data:
        tmp=re.split('[,.]',v)#第一个",."之后就是称号了
        if len(tmp)<2:
            continue
        key=tmp[1].strip()
        ret[key]=ret.get(key,0)+1
    print ret

这里能看到有很多的称呼，但是哪些称呼表示地位显赫，更能逃生呢，这个就要一个一个来看，好在特殊的称号不多，大多是Mr.Mrs。。。
我这里选取了部分称号，认为地位显赫~~~~

def Sympol_id(name):
    ret={'Sir': 1, 'Major': 2, 'the Countess': 1, 'Mlle': 2, 'Capt':1, 'Dr': 7, 'Lady': 1, 'Master': 40, 'Mme': 1,}
    tmp=re.split('[,.]',name)
    if len(tmp)<2:
        return False
    key=tmp[1].strip()
    if ret.has_key(key):
        return True
    return False

Sir：爵士
the Countess：伯爵夫人
Dr:博士，医生
…
那么添加这么一个特征之后，确实提升了一点点
0.77990–>0.78469
人肉看到了下，修正了2个值~~ 不容易啊。
大家如果有更好的特征处理，算法优化建议，可以留言一起学习下~~ -.-

参考

https://www.kaggle.com/c/titanic
http://trevorstephens.com/post/73461351896/titanic-getting-started-with-r-part-4-feature