【读书笔记】只有浅出没有深入的数据分析(十一 )

上一章讲到我们的算法出了问题，我们现在来看看出了什么问题。

 

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt


df = pd.read_csv('./hfda_data/hfda_ch10_employees.csv')
x = np.linspace(0, 25, 100)


plt.figure(1)
plt.scatter(df[df.negotiated == True].iloc[::, 2],
            df[df.negotiated == True].iloc[::, 1], c='b', s=20, linewidths=0.5, marker='o', edgecolors='black')

plt.plot(x, 0.7*x+2.3, 'r-')

plt.show()

问题是，加薪要求太高的家伙不在模型范围内。

 

“用回归方程预测数据范围以外的数值称为外插法。小心外插法！”

“外插法与内插法有所不同，内插法对数据范围内的点进行预测，这正是回归法的本来目的。内插法很准确，但使用外插法就得小心了。人们随时都在使用外插法。不过，如果打算使用外插法，就需要指定附加假设条件，明确表示不考虑数据集外发生的情况。”

(以上为原书321页，书内有详细介绍)

 

然而就算在模型内也有的人加薪比模型越策的多(也有的少)。

无论你的回归分析是否无可挑剔，都免不了要进行这样那样的预测。这些预测很少不偏不倚，这种实际结果与预测结果之间的偏差叫机会偏差(残差)。对残差的分析是优秀的统计模型的核心。

 

书中这里计算了均方根误差，我们也来计算一下：

import pandas as pd
import numpy as np
import tensorflow as tf

df = pd.read_csv('./hfda_data/hfda_ch10_employees.csv')
x = np.array(df[df.negotiated == True].iloc[::, 2])
y = np.array(df[df.negotiated == True].iloc[::, 1])


sess = tf.Session()
loss = tf.sqrt(tf.reduce_mean(tf.square(x*0.7 + 2.3 - y)))
sess.run(loss)

print(sess.run(loss))

书中结果为2.298，我这里得到的2.306.

原文通过10%为分界线，重新进行了一元线性回归。我们这里也尝试一下：

import pandas as pd
import numpy as np
import tensorflow as tf

df = pd.read_csv('./hfda_data/hfda_ch10_employees.csv')
df1 = df[df.negotiated == True]
df1_greater_than_10 = df1[df1.requested > 10]
df1_less_than_10 = df1[df1.requested <= 10]

x1 = np.array(df1_greater_than_10.iloc[::, 2])[:, np.newaxis]
y1 = np.array(df1_greater_than_10.iloc[::, 1])[:, np.newaxis]

xs1 = tf.placeholder(tf.float32, [None, 1])
ys1 = tf.placeholder(tf.float32, [None, 1])

x2 = np.array(df1_less_than_10.iloc[::, 2])[:, np.newaxis]
y2 = np.array(df1_less_than_10.iloc[::, 2])[:, np.newaxis]

xs2 = tf.placeholder(tf.float32, [None, 1])
ys2 = tf.placeholder(tf.float32, [None, 1])

w1 = tf.Variable(tf.random_normal([1], -1, 1))
w2 = tf.Variable(tf.random_normal([1], -1, 1))
b1 = tf.Variable(tf.zeros([1])+0.1)
b2 = tf.Variable(tf.zeros([1])+0.1)

wx1_b = xs1*w1+b1
wx2_b = xs2*w2+b2

loss1 = tf.reduce_mean(tf.square(ys1 - wx1_b))
loss2 = tf.reduce_mean(tf.square(ys2 - wx2_b))

train_step1 = tf.train.GradientDescentOptimizer(0.001).minimize(loss1)
train_step2 = tf.train.GradientDescentOptimizer(0.001).minimize(loss2)

init = tf.global_variables_initializer()
sess = tf.Session()

sess.run(init)

for i in range(5000):
    sess.run(train_step1, feed_dict={xs1: x1, ys1: y1})
    sess.run(train_step2, feed_dict={xs2: x2, ys2: y2})

    if i % 50 == 0:
        print(i, sess.run(w1), sess.run(b1), '\n', sess.run(w2), sess.run(b2))

书中结果为低于10%为 y=0.9x+0.8， 大于等于10%为y=0.3x+ 7.8

我这里结果为低于10%为 y = 0.968x+0.23 大于等于10%为y = 0.701x+2.44

我们不知道哪个更好，但是我们可以看一下均方根误差。

书中低于10%的均方根误差为1.374526,大于等于10%的均方根误差为4.544424.

import pandas as pd
import numpy as np
import tensorflow as tf

df = pd.read_csv('./hfda_data/hfda_ch10_employees.csv')
df1 = df[df.negotiated == True]
df1_greater_than_10 = df1[df1.requested > 10]
df1_less_than_10 = df1[df1.requested <= 10]

x1 = np.array(df1_greater_than_10.iloc[::, 2])[:, np.newaxis]
y1 = np.array(df1_greater_than_10.iloc[::, 1])[:, np.newaxis]

x2 = np.array(df1_less_than_10.iloc[::, 2])[:, np.newaxis]
y2 = np.array(df1_less_than_10.iloc[::, 2])[:, np.newaxis]

sess = tf.Session()

loss1 = tf.sqrt(tf.reduce_mean(tf.square(0.968*x2 + 0.23 - y2)))
loss2 = tf.sqrt(tf.reduce_mean(tf.square(0.701*x1 + 2.44 - y1)))

sess.run(loss1)
sess.run(loss2)
print(sess.run(loss1), sess.run(loss2))

我这里为了和书中对齐，loss1用的x2的数据，loss2用的x1的数据。

其结果为0.048890 和 4.627598。

在低于10%的时候我们的拟合数据更好，大于等于10%的时候略差于书中的模型。

将梯度下降步骤设计为10000次时，得到的 w1,b1,w2,b2为[0.587371] [3.9849582]  [0.97910285] [0.15232623]。

均方根误差分别为0.03 和 4.573，这里loss1(对应w2,b2)的均方根误差已经很小了。这里我们单独算一下大于等于10%的情况，将训练次数设计为30000次。

最终得到w,b= [0.3731495] [6.865031] 和书中已经近似，计算均方根误差为4.521已低于书中的4.544.

可见用梯度下降来计算回归问题效果还是很好的。