sklearn&Tensorflow机器学习02 ---用一个完整的项目来进行机器学习入门

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Python全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Python知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024c （备注Python）

正文

3.发现并可视化数据，发现规律

=========================================================================

#数据可视化展示

housing.hist(bins = 50, figsize = (20,15))

plt.show()

#创建测试集，挑20%的实例放在一边

#首先设置随机种子

np.random.seed(42)

def split_train_test(data, test_ratio):

shuffled_indices = np.random.permutation(len(data))

test_set_size = int(len(data) * test_ratio)

test_indices = shuffled_indices[:test_set_size]

train_indices = shuffled_indices[test_set_size:]

return data.iloc[train_indices], data.iloc[test_indices]

train_set, test_set = split_train_test(housing, 0.2)

如果数据集更新，那两个方法都会失效，一个通常的解决方法是使用每个实例的ID来判断

这个实例是否应该放入测试集，（假设每个实例都有唯一并且不变的ID）。例如计算出每个实例

ID的哈希值，只保留其最后一个字节，如果该值小于等于51，就将其放入测试集

import hashlib

def test_set_check(identifier, test_ratio, hash = hashlib.md5):

return hash(np.int64(identifier)).digest()[-1] < 256 * test_ratio

def split_train_test_by_id(data, test_ratio, id_column, hash=hashlib.md5):

ids = data[id_column]

in_test_set = ids.apply(lambda id_:test_set_check(id_, test_ratio, hash))

return data.loc[~in_test_set], data.loc[in_test_set]

housing_with_id = housing.reset_index() #添加索引列，就是index作为新的一列放入矩阵

train_set, train_set = split_train_test_by_id(housing_with_id, 0.2,‘index’)

#本实例没有ID值，行列号可能会因为后来的删减而改变，因此使用地理坐标来作为ID使用

housing_with_id[“id”] = housing[“longitude”] * 1000 + housing[“latitude”]

train_set, test_set = split_train_test_by_id(housing_with_id, 0.2, ‘id’)

test_set.head()

#当然使用sklearn的模块也有直接选取测试集的功能

from sklearn.model_selection import train_test_split

train_set, test_set = train_test_split(housing, test_size = 0.2, random_state = 42)

#收入中位数是预测房价中位数非常重要的属性，所以首先要创建一个收入类别属性，

#再仔细看一下收入中位数的柱状图

housing[‘median_income’].hist()

#将中位数除以1.5（以限制收入分类的数量），创建了一个收入类别属性

#用ceil对值舍入（以产生离散的分类），然后将所有大于5的分类归入到分类5