gaotihong的博客

原创 第1章 机器学习概览

第一个机器学习实例：垃圾邮件分类器。什么是机器学习：有任务，为了完成任务需要有经验和指标。经验从训练数据中获取。指标用于衡量任务完成的怎么样。为什么要使用ML:传统的算法其实是规则，很难维护。 但是机器学习，可能会揭示出人类未曾意识到的关联型，帮助我们理解问题。 引出：数据挖掘：应用机器学习技术挖掘海量数据，发现并非立见...

原创 插播一：数据对范数的影响

机器学习指标：是要选RMSE，还是选择MAE呢。RMSE为2范数，MAE为1范数。范数越高，则越关注越大的价值，忽视小的价值。因此RMSE比MAE，对异常值更加敏感。但是，当异常值较少时，RMSE的表现会好一些。以下为我自己的测试范数。以下为只有20个数据中只有一个异常值：以下为20个数据中有10个异常值：限制到【0,400】便于观察：...

原创 第二章 端到端的机器学习项目——最全的房价预测案例

学会了使用自动目录，这个可以美美的了。目录1.前置知识1.1使用真实数据1.2观察大局1.3框架问题1.4 选择性能指标1.5检查假设2.获取数据2.1创建工作区2.2下载数据2.3分析数据2.3.1统计学的角度分析——head/info/value_counts/describe2.3.2图形的角度分析——直方图对2.4创建测试集——引入分...

原创 第七章 数据清洗与准备

根据惯例，来个目录：1.处理缺失值pandas对象的所有描述统计信息默认情况下是排除缺失值的。1.1缺失值的表现及检测1.2过滤缺失值1.3补全缺失值2.数据转换——数据的过滤、清洗、及其其他转换2.1删除重复值2.2使用函数或映射进行数转2.3替代值fillna填充缺失值，是通用值替换的特殊案例；map可以用来修改一下对象中的子集；2.4重命名轴索引...

原创 第九章 绘图与可视化

根据惯例，写个目录：1.matplotlib入门1.1图片和子图1.2调整子图周围的间距1.3颜色、标记、线类型1.4刻度、标签、图例1.5注释和子图加工1.6保存图像2.seabon——这个很好，但是本文侧重于还在直接用pandas直接的绘图函数2.1折现图2.2柱状图2.3直方图及密度图2.4散点图2.5 分面网格和分类数据——没有看懂...

原创 第六章 数据载入、存储及文件格式

按照惯例，搞个目录哈：0.写文件1.读文件1.1分层索引1.2读文本1.3好用的参数1.4缺失值的处理2.读文本.21分块读入文本2.2写文本格式2.3使用分隔符2.4json2.5html2.6xml3.二进制格式python内建的pickle序列化模块进行二进制格式操作是存储数据最高校的方式之一。3.1写数据——pickle3...

原创 第五章 pandasru入门

给个目录本文主要介绍series和datepandas1.series——是一维的数组型数据，包含一个值序列和数据标签（索引index）。默认的生成索引为0-（n-1）1.1创建索引——列表、字典1.2属性——value/index1.3数组过滤——布尔1.4数学运算1.5当做map1.6缺省值检测——isnull/notnull1.7属性——name...

原创 第四章练习题——随机漫步（random walk）

原创 第四章 Numpy基础：数组与向量化

还是惯例，搞个目录：1.多维数组对象——ndarray重点：进行批量计算。1.1包含的属性：shape dtype ndim1.2创建：list（一维数组、二维数组）、zeros、ones、full-like、arange1.3数据类型——dtype、astypedtype是numpy与其他系统数据进行交互的原因。1.3数组运算——可以进行批量运算——基础运...

原创 第三章 内建数据结构、函数与文件

搞个目录：1.元组1.1创建1.2连接——+、*1.3拆包——数据交换、函数的返回值为元组，进行了拆包1.4方法——count。是什么功能2.列表2.1创建2.2增加、删除-insert、append、pop、remove2.3是否在列表中——in2.4连接列表——+2.5排序——sort2.6切片-步进值位于双冒号后面2.7内建函数——e...

原创 第二章 python语言、Ipython、Jupyter notebook

搞个目录：1.Tab补全。2.内省 ——用来查询函数的用法，或检索函数（变量+？）-想想检索命令怎么做？查看函数源码怎么做？3.魔术命令（%开头）——怎么运行脚本，怎么计算时间、获取路径等4.浅拷贝5.强类型（type,isinstance）_所有的对象都拥有一个指定的类型。-但是类型之间可以相互转换6.鸭子类型7.二元运算的比较——is 和 == 的区别8.可变对...