fioccy-CSDN博客

原创《Hands-On Machine Learning》学习笔记-2.3 获取数据

端到端机器学习项目获取数据下载数据可以直接使用浏览器下载数据文件，然后解压出其中的CSV文件，但是更好的办法是写一个函数来实现它，特别是当数据会变化的时候，使用函数的形式能够随时随地获取最新的数据。import pdb# pdb.set_trace()import osimport tarfilefrom six.moves import urllibDOWNLOAD_ROO...

2019-09-17 09:40:45 431 1

原创《Hands-On Machine Learning》学习笔记-2.1 玩真的

端到端机器学习项目本章，你将扮演一个新入职的房地产行业的数据分析专家，完成一个端到端的项目。主要的步骤有：对问题进行宏观的分析获取数据观察、发现数据中的细节为机器学习算法准备数据选择并训练一个模型微调模型提交解决方案上线、监测和维护系统玩真的搞机器学习，最好使用真实的数据。幸运的是，有数千个开放的数据库可供我们选择，涵盖了各行各业。本章我们选择加州的房价数据库作为练习数据...

2019-09-13 22:54:38 287

原创《Hands-On Machine Learning》学习笔记-2.2 对问题进行宏观的分析

端到端机器学习项目对问题进行宏观的分析欢迎来到机器学习房地产公司。你的第一个任务是基于加州人口普查的数据建立一个加州房价的模型。这些数据内容包含有加州每个街区的人口、收入中位数、房价中位数等等。要求你的模型能够学习这些数据并在给定其他数据内容的情况下，预测任何一个街区的房价中位数。限定问题的边界第一个要提出的问题就是这件事的最终目标是什么，显然单纯构建一个模型并不是最终的目标，公司准备如何...

2019-09-13 22:53:02 186

原创《Hands-On Machine Learning》学习笔记-1.4 机器学习面临的挑战

机器学习概述机器学习的主要挑战简单来说，机器学习的主要任务就是挑选一个算法，并在数据集上训练它。因此，就有两个方面主要的问题：坏数据和坏算法。训练数据数量不够要教一个幼儿学习什么是苹果，你只需要指着一个苹果说“这是苹果”，多重复几次，小孩子就能认出各种各样苹果了，但是机器学习不是这样的，大多数机器学习算法要想正常工作，都需要大量的数据。即使对于非常简单的问题，往往也需要上千组数据，对于一些...

2019-09-11 22:22:41 394

原创从头实现一个神经网络

从头实现一个神经网络神经网络其实就是把多个神经元连在一起，形成一个网络。上一层神经元的输出作为下一层神经元的输入。下图就是一个神经网络示意图，红色和蓝色的节点就是神经元，这是一个简单的神经网络，复杂的网络无非就是输入多一些，隐层多一些而已，本质上还是这样的。1.神经元神经元是神经网络的基本单元，一个神经元可以理解为对所有的输入值(x)(x)(x)加权(w)(w)(w)，然后相加，再加上偏...

2019-09-06 22:34:00 554

原创《Hands-On Machine Learning》学习笔记-1.3 机器学习的类型

机器学习概述机器学习的类型基于以下角度，可以把机器学习分为不同的类型，进而进行更细致的分类：训练过程中是否有人工的监督（有监督学习，无监督学习，半监督学习，强化学习）能否即时的持续学习（在线学习VS批量学习）工作方式是简单的比较新数据点和已知数据点，还是检测训练集中的模型进而建立起预测模型（基于例子的学习VS基于模型的学习）这些分类不是互斥的，你可以任意组合。例如，一个垃圾邮件和正...

2019-09-01 22:45:48 370

原创《Hands-On Machine Learning》学习笔记-1.2 为什么要使用机器学习

第一章机器学习概述为什么要使用机器学习思考一下，如果使用传统的软件编程技术，该如何编写一个垃圾邮件过滤器？：首先你需要观察典型的垃圾邮件都有哪些特征。也许你会注意到，一些特定的单词或者短语在标题中出现的较多。或者你还会在发件人，邮件内容中发现的一些特定的模式。你要写一个检测算法，对你所发现的所有特征一一检验，如果在邮件中检验到了一定数量的特性，则会把它标记为垃圾邮件。你还需...

2019-08-31 19:26:29 228

原创《Hands-On Machine Learning》学习笔记-1.1 什么是机器学习

第一章机器学习概述当大多数人听到“机器学习“的字眼时，他们往往会想到机器人：一个可靠的管家，或者致命的终结者，这取决于你问谁。但是机器学习不仅仅是科幻，它已经真实存在。事实上，在一些特定的应用中，它已经存在了几十年了，比如OCR(光学字符识别)。但是第一个真正成为主流的，改变成千上万人生活的机器学习应用可以追溯到20世纪90年代：即垃圾邮件过滤。尽管它不是一个有着自我意识的天网程序，但是从技术...

2019-08-31 17:39:51 497

原创 20190830—个人一周学习回顾

20190830—个人一周学习回顾所学内容《Python机器学习》第一章《Hands-On ML 》第二章Jupyter Notebook使用MarkDown语法交流提纲《Hands-On ML 》这本书相比较《Python机器学习》更加适合我们现在入门，它是从一个实际工程的角度出发，假设你本人就是一个数据分析人员，带领你一步步的去解决实际问题，角色代入效果好，而且书中英文较...

2019-08-30 22:09:09 265

转载如何理解深度学习中的End to End

End to end：指的是输入原始数据，输出的是最后结果，应用在特征学习融入算法，无需单独处理。end-to-end（端对端）的方法，一端输入我的原始数据，一端输出我想得到的结果。只关心输入和输出，中间的步骤全部都不管。　　端到端指的是输入是原始数据，输出是最后的结果，原来输入端不是直接的原始数据，而是在原始数据中提取的特征，这一点在图像问题上尤为突出，因为图像像素数太多，数据维度高，会...

2019-08-27 21:35:00 370

原创 Python之lambda语句

引子：在《Python CookBook》一书的1.4章节中出现了一下代码：portfolio = [{'name': 'IBM', 'shares': 100, 'price': 91.1},{'name': 'AAPL', 'shares': 50, 'price': 543.22},{'name': 'FB', 'shares': 200, 'price': 21.09},{'...

2019-08-25 20:50:48 813

原创 Python之yield

yield语句用于生成一个迭代器。函数中使用了yield之后，函数就不再是函数了，而是一个生成器，生成一个迭代器。迭代器的特点就是每次运行时，运行到yield语句处就停下来了，下次再调用的时候，从yield语句处往下继续执行。以生成斐波那契数列的函数fab为例，进行解释。传统函数实现的源码如下：#!/usr/bin/python# -*- coding: UTF-8 -*-...

2019-08-25 11:38:51 117

原创 Chap1 数据结构和算法

Chap1 数据结构和算法1.1解压序列赋值给多个变量1.2解压可迭代对象赋值给多个变量新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart...

2019-08-25 11:01:38 539

原创 python学习笔记--字符串str相关

字符串类型使用双引号“ ”或者单引号‘ ’定义常用字符串函数：len()：字符串长度，包含的字符的个数，语法len("abc")upper()：转化为小写，语法"Abc".upper()lower()：转化为大写，语法“Abc”.lower()str()：把一个非字符串变量转化为字符串类型，语法str(123) 注意区别，upper和lower函数使

2016-05-12 22:35:00 261

原创 python学习笔记-语法

python特殊语法：两个**表示幂10 ** 2表示10的2次方python是一种动态语言，即在定义变量时，不需要像C语言那样实现声明变量的类型，变量可以是任何类型，因此在python中，使用变量不需要事先定义，随用随定义

2016-05-12 22:12:16 200

fioccy的专栏