大数据应用导论
大数据应用导论
不温卜火
大数据开发/数据采集/数据清洗/数据分析/数据可视化
关注我!共同学习!!!
展开
-
大数据应用导论 Chapter05 | 数据可视化
本篇博文简单介绍大数据应用的流程中数据可视化的各种工具和使用方法。Chapter05 | 数据可视化一、可视化概述二、Matplotlib可视化1、Matplotlib基本介绍2、Matplotlib基本图表函数2.1、正弦图像1、简单的正弦图像2、加上坐标轴名称和刻度3、在一个图中画多条线4、实线变虚线5、一界多图2.2、其他图像1、散点图2、柱形图3、箱线图4、饼图2.3、拓展包三、Se...原创 2020-03-28 09:15:57 · 5103 阅读 · 22 评论 -
大数据应用导论 Chapter04 | 大数据分析
本篇博文介绍大数据分析的常用方法——机器学习的概念、常用算法以及相关Python库的使用。Chapter04 | 大数据分析一、数据分析介绍1、机器学习发展历程2、机器学习的分类2.1、有监督学习(supervised learning)2.2、无监督学习(unsupervised learning)2.3、强化学习(reinforcement learning)3、机器学习的基本概念和流程...原创 2020-03-27 08:55:48 · 5842 阅读 · 21 评论 -
大数据应用导论 Chapter03 | 大数据的存储与管理
本篇博文介绍大数据应用的流程中数据存储与管理的不同工具和各自的应用场景。Chapter03 | 大数据的存储与管理一、数据管理与存储概述1、数据存储技术的发展1.1、关系型数据库和非关系型数据库1.2、分布式文件系统(GFS和HDFS)二、关系型数据库1、目前主流关系型数据库2、MySQL的python接口创建3、MySQL查询4、MySQL案例演示三、非关系型数据库1、MongoDB简介2...原创 2020-03-26 08:55:21 · 7262 阅读 · 20 评论 -
大数据应用导论 Chapter02 | 大数据的采集与清洗
Chapter2 | 大数据的采集与清洗一、数据采集的方法1、传感器1.1、传感器主要应用1.2、传感器的功能2、日志系统3、网络爬虫3.1、爬虫的作用3.2、爬虫的分类3.3、爬虫的框架二、数据采集的工具1、日志系统 Flume1.1、工作机制1.2、应用场景2、日志系统 Kafka2.1、应用场景2.2、工作机制3、日志系统 Chukwa3.1、Chukwa的架构3.2、各个日志系统的对比4、...原创 2020-03-25 09:15:07 · 6524 阅读 · 24 评论 -
大数据应用导论 Chapter1 | 大数据技术与应用概述
读者们可以通过此博客初步了解大数据技术的整体框架和使用流程,让读者们更加直观的感受到大数据的魅力。Chapter1 | 大数据技术与应用概述1、大数据的概念1、什么是Big Data?2、大数据的五大特征2、大数据的历史发展1、物联网(Internet of things)2、云计算(Cloud computing)3、云平台(Cloud Platform)4、云计算的关键技术5、大数据、云...原创 2020-03-24 08:50:00 · 7773 阅读 · 25 评论