weixin_61378281的博客

数据库-存取数据的仓库文件也可以存取数据，比如Excel文件（可存约100万条数据），但是当数据量特别大时，Excel的操作就会变得非常慢（另外数据共享也不是非常方便），仅限于做一些简单数据分析、数据可视化的数据来源。数据的仓库，数据库就在这个时候开始发挥更大的作用。SQL是一种有特殊目的的编程语言，用于结构化数据库的查询和程序设计。可实现对数据的增删改查。由IBM研发。MySQL数据库是一个轻量的数据库管理工具，后续会使用SQL语句进行单表和多表查询，这是SQL语句的重点。

pd.read_sql_query（“show database”,con） # 查看数据表数目pd.read_sql_table(“表名”,con) # 查看数据详情表存取位数据库。

在数据挖掘过程中，数据预处理工作占到了整个过程的60%时，而其中数据清洗环节就是第一步，清洗时对缺失值的处理有删除记录、数据插补和不处理三类。拉格朗日插值法是比较常用的一种插值法，我们使用scipy内置lagrange函数进行插值。

MySQL 是最流行的关系型数据库管理系统，在 WEB 应用方面 MySQL 是最好的 RDBMS(Relational Database Management System：关系数据库管理系统)应用软件之一。本文需要读者拥有SQL功底和Python第三方模块使用的知识。

Excel作为传统的数据分析软件，在当今仍具有举足轻重的地位，而学习Python处理Excel的模块，实现自动化过程，不仅可以实现自动化办公，也可以挺高数据分析的效率。Python处理Excel表格有众多模块，但是总体而言，个人最中意xlwings 、openpyxl；由于Excel处理的细节比较复杂，个人没有能力单独创作，找到了博客网上的两篇宝藏教程，在此与大家分享。

是一个用于数学、科学、工程领域的常用软件包，可以处理插值、积分、优化、图像处理、常微分方程数值解的求解、信号处理等问题。它用于有效计算Numpy矩阵，使Numpy和Scipy协同工作，高效解决问题。原文作者：RosebudTT。

Matplotlib 是 Python 中最受欢迎的数据可视化软件包之一，支持跨平台运行，它是 Python 常用的 2D 绘图库，同时它也提供了一部分 3D 绘图接口。Matplotlib 通常与 NumPy、Pandas 一起使用，是数据分析中不可或缺的重要工具之一。

NumPy是一个功能强大的Python库，允许更高级的数据操作和数学计算。在机器学习模型、图像处理和计算机图形学、数学任务等方面有着充分作用。后期可能会写OpenCV相关的博客，因为这是与Numpy非常相关，而个人非常感兴趣的部分。本文主要是个人学习笔记，与各位小伙伴分享，不喜勿喷。关于Numpy的学习，要有一定的线性代数基础，至于一些涉及时间的操作和线性代数的函数，在使用时，参考专业文档，多实战，拿来主义。可以在Numpy中文网Numpy官网进行学习。

数据分析是时下的互联网时代非常之利器，现在就让我们一起加入Python数据分析基础篇的学习。今天，从安装Pandas模块开始。我们一起用一个月的时间来改变自己。Python模块安装的方法及快捷安装技巧。特别要记住，使用pycharm的小伙伴，再导包后，把光标移到模块名上面，AIt+Enter，再看提示信息，按下Enter，最方便。不行的话，再试一次，再试一次，再不行，用镜像源吧。

Pandas 是一个开源的第三方 Python 库，从 Numpy 和 Matplotlib 的基础上构建而来，享有数据分析“三剑客之一”的盛名（NumPy、Matplotlib、Pandas）。具有强大的数值计算能力，是Python数据分析的重要角色。本文使用csv,excel文件进行讲解，且主要讲Series、DataFrame两种数据结构，易于理解。