python数据分析：了解数据分析-CSDN博客

在数据分析方面，首先要花一些时间搞清楚为什么要做数据分析、分析什么、想要达到什么效果。例如，为了评估产品改版后的效果比之前是否有所提升，或通过数据分析找到产品迭代的方向等。只有明确了分析目的，才能够找到适合的分析方法，也才能够有效地进行数据处理、数据分析和预测等后续工作，最终将得到的结论应用到实际中。

1.3.3获取数据

数据的来源有很多，像我们熟悉的Excel数据、数据库中的数据、网站数据以及公开的数据集等。那么，获取数据之前首先要知道需要什么时间段的数据，哪张表中的数据，以及如何获得，是下载、复制还是爬取等。

一般有数据分析师岗位需求的公司都会有自己的数据库，数据分析师可以通过SQL查询语句来获取数据库中想要数据。Python已经具有连接sql server、mysql、orcale等主流数据库的接口包，比如pymssql、pymysql、cx_Oracle等。

而获取外部数据主要有两种获取方式，一种是获取国内一些网站上公开的数据资料；一种是通过编写爬虫代码自动爬取数据。如果希望使用Python爬虫来获取数据，我们可以使用以下Python工具：

1.Requests-主要用于爬取数据时发出请求操作。
2.BeautifulSoup-用于爬取数据时读取XML和HTML类型的数据，解析为对象进而处理。
3.Scapy-一个处理交互式数据的包，可以解码大部分网络协议的数据包

1.3.4数据处理

数据处理是从大量、乱杂无章、难以理解、缺失的数据中，抽取并推导出对解决问题有价值、有意义的数据。数据处理主要包括数据规约、数据清洗、数据加工等处理方法。

1.3.5数据分析

数据分析过程中，选择适合的分析方法和工具很重要，所选择的分析方法应兼具准确性、可操作性、可理解性和可应用性。但对于业务人员来说，数据分析最重要的是数据分析思维

1.3.6可视化分析

数据分析最后一步是撰写数据分析报告，这也是数据可视化的一个过程。在数据可视化方面，Python目前主流的可视化工具有：

Matplotlib-主要用于二维绘图，它能让使用者很轻松地将数据图形化，并且提供多样化的输出格式。
Seaborn-是基于matplotlib产生的一个模块，专攻于统计可视化，可以和Pandas进行无缝链接。

按照这个流程，每个阶段所涉及的知识点可以细分如下：

从上图我们也可以得知，在整个数据分析流程，无论是数据提取、数据预处理、数据建模和分析，还是数据可视化，Python目前已经可以很好地支持我们的数据分析工作。

1.3.7验证结果

通过数据分析我们会得到一些结果，但是这些结果只是数据的主观结果的体现，有些时候不一定完全准确，所以必须要进行验证。例如，数据分析结果显示某产品点击率非常高，但实际下载量平平，那么这种情况，不要轻易定论，这种产品受欢迎，而要进一步验证，找到真正影响点击率的原因，这样才能做出更好的决策

1.3.8结果呈现

现如今，企业越来越重视数据分析给业务决策带来的有效应用，而可视化是数据分析结果呈现的重要步骤。可视化是以图表方式呈现数据分析结果，这样的结果更清晰、更直观、更容易理解。

1.3.9数据应用

数据分析的结果并不仅仅把数据呈现出来，而更应该关注的是通过分析这些数据，后面可以做什么？如何将数据分析结果应用到实际业务中菜市学习数据分析的重点。数据分析结果的应用是数据产生实际价值的直接体现，而这个过程需要具有数据沟通能力、业务推动能力和项目工作能力。如果看了数据分析结果后并不知道要做什么，那么这个数据分析就是失败的。

1.4数据分析常用工具

1.4.1Excel工具

Excel具备多种强大功能，例如创建表格、数据透视表、VBA等，Excel的系统如此庞大，确保了大家可以根据自己的需求分析数据。但是在今天，大数据、人工智能时代，数据量很大的情况下Excel已经无法胜任，不仅处理起来很麻烦而且处理速度也会变慢。从数据分析的层面，Excel也只是停留在描述性分析，如对比分析、趋势分析、结构分析等。

1.4.2Python语言

Python是一门动态的、面向对象的脚本语言，同时也是一门简约，通俗易懂的编程语言。Python入门简单，代码可读性强，一段好的Python代码，阅读起来像是在读一篇外语文章。Python这种特性称为**“伪代码”**，它可以使你只关心完成什么样的工作任务，而不是纠结于Python的语法。

另外，Python是开源的，它拥有非常多优秀的库，可以用于数据分析及其他领域。更重要的是，Python与开源大数据平台Hadoop具有很好的兼容性。因此，学习Python对于有志于向大数据分析岗位发展的数据分析师来说，是一件非常节省学习成本的事。

Python的众多优点让它成为受欢迎的程序设计语言之一，国内外许多公司也已经在使用Python，例YouTube，Google，阿里云等等。

虽然Excel已尽最大努力考虑到数据分析的大多数应用场景，但由于它是定制软件，很多东西都固化了，不能自由地修改。而python非常的强大和灵活，可以编写代码来执行所需的任何操作，从专业和方便的角度来看，它比Excel更加强大，另外，python可以实现Excel难以实现的应用场景、

python学习路线：

python数据分析图表：

一，折线图：

import matplotlib.pyplot as plt
x = [0,1,2]
y = [0,3,2]
plt.plot(x, y)

二，饼状图

labels = [u'Canteen', u'Supermarket', u'Dorm', u'Others']
sizes = [1, 2, 4, 5]
patches, l_text, p_text = plot.pie(sizes, explode=explode, labels=labels, colors=colors,
labeldistance=1.1, autopct='%2.0f%%', shadow=False,
startangle=90, pctdistance=0.6)
# # 设置x，y轴刻度一致，这样饼图才能是圆的
plot.axis('equal')
plot.grid()
plot.show()

分区：score_list = np.random.randint(25, 100, size=20)
print(score_list)
# [27 70 55 87 95 98 55 61 86 76 85 53 39 88 41 71 64 94 38 94]
#　指定多个区间
bins = [0, 59, 70, 80, 100]
score_cut = pd.cut(score_list, bins)
# print(df.groupby(age_groups).count())

import random
import pandas as pd
import numpy as np
from pandas import Series,DataFrame
#用随机数产生一个二维数组。分别是年龄的性别。
df=pd.DataFrame({'Age':np.random.randint(0,70,100),
'Sex':np.random.choice(['M','F'],100),
})
#用cut函数对于年龄进行分段分组，用bins来对年龄进行分段，左开右闭
age_groups=pd.cut(df['Age'],bins=[0,18,35,55,70,100])
# print(age_groups)
print(df.groupby(age_groups).count())