python数据分析源码,源码阅读（一）--python数据分析

运行

使用环境

python 2.7(运行过程中缺少包自行安装)

jupyter 1.0.0 安装使用

运行代码

##cd进.ipynb 所在目录

cd python

## 开启 jupyter

jupyter notebook

捕获.PNG

点击对应文件(注意要先把数据集下载到对应目录)

然后点击运行，等待一段时间就会出现结果。结果如下图。

捕获.PNG

捕获.PNG等等......

源码分析

源数据数据格式

捕获.PNG

源数据就是id与分年份与性别的统计数据(一份有大洲数据)。

代码分析

2.1 us_baby_names

## 读取csv数据到data中

data = pd.read_csv('./dataset/NationalNames.csv')

##展示data数据头部5条信息

data.head()

## 查看数据详情

data.info()

# 将“姓名”和其数量进行统计，并放入“字典”变量中

names_dict = dict()

# 由于数据量多，耗时较长

for index, row in data.iterrows():

# 按行遍历数据 如果没有该名字，则新建字典index否则加一

if row['Name'] not in names_dict:

names_dict[row['Name']] = row['Count']

else:

names_dict[row['Name']] += row['Count']

# 使用Counter计数器的most_common函数进行统计。

# 返回最常用的元素及其计数的列表

top_10 = Counter(names_dict).most_common(10)

print '全美流行的婴儿名字top10：'

for pair in top_10:

print '姓名：%s -> 数量：%i' %(pair[0], pair[1])

def average_length_data_transform():

"""

统计每年男性、女性姓名的平均长度

"""

# 按行遍历数据

years = []

# 女性姓名

female_average_length = []

female_average_name_length = dict()

# 男性姓名

male_average_length = []

male_average_name_length = dict()

for index, row in data.iterrows():

# 按行遍历数据集

if row['Gender'] == 'F':

# 女性

# 获取当前年份

curr_year = row['Year']

# 当前记录姓名长度

curr_name_length = len(row['Name'])

if curr_year not in female_average_name_length:

# 如果当前年份不在“字典”中，放入字典中

# 比如: 1880年第一条女性记录：1 Mary 1880 F 7065，将做如下处理

# {1880: [4, 1]}

female_average_name_length[curr_year] = [curr_name_length, 1]

else:

# 比如: 1880年第二条女性记录: 2 Anna 1880 F 2604，将做如下处理

# {1880: [4+4, 1+1]} -> {1880: [8, 2]}

female_average_name_length[curr_year][0] += curr_name_length

female_average_name_length[curr_year][1] += 1

else:

# 男性

# 处理过程同上

curr_year = row['Year']

curr_name_length = len(row['Name'])

if curr_year not in male_average_name_length:

male_average_name_length[curr_year] = [curr_name_length, 1]

else:

male_average_name_length[curr_year][0] += curr_name_length

male_average_name_length[curr_year][1] += 1

# 遍历处理后的字典

# 女性

for key, value in female_average_name_length.items():

years.append(key)

female_average_length.append(float(value[0]) / value[1])

# 男性

for key, value in male_average_name_length.items():

years.append(key)

male_average_length.append(float(value[0]) / value[1])

return (female_average_length, female_average_name_length, male_average_length, male_average_name_length)

# years = [1880, 1881, ..., 2014]

years = range(1880, 2015)

# 使用matplotlib进行数据可视化

f, ax = plt.subplots(figsize=(10, 6))

# 设置x轴数值范围

ax.set_xlim([1880, 2014])

# years为x轴，average_length为y轴

# 女性曲线为红色，男性为蓝色

plt.plot(years, female_average_length, label='Average length of female names', color='r')

plt.plot(years, male_average_length, label='Average length of male names', color='b')

# 设置x,y轴标签

ax.set_ylabel('Length of name')

ax.set_xlabel('Year')

# 设置图像名称

ax.set_title('Average length of names')

# 设置图例

legend = plt.legend(loc='best', frameon=True, borderpad=1, borderaxespad=1)

捕获.PNG

唯一姓名分析

top_in_each_year = dict()

years = range(1880, 2015)

for each_year in years:

#获取每一年的数据(为啥这样用？？？)

each_year_data = data[data['Year'] == each_year]

top_in_each_year[each_year] = dict()

#获取每一年的某一姓名的数量

for index, row in each_year_data.iterrows():

# 为什么不是+=(可能数据是不重复的？？)

top_in_each_year[each_year][row['Name']] = row['Count']

all_sum = []

top_25_sum = []

#按照年份遍历数组

for year, names_in_year in top_in_each_year.items():

#将当前年份总人数添加到all_sum中

all_sum.append(sum(Counter(names_in_year).values()))

top_25 = Counter(names_in_year).most_common(25)

sum_temp = 0

for pair in top_25:

sum_temp += pair[1]

# 将当前出现最频繁的25个名字总数相加和加入到列表

top_25_sum.append(sum_temp)

#可视化

......

image.png

2.2 tv_inspired_baby_names

def plotname(name, gender):

"""

对姓名及性别进行可视化

"""

# 找到符合条件的数据

data_named = data[(data.Name==name) & (data.Gender==gender)]

plt.figure(figsize=(10,6))

# 对数据的年份，数量进行可视化

plt.plot(data_named.Year,data_named.Count,'g-')

plt.title('%s name variation over time'%name)

plt.ylabel('counts')

plt.xticks(data_named.Year,rotation='vertical')

# 设置x轴数值范围

plt.xlim([1985,2015])

plt.show()

MMP 简书又挂了，图片上传不了...

总结

这份代码其实就是python以及可视化，数据处理等包的简单使用，感觉并没有很大的难度，主要是环境搭建和一些数据处理函数的使用。