python做数据分析实例

本文用到的数据,可以加QQ跟群主获取：
群名称：PYTHONERS-数据
群 号：663468799
学习python和数据分析推荐地方： www.datacamp.com
获取datacamp官网会员的方式：get_datacamp()

---

本文用到的数据在评论区留下邮箱即可。或者点击这里可以拿到： guns.csv

第一步：

使用csv模块以列表形式读取数据集。

导入csv模块。

使用open（）函数打开文件。

使用csv.reader（）函数加载打开的文件。

在结果上调用list（）以获取文件中所有数据的列表。

将结果分配给变量data。

显示第一5行data以验证一切。

import csv 
with open("guns.csv", "r") as file:
    data = list(csv.reader(file))
data[:5]

[['',
  'year',
  'month',
  'intent',
  'police',
  'sex',
  'age',
  'race',
  'hispanic',
  'place',
  'education'],
 ['1',
  '2012',
  '01',
  'Suicide',
  '0',
  'M',
  '34',
  'Asian/Pacific Islander',
  '100',
  'Home',
  '4'],
 ['2', '2012', '01', 'Suicide', '0', 'F', '21', 'White', '100', 'Street', '3'],
 ['3',
  '2012',
  '01',
  'Suicide',
  '0',
  'M',
  '60',
  'White',
  '100',
  'Other specified',
  '4'],
 ['4', '2012', '02', 'Suicide', '0', 'M', '64', 'White', '100', 'Home', '4']]

第二步：

提取第一行data，并将其分配给变量headers。

删除第一行data。

显示headers。

显示第一5行data以验证是否正确删除了标题行。

headers = data[0]
data = data[1:]
print(headers)
print(data[:5])

['', 'year', 'month', 'intent', 'police', 'sex', 'age', 'race', 'hispanic', 'place', 'education']
[['1', '2012', '01', 'Suicide', '0', 'M', '34', 'Asian/Pacific Islander', '100', 'Home', '4'], ['2', '2012', '01', 'Suicide', '0', 'F', '21', 'White', '100', 'Street', '3'], ['3', '2012', '01', 'Suicide', '0', 'M', '60', 'White', '100', 'Other specified', '4'], ['4', '2012', '02', 'Suicide', '0', 'M', '64', 'White', '100', 'Home', '4'], ['5', '2012', '02', 'Suicide', '0', 'M', '31', 'White', '100', 'Other specified', '2']]

第三步：

使用列表推导从中提取year列data。

因为year列是数据中的第二列，您需要1在每行的索引中获取元素。

将结果分配给变量years。

创建一个空的字典year_counts。

循环遍历每个元素years。

如果元素不是键year_counts，创建它，并将值设置为1。

如果元素是键year_counts，则将值增加1。

显示year_counts每年发生多少枪死亡事件。

years = [row[1] for row in data]
year_counts = {}
for year in years:
    if year in year_counts:
        year_counts[year] += 1
    else:
        year_counts[year] = 1
year_counts

{'2012': 33563, '2013': 33636, '2014': 33599}

第四步：

使用list comprehension datetime.datetime为每行创建一个对象。将结果分配给dates。

year在每个行中的第二元件列。

该month柱是在每行中的第三个元素。

确保使用int（）转换year和month整数。

通过year，month并day=1进入datetime.datetime()功能。

显示第一5行dates以验证一切正常。

计数每个唯一日期发生的次数dates。将结果分配给date_counts。

这跟我们在最后一个屏幕中做了类似的过程year_counts。

显示date_counts。

import datetime

dates = [datetime.datetime(year=int(row[1]), month=int(row[2]), day=1)  for row in data]
date_counts = {}
dates[:5]
  
for date in dates:
    if date in date_counts:
        date_counts[date] +=1
    else:
        date_counts[date] = 1
date_counts

{datetime.datetime(2012, 1, 1, 0, 0): 2758,
 datetime.datetime(2012, 2, 1, 0, 0): 2357,
 datetime.datetime(2012, 3, 1, 0, 0): 2743,
 datetime.datetime(2012, 4, 1, 0, 0): 2795,
 datetime.datetime(2012, 5, 1, 0, 0): 2999,
 datetime.datetime(2012, 6, 1, 0, 0): 2826,
 datetime.datetime(2012, 7, 1, 0, 0): 3026,
 datetime.datetime(2012, 8, 1, 0, 0): 2954,
 datetime.datetime(2012, 9, 1, 0, 0): 2852,
 datetime.datetime(2012, 10, 1, 0, 0): 2733,
 datetime.datetime(2012, 11, 1, 0, 0): 2729,
 datetime.datetime(2012, 12, 1, 0, 0): 2791,
 datetime.datetime(2013, 1, 1, 0, 0): 2864,
 datetime.datetime(2013, 2, 1, 0, 0): 2375,
 datetime.datetime(2013, 3, 1, 0, 0): 2862,
 datetime.datetime(2013, 4, 1, 0, 0): 2798,
 datetime.datetime(2013, 5, 1, 0, 0): 2806,
 datetime.datetime(2013, 6, 1, 0, 0): 2920,
 datetime.datetime(2013, 7, 1, 0, 0): 3079,
 datetime.datetime(2013, 8, 1, 0, 0): 2859,
 datetime.datetime(2013, 9, 1, 0, 0): 2742,
 datetime.datetime(2013, 10, 1, 0, 0): 2808,
 datetime.datetime(2013, 11, 1, 0, 0): 2758,
 datetime.datetime(2013, 12, 1, 0, 0): 2765,
 datetime.datetime(2014, 1, 1, 0, 0): 2651,
 datetime.datetime(2014, 2, 1, 0, 0): 2361,
 datetime.datetime(2014, 3, 1, 0, 0): 2684,
 datetime.datetime(2014, 4, 1, 0, 0): 2862,
 datetime.datetime(2014, 5, 1, 0, 0): 2864,
 datetime.datetime(2014, 6, 1, 0, 0): 2931,
 datetime.datetime(2014, 7, 1, 0, 0): 2884,
 datetime.datetime(2014, 8, 1, 0, 0): 2970,
 datetime.datetime(2014, 9, 1, 0, 0): 2914,
 datetime.datetime(2014, 10, 1, 0, 0): 2865,
 datetime.datetime(2014, 11, 1, 0, 0): 2756,
 datetime.datetime(2014, 12, 1, 0, 0): 2857}

第五步：

计数sex列中每个项目的次数。

将结果分配给sex_counts。

计数race列中每个项目的次数。

将结果分配给race_counts。

显示race_counts和sex_counts验证您的工作，并查看是否可以发现任何模式。

写一个降价细胞，详细说明你迄今为止学到的内容，你认为可能需要进一步检查。

sex_counts = {}
race_counts = {}
sexs = [row[5] for row in data[1:]]
races = [row[7] for row in data[1:]]
def count(items):
    item_counts = {}
    for item in items:
        if item in item_counts:
            item_counts[item] += 1
        else:
            item_counts[item] = 1
    return item_counts
sex_counts = count(sexs)
race_counts = count(races)

sex_counts
race_counts

{'Asian/Pacific Islander': 1326,
 'Black': 23296,
 'Hispanic': 9022,
 'Native American/Native Alaskan': 917,
 'White': 66237}

用到的知识点：

1. 利用CSV模块导入CSV文件，将数据转化成数据列表
2. 利用列表切片，删除表头
3. 利用datetime模块，列表推导式，统计年份数量
4. 统计性别和种族数量

第六步：

读入census.csv并转换为列表列表。将结果分配给census变量。

显示census以验证您的工作。

with open("census.csv") as file:
    census = list(csv.reader(file))
    

['Id', 'Year', 'Id', 'Sex', 'Id', 'Hispanic Origin', 'Id', 'Id2', 'Geography', 'Total', 'Race Alone - White', 'Race Alone - Hispanic', 'Race Alone - Black or African American', 'Race Alone - American Indian and Alaska Native', 'Race Alone - Asian', 'Race Alone - Native Hawaiian and Other Pacific Islander', 'Two or More Races']
['cen42010', 'April 1, 2010 Census', 'totsex', 'Both Sexes', 'tothisp', 'Total', '0100000US', '', 'United States', '308745538', '197318956', '44618105', '40250635', '3739506', '15159516', '674625', '6984195']

第七步：

手动创建一个字典，mapping将每个键映射race_counts到比赛的人口数census。

在字典中的键应该是Asian/Pacific Islander，Black，Native

American/Native Alaskan，Hispanic，和White。

在这种情况下Asian/Pacific Islander，您需要添加来自censusfor Race
Alone - Asian和... 的计数Race Alone - Native Hawaiian and Other Pacific Islander。

创建一个空字典，race_per_hundredk。

循环通过每个键race_counts。

将与键相关联的值除以与键race_counts相关联的值mapping。

通过乘法100000。

将结果分配给相同的键race_per_hundredk。

当你完成后，race_per_hundredk应该包含每个100000人种族种族枪支死亡率。

打印race_per_hundredk以验证您的工作。

mapping = {
    "Asian/Pacific Islander": 15159516 + 674625,
    "Native American/Native Alaskan": 3739506,
    "Black": 40250635,
    "Hispanic": 44618105,
    "White": 197318956
}

race_per_hundredk = {}
for item in race_counts:
    race_per_hundredk[item] = race_counts[item]/mapping[item]*100000

race_per_hundredk

{'Asian/Pacific Islander': 8.374309664161762,
 'Black': 57.8773477735196,
 'Hispanic': 20.220491210910907,
 'Native American/Native Alaskan': 24.521955573811088,
 'White': 33.56849303419181}

第八步：

intent使用列表解析提取列。该intent柱是在第四列中data。

将结果分配给intents。

race使用列表解析提取列。该race柱是在第八列data。

将结果分配给races。

创建一个空的字典 homicide_race_counts

使用该enumerate()功能循环遍历每个项目races。应将该位置分配给循环变量i，并将值分配给循环变量race。

检查在位置值i在intents。

如果在位置值i的intents是Homicide：

    如果密钥race不存在homicide_race_counts，创建它。
    
    添加1到相关联的价值race在homicide_race_counts。

完成后，homicide_race_counts应该为每个种族分类中的一个键data。相关的价值应该是该次种族的凶杀枪死亡人数。

执行我们在最后一个屏幕使用也做了同样的程序mapping上homicide_race_counts得到从原始数据到每个率100000。

显示homicide_race_counts以验证您的工作。

将你的发现写在一个降价单元格中。

使用降价单元格中的数据编写您要追求的任何后续步骤。

intents = [row[3] for row in data[1:]]

races = [row[7] for row in data[1:]]

homicide_race_counts = {}

for i, race in enumerate(races):
    if intents[i] == "Homicide":
        if race in homicide_race_counts:
            homicide_race_counts[race] += 1
        else:
            homicide_race_counts[race] = 1
homicide_race_counts

{'Asian/Pacific Islander': 559,
 'Black': 19510,
 'Hispanic': 5634,
 'Native American/Native Alaskan': 326,
 'White': 9147}

hm_race_per_hundredk = {}

for item in homicide_race_counts:
    hm_race_per_hundredk[item] = homicide_race_counts[item]/mapping[item]*100000

hm_race_per_hundredk   

{'Asian/Pacific Islander': 3.530346230970155,
 'Black': 48.471284987180944,
 'Hispanic': 12.627161104219914,
 'Native American/Native Alaskan': 8.717729026240365,
 'White': 4.6356417981453335}

1