大数据基础复习--大三上

1.Python

1.数据类型

1.数字

• 整形 : int
• 浮点型: float
• 复数型：complex
• 布尔型: bool

2.字符串

• 字符串：String

3.与Java的区别

• python只有四种数据：整数，长整数、浮点数和复数

• java则有char，short,byte，int，long，float,double类型

4.列表

• 列表是一个有序的python对象序列

• 列表的创建

  list1 = [1,2.0,'hello']
  

• 列表的取值

  ##以上面的list为例
  list1[0]
  ##输出结果：1
  list1[list1.len()-1]
  ##输出结果：hello
  

• 列表切片

  list2 = [1,2.0,3,4,5,6]
  list2[2,-1]
  ##输出结果：[3,4,5]
  

• 列表元素的删除

  ##以上面的list为例
  del list2[0]
  ##输出结果：[2.0,3,4,5,6]
  

• 常用方法

  ##	1.删除
  del list2[0]
  ##	2.返回列表中某元素出现个数
  list2.count(1)
  ##	3.返回元素出现的第一个位置
  list2.index('hello')
  ##	4.在列表最后追加元素
  list2.append('world')
  ##	5.删除列表指定位置的元素
  list2.pop(0)
  ##	6.对列表进行排序
  list2.sort()
  

5.元组

• 元组的特点是：一旦创建，不可更改

• 元组的创建

  ##	1.用一对括号创建元组
  t = (1,2,3,4,5)
  ##	2.元组的个数超过两个括号可以省略
  t = 1,2,3,4,5
  ##	3.注意当元组中元素个数只有一个括号不可省略
  t = (1)
  

• 元组的取值

  ##以上面的t为例
  t[0]
  ##输出结果：1
  

• 元组切片

  ##以上面的t为例
  t[1:3]
  ##输出结果：(3,4)
  

• 由于元组的不可变性，所以没有插入等方法

6.字典

• 字典是由“键-值”组成的数据结构

• 注意：字典得到键时不可重复的，如果重复将会被最后一个覆盖掉，所以不会出现重复情况，同时字典是无序的

• 字典的创建

  ##	1.创建空字典
  a = {}
  ##	2.直接赋值
  b = {'one':1,'two':2}
  

• 用索引的方式向字典中插入元素

  ##以上面的a为例
  a['one'] = 1
  ##结果：a由原来的空字典变为含有一个元素的字典：{'one':1}
  

• 也可以用上述方法进行赋值

• 常用方法

  ##以上面的b为例
  ##	1.key()方法
  b.key()
  ##输出结果：['one','two']
  
  ##	2.value()方法
  b.value()
  ##输出结果：[1,2]
  

2.循环

1.for循环

• 循环固定次数

• for i in range(5) :
      print(i)
  ##输出
  0
  1
  2
  3
  4
  

• 遍历

• languages = ["C", "C++", "Perl", "Python"] 
  for x in languages:
       print (x)
  """
  结果 
  C
  C++
  Perl
  Python
  >>>
  """
  

2.while循环

• n = 100
   
  sum = 0
  counter = 1
  while counter <= n:
      sum = sum + counter
      counter += 1
  print("1 到 %d 之和为: %d" % (n,sum))
  
  ##结果：1 到 100 之和为: 5050
  

3.正三角、倒三角源码

• 右边

• #右上角格式输出九九乘法表
  for i in rang(1,10):
      for k in rang(1,i):
          print(end = "		")
      for j in rang(i,10):
          print("%d*%d = %2d" % (i,j,i*j),end=" ")
      print(" ")
          
  #右下角三角格式输出九九乘法表
  for i in rang(1,10):
      for k in rang(1,10-i):
          print(end = "		")
      for j in rang(1,10-i):
          print("%d*%d = %2d" % (i,j,i*j),end=" ")
      print(" ")
  

• 左边

• #左下三角个数输出九九乘法表
  for i in rang(1,10):
      for j in rang(1,i+1):
          print("%d*%d = %2d" % (i,j,i*j),end=" ")
      print(" ")
      
  #左上三角格式输出九九乘法表
  for i in rang(1,10):
      for j in rang(1,i+1):
          print("%d*%d = %2d" % (i,j,i*j),end=" ")
      print(" ")
  

4.注意

• python语法
• 严格缩进
• 循环后面由冒号

2.Pandas

1.基本概念

• Series

  1. Series：Series也称序列，用于存储一行或一列数据，以及与之相关的索引集合

     Series([数据1,数据2,...],index = [索引1,索引2,...])
     

  2. 注意以下几点

     • Series是一种类似一维数组的对象
     • 他的数据结构没有限制
     • 他有索引，类似于字典
     • Series同时兼具数字和字典的功能

• DataFrame

  1. DataFrame是一种存储多行和多列数据的数据集合，是Series的容器

     from pandas import Series
     from pandas import DataFrame
     df = DataFrame({'age':Series([26,29,24]),'name':Series(['Ken','Jerry','Ben'])},index=[1,2,3])
     

2.分组分析

• 分组分析：是指根据分组字段将分析对象划分成不同的部分，以对比分析各组之间的差异性的一种方法

• 常用的方法有计数、求和、平均值

• 常用形式

  df.groupby(by = ['分类1','分类2',...])['被统计的列'].agg({列别名1：统计函数1，列别名2：统计函数2})
  

  df.groupby(by=[u'班级'，u'性别'])[u'军训'].agg((u'总分':numpy.sum,u'人数':numpy.sizey,u'平均值':nmpy.mean,u'方差':numpy.var,u'标准差':numpy.std,u'最高分':umpy.max,u'最低分':numpy，min))
  

  结果：

  

3.数据可视化

• 散点图：散点图是以一个变量为横坐标，以另一个变量为纵坐标，利用散点（坐标点）的分布形态反映变量关系的一种图形。相关的方法如下：

  plt.plot(x,y,'.',color=(r,g,b)
  plt.xlabel('x轴坐标')
  plt.ylabel('y轴坐标')
  plt.grid(True)
  #其中，x、y为x轴和y轴的序列：'.'（'o'等）代表小点（大点等）；color为散点图的颜色，可以用RGB定义，也可以用英文字母定义RGB颜色的设置方式为（red，green，blue）
  

• 折线图：P134

3.贝叶斯

略