python 爬虫数据分析与展示笔记(一)

python 爬虫数据分析与展示笔记(一)

【Python数据分析与展示】.MOOC. 北京理工大学

  • IDLE

    • Anaconda
    • spyder
    • sublime Text
    • Ipython
  • 数据维度的python表示

    • 一维数据:列表和集合类型
    • 二位数据:列表类型
    • 多维数据:列表类型
    • 高维数据:字典类型或数据表示格式(JSON/YAML/XML)
  • Numpy(是SciPy、Pandas等数据处理或科学计算库的基础)

    • N维数组对象ndarray
      • ndarray对象的属性:.ndim.shape.size.dtype.itemsize
      • ndarray的元素类型:boolinteintpint8int16int32int64uint8uint16uint32uint64float16float32float64complex64complex128
      • ndarray数组的创建方法
        • 从Python列表、元组类型创建:x = np.array(list/tuple)
        • 使用NunPy中函数创建:ap.arange(n)ap.ones(shape)ap.zeros(shape)np.full(shape.val)np.eye(n)np.ones_like(a)np.zeros_like(a)np.full_like(a,val);使用NumPy中其他函数创建ndarray数组:np.linspace()np.concatenate()
        • 从字节流创建
        • 从文件中读取特定格式
      • ndarray数组的维度变换:.reshape(shape).resize(shape).swapaxes(ax1,ax2).flatten()
    • 广播功能函数
    • 整合C/C++/Fortran代码的工具
    • 线性代数、傅立叶变换、随机数生成等功能
    • Nnmpy的引用import numpy as np
  • 数组的索引和切片

    • 一维数组的索引和切片:与Python的列表类似
      在这里插入图片描述

    • 多维数组

      • 索引:
        在这里插入图片描述

      (若为负数则表示倒数第几个,如:a[-1,-2,-3]表示倒数第1个组,倒数第二行的倒数第三个元素)

      • 切片: 在这里插入图片描述
    • 数组与标量之间的运算

      • 标量
    • 一元函数

    • 二元函数

  • CSV文件存取

    • 一、二维度数组的存取(np.savetxt(),np.loadtxt()只能有效存储一维和二维数组)

      • 写入:

        np.savetxt(frame,array,fmt='%.18e',delimiter=None)

        • frame:文件、字符串产生器(存储后的文件名

        • array:存储的数组

        • fmt:存储的文件格式

        • delimiter:数据间的分隔符,默认为None

        • 例:

          a = np.arange(100).reshape(5,20)
          np.savetxt('a.csv',a,fmt='.%1f',delimiter=',')
          
      • 读取:

        np.loadtxt(frame,dtype=np.float,delimiter=None,unpack=False)

        • dtype:数据类型,可选

        • unpack:若为True,读入属性将分别写入不同变量

        • 例:

          b = np.loadtxt('a.csv',dtype=np.int,delimiter=',')
          
    • 多维数据的存取

      • 写入:

        a.tofile(frame,sep='',format='%s')

        • frame:文件、字符串

        • sep:数据分割字符串,若为空串,写入为二进制文件

        • format:写入数据的格式

        • 例:

          a = np.arange(100).reshape(5,10,2)
          a.tofile("b.dat",sep=",",format="%d")
          
      • 读取:(该方法读取时需要知道存入时数组的维度和元素类型)

        np.fromfile(frame,dtype=float,count=-1,sep='')

        • frame:文件、字符串

        • dtype:读取的数据类型

        • count:读入元素个数,-1表示读入整个文件

        • sep:数据分割字符串,如果是空串;写入文件为二进制

        • 例:(文本文件)

          a = np.arange(100).reshape(5,10,2)
          a.tofile("b.dat",sep=",",format='%d')
          c = np.fromfile("b.dat",dtype=np.int,sep=',') #输出为一维数组
          c = np.fromfile("b.dat",dtype=np.int,sep=",").reshape(5,10,2) #输出为写入时的数组维度
          
        • 例:(二进制文件)

          a = arange(100).reshape(5,10,2)
          a.tofile("b.dat",format='%d')
          c = np.fromfile("b.dat",dtype=np.int).reshape(5,10,2)
          
  • Numpyp的便捷文件存取:

    • 存:np.save(fname,array)np.savez(fname,array)

      • frame:文件名,以.npy为扩展名,压缩扩展名为.npz
      • array:数组变量
    • 取:np.load(frame)

      • frame:文件名,以.npy为扩展名,压缩扩展名为.npz
    • 例:

      a = np.arange(100).reshape(5,10,2)
      np.save('a.npy',a)
      b = np.load("a.npy")
      
  • Numpy的随机函数np.random

    • rand()randn()randint()seed()
    • shuffle()permutation()choice()
  • Numpy的统计函数

    • N
  • Numpy的梯度函数

    • np.gradient(f):计算数组f中元素的梯度,f为多维时,返回每个维度的函数
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值