python123文件关键行数答案嵩天,[Python學習筆記]Python數據分析與展示(北理工 嵩天)...

嵩天老師的課感覺很好呀，啦啦啦

0. 數據分析之前奏

課程主要內容：

常用IDE：

本課程主要使用：Anaconda

Anaconda：一個集合，包括conda、某版本Python、一批第三方庫等

-支持近800個第三方庫

-適合科學計算領域

-包含多個主流工具

-開源免費

-跨平台

本身不是個ide 是將多個工具集成在一起的

conda

-一個工具，用於包管理和環境管理

-包管理與pip類似，管理Python第三方庫

-環境管理能夠允許用戶使用不同版本的Python，並能靈活切換

conda將工具、第三方庫、Python版本、conda都當作包，同等對待

conda有命令行工具

C:\Users\king\Anaconda3\Scripts\conda.exe –version 可以查看conda版本

conda update conda    升級conda

剛開始的是命令行，現在也集成為GUI，anaconda默認生成root的環境空間

編程工具：spyder

默認不舒服  改下

交互式編程環境：IPython

-是一個功能強大的交互式shell

-適合進行交互式數據可視化和GUI相關應用

IPython幾個技巧

？：可以在變量或者函數前面加？獲得通用信息

%run ：可以執行.py程序 注意：%run在一個空的命名空間執行%

trouble shooting:

在ubuntu18中安裝了anaconda3,啟動spyder報錯Segmentation fault (core dumped)

安裝conda install pyopengl  然后再啟動 卡住半天沒了 出現killed報錯 我日  然后升級了下anaconda3到最新才好了

1. 數據分析之表示

1.1 NumPy庫入門

數據的維度

一維數據   列表、集合

二維數據   表格是經典的二維數據    用列表表示

多維數據   二維數據在更多維度上展開 比如時間維度  用列表表示

高維數據   僅使用最基本的二元關系展示復雜關系 key-value形式組織數據   用字典類型或者其他json、xmal、yaml等

NumPy的數組對象：ndarray

NumPy是一個開源的Python科學計算基礎庫

-一個強大的N維數組對象ndarray

-廣播函數功能

-整合c/c++/fortran代碼的工具

-線性代數、傅里葉變換、隨機數生成等功能

NumPy是SciPy、Pandas等數據處理或科學計算庫的基礎

使用 import numpy as np

ndarray是一個多維數組，由兩部分組成，要求數組元素類型相同，數組下標從0開始

-元數據(數據維度，數據類型等)

-實際數據

np.array()                  --ndarray別名是array

軸(axis):保存數據的維度

秩(rank):軸的數量

例子：

里面的int32不是Python基礎類型，是NumPy定義的類型，更多類型如下：

為啥要這么多數據類型？

-科學計算涉及大量數據，對性能和存儲都有較高要求

-對元素類型精細定義，有助於numpy合理使用存儲空間並優化性能，有助於程序員對程序規模由合理評估

ndarray數組也可以由非同質對象構成

非同質ndarray元素為對象類型

非同質ndarray數組無法發揮numpy優勢，盡量避免使用

ndarray數組的創建和變換

1) 從python列表元組等類型創建數組

x = np.array(list/tuple)

x = np.array(list/tuple,dtype=np.float32)   不指定類型的時候numpy自動關聯一個合適的

除了arange函數，其他都是浮點數

ndarray數組的變換：維度變換、元素類型變換

ndarray數組向列表變換

ls = a.tolist()

ndarray數組的操作

索引和切片

ndarray一維數組的索引和列表一樣

ndarray數組的運算

數組與標量的運算等於每個元素都和這個標量算一下

maximum等經過運算存在數據類型隱式轉換

1.2 NumPy數據存取與函數

數據的csv文件存取

csv只能存儲讀取一維和二維數據，這是它的局限

多維數據的存取

對於ndarray數組 有個方法  a.tofile(frame,sep=’’,format=’%s’)

-frame 文件、字符串  sep：數據分隔符，如果是空串，寫入文件為二進制 format：寫入數據的格式

可以保存為二進制，小些，但是無法人類讀懂，如果知道是這樣寫的，可以還原，作為一種保存數據的方法

如何還原呢，np.fromfile(frame,dtype=float,count=-1,sep=’’)

-dtype:讀取的數據類型  count：讀入元素的個數-1表示全部

使用這個方法需要知道存入文件時候的數組維度和元素類型，就是元數據，所以fromfile和tofile需要配合使用，可以將元數據另外存儲解決

NumPy的便捷文件存取

np.save(fname,array)或者np.savez(fname,array)

-fname:文件名以.npy或者.npz

np.load(fname)

NumPy的隨機數函數

NumPy的random子庫 np.random.*

NumPy的統計函數

NumPy的梯度函數

1.3 實例1：圖像的手繪效果

圖像的數組表示

RGB色彩表示

PIL庫  處理圖像的第三方庫 pip install pillow                   from PIL import Image

Image是PIL庫中代表圖像的類(對象)

圖像是一個由像素組成的二維矩陣，每個元素是一個RGB值

圖像的變換

圖像的手繪實例

手繪特征：黑白灰色、邊界線條較重、相同或者相近色彩趨於白色、略有光源效果

from PIL importImageimportnumpy as np

a= np.asarray(Image.open('./test.jpg').convert('L')).astype('float')

depth= 10. #(0-100)

grad = np.gradient(a) #取圖像灰度的梯度值

grad_x, grad_y = grad #分別取橫縱圖像梯度值

grad_x = grad_x*depth/100.

grad_y= grad_y*depth/100.

A= np.sqrt(grad_x**2 + grad_y**2 + 1.)

uni_x= grad_x/A

uni_y= grad_y/A

uni_z= 1./A

vec_el= np.pi/2.2 #光源的俯視角度，弧度值

vec_az = np.pi/4. #光源的方位角度，弧度值

dx = np.cos(vec_el)*np.cos(vec_az) #光源對x 軸的影響

dy = np.cos(vec_el)*np.sin(vec_az) #光源對y 軸的影響

dz = np.sin(vec_el) #光源對z 軸的影響

b= 255*(dx*uni_x + dy*uni_y + dz*uni_z) #光源歸一化

b = b.clip(0,255)

im= Image.fromarray(b.astype('uint8')) #重構圖像

im.save('./test2.jpg')

結果

2. 數據分析與展示

2.1 Matplotlib庫入門

由各種數據可視化類組成，內部結構復雜，是受matlab啟發

matplotlib.pyplot是繪制各類可視化圖形的命令子庫，相當於快捷方式

import matplotlib.pyplot as plt

plt.savefig(‘test’,dpi=600) #保存為png文件

繪制多個圖形，分區域plt.subplot(3,2,4)

pylot的plot函數

plt.plot(x,y,format_string,**kwargs)

-format_string 表示曲線的格式字符串   **kwargs表示第二組或更多(x,y,format_string)   當繪制多條曲線x不能省略，當繪制一條時候可以省略x用索引值

format_string由顏色字符、風格字符、標記字符組成

pyplot的中文顯示

方法1：修改繪制區域的全部字體

方法2：

pylot的文本顯示

首先字符串前邊的r代表是原始字符串，也就是里邊的內容不需要轉移，這個一般在正則表達式的時候也這么用，而這里是laText的用法，在python中使用laText，需要在文本的前后加上$符號，也就是你所用的那樣，然后就是laText的文本了，當你輸入了以上內容，matplotlib會自動為你解析的，\pi代表的就是π

pylot子繪圖區域

這種方法每次都要寫(3，3)，用另外一種方法GridSpec類

2.2 Matplotlib基礎繪圖函數示例(5個實例)

pylot餅圖繪制

pylot直方圖繪制

pylot極坐標繪制

pyplot散點圖繪制

面向對象的繪制方法是matplotlib庫的推薦方法，pillow庫的函數變為對象的方法

2.3 實例2：引力波的繪制

importnumpy as npimportmatplotlib.pyplot as pltfrom scipy.io importwavfile

rate_h, hstrain= wavfile.read(r"H1_Strain.wav","rb")

rate_l, lstrain= wavfile.read(r"L1_Strain.wav","rb")#reftime, ref_H1 = np.genfromtxt('GW150914_4_NR_waveform_template.txt').transpose()

reftime, ref_H1 = np.genfromtxt('wf_template.txt').transpose() #使用python123.io下載文件

htime_interval= 1/rate_h

ltime_interval= 1/rate_l

fig= plt.figure(figsize=(12, 6))#丟失信號起始點

htime_len = hstrain.shape[0]/rate_h

htime= np.arange(-htime_len/2, htime_len/2, htime_interval)

plth= fig.add_subplot(221)

plth.plot(htime, hstrain,'y')

plth.set_xlabel('Time (seconds)')

plth.set_ylabel('H1 Strain')

plth.set_title('H1 Strain')

ltime_len= lstrain.shape[0]/rate_l

ltime= np.arange(-ltime_len/2, ltime_len/2, ltime_interval)

pltl= fig.add_subplot(222)

pltl.plot(ltime, lstrain,'g')

pltl.set_xlabel('Time (seconds)')

pltl.set_ylabel('L1 Strain')

pltl.set_title('L1 Strain')

pltref= fig.add_subplot(212)

pltref.plot(reftime, ref_H1)

pltref.set_xlabel('Time (seconds)')

pltref.set_ylabel('Template Strain')

pltref.set_title('Template')

fig.tight_layout()

plt.savefig("Gravitational_Waves_Original.png")

plt.show()

plt.close(fig)

結果

3. 數據分析之概要

3.1 Pandas庫入門

Pandas提供高性能易用數據類型和分析工具

import pandas as pd

Pandas庫的Series類型     --一維

也支持自定義索引

b.index  b.values   獲得索引和數據  類似ndarray和字典

兩套索引並存  但是不能混用

Series類型也與字典類型類似 可以in, get()

Pandas庫的DataFrame類型  --二維

由共用相同索引的一組列組成，實際上就是一個表格

是一個表格型的數據類型，每列值類型可以不同

既有行索引也有列索引

常用於表達二維數據，單可以表達多維數據

DataFrame基本操作類似Series，根據行列索引

Pandas庫的數據數據類型操作

如何改變結構呢 增加 或重排：重新索引    刪除:drop

索引是不可修改類型  索引的操作就是對數據的操作   numpy不存在索引 必須通過維度來操作

Series只有0軸    DataFrame由0軸 1軸，drop默認操作0軸

Pandas庫的數據類型運算

算術類型運算

比較運算

數據和索引建立關聯關系  達到操作索引就是操作數據

3.2 Pandas數據特征分析

數據的排序

可以對索引排序

也可以對數據排序

基本的統計分析函數

累計統計分析

滾動計算(窗口計算)

數據的相關分析