天池建筑语义分割task01
#由于缺少cv2,通过此方式安装
!pip install opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple
!pip install opencv-contrib-python -i https://pypi.tuna.tsinghua.edu.cn/simple
!pip install tqdm -i https://pypi.tuna.tsinghua.edu.cn/simple
!pip install albumentations
import numpy as np
import pandas as pd
import cv2
import matplotlib.pyplot as plt
rle编码:
RLE编码又叫行程编码,是最简单、最古老的数据压缩技术之一,它的原理是通过检测统计数据流中重复的位或字符序列,并用它们出现的次数和每次出现的个数形成新的代码。从而达到数据压缩的目的。
假设一个图像的像素色彩值是这样排列的:红红红红红红红红红红红红蓝蓝蓝蓝蓝蓝绿绿绿绿,经过RLE压缩后就成为了:红12蓝6绿4。这样既保证了压缩的可行性,而且不会有损失。
#图片的rel编码解码
def rle_encode(im):
pixels = im.flatten(order = 'f')#将array平铺,'F'指的是按照列进行,”c“指的是按照行,由于数据给的是按列展开的mask,故后续用列
pixels = np.concatenate([[0], pixels, [0]])#向两端补0,为了后续的’错位比较‘,有默认参数axi=0
runs = np.where(pixels[1:] != pixels[:-1])[0] + 1#错位比较得出不祥的的位置,也即像素发生变化的位置
runs[1::2] -= runs[::2]#连续像素点的长度
return ' '.join(str(x) for x in runs)#用空格隔开
def rle_decode(mask_rle, shape=(512, 512)):
s = mask_rle.split()#按空格切开mask
starts, lengths = [np.asarray(x, dtype=int) for x in (s[0:][::2], s[1:][::2])]#分出起始位置和个数
starts -= 1
ends = starts + lengths
img = np.zeros(shape[0]*shape[1], dtype=np.uint8)
for lo, hi in zip(starts, ends):
img[lo:hi] = 1#将位置的值变为一
return img.reshape(shape, order='f')#得到图片矩阵
课后作业
- 理解 RLE 编码过程,并完成赛题数据读取并可视化;
- 统计所有图片整图中没有任何建筑物像素占所有训练集图片的比例;
train_mask = pd.read_csv("train_mask.csv",sep="\t",names=["name","mask"])
train_mask["mask"]=train_mask["mask"].fillna("")
l = len(train_mask)
sum=0
for i in range(l):
if train_mask["mask"].iloc[i]=="":
sum+=1
print(sum/l)
0.17346666666666666
- 统计所有图片中建筑物像素占所有相似度的比例;
from tqdm import tqdm
train_mask = pd.read_csv("train_mask.csv",sep="\t",names=["name","mask"])
train_mask["mask"]=train_mask["mask"].fillna("")
l = len(train_mask)
ratio_ls = []
for i in tqdm(range(l)):
if train_mask["mask"].iloc[i]!="":
sum=0
ls = list(map(int,train_mask["mask"].iloc[i].split(" ")))
for m in ls[1::2]:
sum+=m
pic_path = "train/"+train_mask["name"].iloc[i]
img = np.array(Image.open(pic_path))
ratio = sum/(img.shape[0]*img.shape[1])
else:
ratio = 0
ratio_ls.append(ratio)
pd.Series(ratio_ls).to_csv("ratio_ls")
100%|████████████████████████████████████████████████████████████████████████████| 30000/30000 [09:31<00:00, 52.46it/s]
ratio = pd.read_csv("ratio_ls")
print("所有图片中建筑像素平均占比:",np.mean(ratio.iloc[:,1]))
ratio_ = ratio.iloc[:,1][(ratio.iloc[:,1])!=0]
print("有建筑图片中建筑像素平均占比:",np.mean(ratio_))
ratio = np.array(ratio)[:,1]
print("建筑像素占比最大值",np.max(ratio))
print("有建筑图片中,建筑像素占比最小值",np.min(ratio_))
所有图片中建筑像素平均占比: 0.15706762636004695
有建筑图片中建筑像素平均占比: 0.19003314068058272
建筑像素占比最大值 0.9992218017578124
有建筑图片中,建筑像素占比最小值 3.814697265625e-06
- 统计所有图片中建筑物区域平均区域大小;
np.mean(ratio_)*512*512
49816.047630570676