Python-Data Processing
文章平均质量分 55
Data processing with Python
__momo__
AI4Science & CV
展开
-
深度学习中Batch/Layer/Instance/Group normalization方法
图片中,N是batch size, c是channel。原创 2023-12-31 16:23:04 · 438 阅读 · 0 评论 -
使用CDSAPI下载ERA5数据设置grid分辨率
使用ERA5官方网站生成python脚本进行数据下载时,不能设置下载分辨率大小。在默认情况下,使用原始网格分辨率0.25*0.25。如果要改变网格分辨率,可以在请求中添加。其中,res为目标分辨率。值得注意的是,制定网格分辨率的值必须是原始网格分辨率的倍数。原创 2023-12-31 10:53:00 · 930 阅读 · 0 评论 -
关于使用python将txt多行合并的问题
说明因为想将txt文本导入excel进行处理,但是本来是一行的数据因为提取的时候变成了两行,因此这里想将txt文件的每两行合并成一行具体思路就是将txt每两行加入到一个有序集合中,然后再将这个集合写入目标文件。fhand=open('excel_geo.txt') #原来的txtmyset=list() #新建一个listtargetfile=open(r'target.txt','a'...原创 2020-04-15 20:12:12 · 1911 阅读 · 0 评论 -
Introduction to Data Science in Python Week 1
Introduction to Data Science in Pythonweek 1: Python FundamentalsPython Dates and Timesimport datetime as dtimport time as tmtm.time() #time returns the current time in seconds since the Epoch. (...原创 2020-04-22 11:59:08 · 1751 阅读 · 1 评论 -
Applied Data Science with Python
最近在Coursera平台上学习了密西根大学的Applied Data Science with Python 课程,因此想将所学的内容记录下来。以下是内容链接(目前还在缓慢更新!希望我不要再次摸鱼ʕ •ᴥ•ʔ)Introduction to Data Science in Python: Python Fundamentals...原创 2020-04-22 12:03:20 · 706 阅读 · 1 评论 -
Introduction to Data Science in Python Week 2
Week 2 : Basic Processing with PandasIntroductionThe Series Data StructureQuerying a SeriesIntroductionWhen using pandas, Stock Overflow is the best place to ask questions related to pandas.OTHER S...原创 2020-04-22 18:30:02 · 783 阅读 · 1 评论 -
Introduction to Data Science in Python Week3
Week 3 : Advanced Python PandasMerging DataframesPandas IdiomsGroup bySplitApplyMerging DataframesWhen we want to join the DataFrames together, we have some choices to make.outer join: a union. In ...原创 2020-04-27 16:26:25 · 693 阅读 · 1 评论 -
Introduction to Data Science in Python Week 4
Week 4: Statistical Analysis in Python and Project原创 2020-05-06 10:28:14 · 834 阅读 · 1 评论 -
python将numpy数组直接写入txt中不换行
预期处理结果有两个数组a = np.array([1,2,3,4])b = np.array([5,6,7])希望txt文件中的格式为:1 2 3 45 6 7实现import numpy as np### 创建文件准备写入数据filename='use_for_test.txt'test=open(filename,'a')### 数组 a和ba = np.array([1,2,3,4])b = np.array([5,6,7])for i in a: print(i,en原创 2020-12-24 09:32:36 · 3616 阅读 · 0 评论 -
TRMM Data Processing
TRMM was a research satellite in operation from 1997 to 2015. By covering the tropical and sub-tropical regions of the Earth, TRMM provided much needed information on rainfall and its associated heat release that helps to power the global atmospheric circu原创 2022-05-17 11:10:28 · 153 阅读 · 0 评论 -
使用python根据经纬度算出面积 / 读取tiff文件信息
给定经纬度和投影方式计算区域面积。读取Landsat8tiff文件格点信息。原创 2022-07-28 10:13:43 · 1492 阅读 · 1 评论 -
python使用gdal将二维numpy数组转换为单波段tiff格式
可以在读取出一部分图像后进行缩放。那么就用这两个参数来定义缩放后图像最终的宽和高,gdal将帮你缩放到这个大小。: 可以对读出的数据的类型进行转换(比如原图数据类型是short,你要把它们缩小成byte)。: 指定想要读取的部分原点位置在整张图像中距离全图原点的位置(以像元为单位): 指定要读取部分图像的矩形的长和宽(以像元为单位): 适应多波段的情况。可以指定要读取的波段。...原创 2022-08-29 14:46:00 · 2518 阅读 · 0 评论 -
求取批量图片的均值和方差
在训练神经网络的时候,需要对输入的图片进行归一化操作。对于单通道灰度图可以进行采样并求取采样图片的均值和方差。假设训练所用的图片名都存在figure_file.txt中。原创 2022-12-15 11:20:45 · 902 阅读 · 0 评论 -
Tiff图像的前处理,median blur filter 及 linear stretch
从Google Earth Engine上下载的sentinel-1遥感影像(float32)。对于SAR影像在使用前可以做如下前处理:1. 去除SAR噪点2. 替换百分位2%以下及百分位98%以上的点3. linear stretch 将sentinel-1的值域转化为0-255原创 2022-12-22 18:59:52 · 580 阅读 · 0 评论 -
USSOCOM Urban3D 数据集读取与处理
Urban3D数据集图像为正摄RGB影像,分辨率为50cm。从每一块.tif大小为2048*2048。原创 2023-08-29 21:02:25 · 1375 阅读 · 0 评论 -
使用PIL打开tif图进行resize,PIL image.resize image has wrong mode
原因是因为tif image存储精度是unit16,使用。将数据格式转换为uint8后可以正常使用。原创 2023-09-06 19:35:19 · 463 阅读 · 0 评论 -
使用Python读取Tiff图像的几种方法
本文总结了使用PIL, opencv, gdal 读取多通道Tiff格式遥感影像的方法。原创 2023-10-12 11:14:01 · 6590 阅读 · 1 评论