影像入库解决方案之一

原创 2011年01月18日 15:33:00

影象格式介绍

RasterDataset

栅格数据集是指任何以波段形式组织的有效的栅格格式数据。每一波段都包含了一组像元,并且每个像元都有一个值。一个栅格数据集至少有一个波段。多个栅格数据集可以镶嵌在一起以组合成更大的简单连续的栅格数据集。

RasterDataset比较适合带有标准坐标系的航片或卫片,导入影象文件可以拼接为一张完整的大图。但是对图幅要求比较高,图幅必须带有坐标系,而且接边要求严格。如果某一块图幅需要修改,则需要全部删除所有数据,重新导入。

查看RasterDataset可以看到它是由bands组成的

RasterCatalog

栅格目录是栅格数据集的集合,采用表格的形式,在表格中,每个记录代表了目录中包含的单个的栅格数据集。栅格目录最常用于显示相邻的,完全重叠的或者部分重叠的栅格数据集而无需将它们镶嵌为一个大的栅格数据集。 RasterCatalog就如一个书架,把各种图书统一的管理起来,SDE只是管理和维护一个目录,这样如果出现某一个图幅需要修改,只需要把需要修改的图幅删除,再重新导入即可。

查看RasterCatalog可以看到它是多个影象对象的目录即可。

RasterDataset

RasterCatalog

数据源

在空间上连续的单张图片

多张同种格式的图片进行合并得到的

显示在同一个图层上的多个栅格数据集的集合

组成这个集合的栅格数据可以有不同的坐标系统和数据格式类型

图层

在同一个图层

在同一个图层

数据源差异

必须由单一的影像格式、数据类型和文件构成

支持多个影像格式、数据类型、文件大小和坐标系统

数据存储方式

一次性存储,并应用于完整的数据集

每个栅格数据集项都作为一个属性列存储在栅格目录中

金字塔

整个栅格数据集上构建单个金字塔

栅格目录中的每个数据集都建立一个金字塔

优点

在每个比例尺下显示都很快。镶嵌因为没有冗余数据而节省了空间,通过无缝拼接得到的影像数据集在显示上更有优势

可以管理多行栅格数据表,也可以显示指定的一个或多个栅格数据集

缺点

文件地理数据库和个人地理数据库中的栅格数据更新是比较慢的,整个文件在更新时都必须重写

基于文件的并由不同数据格式组成的栅格目录渲染效果不是很好。在栅格目录中显示大型的栅格数据会有时间上的延迟

建议

使用栅格数据集去掉了图片之间相重叠的部分,因而对于高质量的栅格数据来说具有更快的显示效果

需要保留了数据集之间相重叠的部分,管理时间系列数据,以及当禁止镶嵌的邻接图像之间可以存在差异时,可以使用栅格目录用来建立巨型的栅格仓库

MosaicDataset

该存储方式在ArcGIS10才推出,而且因为它的入库方式之记录相应的路径,真正的数据并未入库,所以该存储方式一般不存在入库效率的问题。

详细了解,详看ArcGIS10中文帮助。

操作系统设置

AIX

设置IFCONFIG参数:set tcp_delay to 1

如果用户使用gigabit network card(千兆网卡) :set rfc 1323 to 0

检查以下参数是否存在,不存在添加,存在进行相应修改

Set RX checksum offload to yes

Set TCP large send offload to yes

SQLServer参数设置

Ø Govern the resources consumed by SQLServer only if there are other applications running on the server

Ø Use lightweight pooling to reduce the number of thread context switches

DB2参数设置

为影像表空间建立单独的buffer pools

为影像表空间创建大的buffer pool来存储影像blocks表

如果DB2安装在AIX平台下设置以下参数

n db2set DB2_MMAP_READ=OFF

n db2set DB2_MMAP_WRITE=OFF

Informix参数设置

Set BUFFERS large enough to stay ahead of the cleaners

Set the LOGSIZE to 100000

Make sure that the physical log is not created in the rootdbs dbspace

Set the LOG_BACKUP_MODE to continuously backup the logical logs.

Set the LOGSMAX to 100

Set RA_PAGES to 125

Set RA_THRESHOLD to 85

Set RESIDENT to -1

Set the NETTYPE parameter to favor remote connections if you intend to use direct connections

Oracle参数介绍

参考ArcGIS帮助-Geodatabases and ArcSDE-Administering ArcSDE geodatabases-Administering ArcSDE for Oracle。(此参数设置对服务器数据库的性能都有一定的参考意义)

表空间(存储)

建议用户根据影象数据量大小创建比用户数据至少大1/3大小的大文件表空间。(因为一般来说影象数据量都比较大,所以根据服务器硬盘存储容量和实际需求尽可能的建立大容量表空间)

CREATE BIGFILE TABLESPACE "ESRI" DATAFILE 'E:/APP/ESRI/ORADATA/ORCL/ESRI' SIZE 500000M AUTOEXTEND ON NEXT 1000M MAXSIZE UNLIMITED LOGGING EXTENT MANAGEMENT LOCAL SEGMENT SPACE MANAGEMENT AUTO DEFAULT NOCOMPRESS

在用户使用影象数据为影象建立表空间时,建议与SDE表空间分开磁盘建立,如果经常使用影象数据的话尽可能建立影象数据表空间和影象索引表空间分开存储。影像库的Raster Blocks表空间与非Raster Blocks表空间分开存储。

临时表空间的也尽量大些。建议1GB。

注意:上面的建议仅供用户来参考,本文只是从理论上来分析相关问题,在实际运用过程中用户根据自己业务需求,服务器配置,数据量等灵活处理相关问题。

Oracle建立表空间


Create the non raster blocks tablespace

----------------------------------------------------------------------------------------------------------

create tablespace earth datafile ‘d:/oradata/earth.dbf’ size 500M

extent management local uniform size 1M;

Create the raster blocks tablespace

----------------------------------------------------------------------------------------------------------

create tablespace earth_blocks datafile ‘e:/oradata/earth_blocks.dbf’ size 32000M
extent management local segment space management manual uniform size 100M;

SQLServer

Create the SQLServer database large enough to store the entire raster object.

DB2建立表空间

Create a tablespace to store all the non-raster blocks data in.

----------------------------------------------------------------------------------------------------------

create tablespace earth managed by database
using (file ‘d:/earth.dat’ 500000);

Create a tablespace to store the raster blocks table data.

----------------------------------------------------------------------------------------------------------

create long tablespace earth_blocks managed by database
using (file ‘e:/earth_blocks.dat’ 50000000);

Informix

Create the dbspace to store all no raster blocks tables

----------------------------------------------------------------------------------------------------------

onspaces -c -d earth -p d:/earth.dbs -o 0 -s 5000

Create the dbspace(s) to store the raster blocks table

----------------------------------------------------------------------------------------------------------

onspaces -c -d earth_blocks -p e:/earth_blocks.dbs
-o 0 -s 5242880

以下参数设置仅供参考

SGA

SGA=memory*70%

PRE_PAGE_SGA=TRUE

PGA

PGA=memory*20%

BLOCK_SIZE

BLOCK_SIZE至少16KB,推荐使用32KB

OPEN_CURSORS

默认值为300,建议设置为2000以上

SESSION_CACHED_CURSORS

默认值随 Oracle 版本的不同而不同,建议设置为50以上

CURSOR_SHARING

cursor_sharing = exact

CURSOR_SPACE_FOR_TIME

cursor_space_for_time = true

UNDO_MANAGEMENT and UNDO_TABLESPACE

设置UNDO_MANAGEMENT为自动,设置 UNDO_TABLESPACE 存储系统撤销段的表空间名称

SESSIONS

如果需要多用户同时访问中心数据库(大于48),修改ArcSDE默认的连接参数、服务器操作系统注册表参数设置,还有Oracle的Sessions参数

PROCESSES

建议该值是ArcSDE连接数加上25

OPTIMIZER_MODE

Oracle10g和11g的默认值为all_rows

LOG_BUFFER

建议日志缓冲区设置为1MB

DB_BUFFER_CACHE

适度增加该参数的值

REDO LOGFILES

LOG_CHECKPOINT_INTERVAL=0

LOG_CHECKPOINT_TIMEOUT = 0

联机重做日志大小建议至少1GB

SHARED_POOL_SIZE

默认值128MB,推荐值256MB以上

DB_CACHE_SIZE

memory available to SGA = physical RAM * 2/3

memory available to buffer cache= (memory available to SGA - (shared_pool_size + log_buffer)) * 0.9

db_block_buffers= memory available to buffer cache / db_block_size

PGA_AGGREGATE_TARGET

workarea_size_policy = auto

pga_aggregate_target =

Use automatic shared memory management

建议使用自动共享内存管理

版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

影像入库解决方案之三

加载参数介绍 块大小 块大小控制了在每个数据库的内存块中像元的数目。它被指定为许多像元。默认的块的大小是128*128,并且大多数的应用并不保证可以改变这些默认值。 数据压缩 数据压缩是在将栅...

影像入库解决方案之二

Oracle参数介绍 参考ArcGIS帮助-Geodatabases and ArcSDE-Administering ArcSDE geodatabases-Administering ArcSD...

我是如何成为一名python大咖的?

人生苦短,都说必须python,那么我分享下我是如何从小白成为Python资深开发者的吧。2014年我大学刚毕业..

【高并发简单解决方案】redis缓存队列+mysql 批量入库+php离线整合

【高并发简单解决方案】redis缓存队列+mysql 批量入库+php离线整合

高并发简单解决方案-redis缓存队列+mysql 批量入库+php离线整合

高并发简单解决方案-redis缓存队列+mysql 批量入库+php离线整合

【高并发简单解决方案】redis队列缓存 + 批量入库 + php离线整合

需求背景:有个 调用统计日志存储和统计需求 ,要求存储到mysql中;存储数据高峰能达到日均千万,瓶颈在于 直接入库并发太高,可能会把mysql干垮 。 问题分析 思考:应用网站架构的衍化过程中,...

包含emoji表情符号的微信昵称入库失败解决方案

最近在微信公众号做一个名酒投票的功能,有一个需求点是投票完后,可以看到每个酒的最近投票用户的头像和昵称,我的想法是在点击投票的时候,直接获取投票微信用户的openid,用openid通过微信接口获取微...

【高并发简单解决方案】redis队列缓存 + mysql 批量入库 + php离线整合

需求背景:有个调用统计日志存储和统计需求,要求存储到mysql中;存储数据高峰能达到日均千万,瓶颈在于直接入库并发太高,可能会把mysql干垮 问题分析 思考:应用网站架构的衍化过...
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)