GBase 8sftp 加载大文件报错

最新推荐文章于 2024-09-12 17:13:11 发布
最新推荐文章于 2024-09-12 17:13:11 发布
阅读量167 收藏
点赞数
文章标签： 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wanghailiang2021/article/details/122615063
版权

问题现象
使用 sftp 加载大文件报错，加载小文件正常。
原因分析
当集群并发加载任务数和单任务加载线程数较大时，会出现 sftp 文件加载失败的情 况。
解决方法
确定是参数 gcluster_loader_max_data_processors 设置太大造成，将参数调小后无报 错

wanghailiang2021
关注
GBase 8a集群调度服务gclusterd占用大量CPU和磁盘资源的几种情况
jingjing1068的博客
01-28 2381
GBase 8a集群的调度服务gclusterd负责对外连接，解析SQL和调度下发任务，并返回结果集。从职能设计上不会消耗大量的CPU和磁盘资源。本文介绍几种可能发生的特殊情况。 大量并发SQL 这个最好理解，SQL多，就算每个占用资源少，但多了也一样承担不起。不过一般都会有多个调度节点，做一下负载均衡就好了。当然如果并发太多，还是要考虑下合理性，控制下前端的连接池数量。 扫描了集群层的本地表，特别是TABLES,Views information_schema.tables表是一个内存表，每次使用时，如果
GBase 8a数据库加载LOAD报错信息分析和解决文章汇总
老紫竹的专栏
09-18 3055
GBase 8a数据库在通过LOAD方式加载入库时，由于各种原因会导致SQL执行报错，可以分成2大类:1、资源类，也就是加载涉及的表，列，数据源、网络，磁盘等原因；2、参数设置的业务要求。 本文只是汇总已经遇到的报错类型，并逐渐完善。 资源类报错 GBase 8a数据库集群ftp加载报错 Login denied, 530 Permission denied. GBase 8a数据库集群ftp加载报错 Login denied,530 Login incorrect GBase 8a 加载LOAD
南大通用数据库-Gbase-8a-报错集锦-03-load+sftp加载数据时提示：Login denied
qq_45111959的博客
06-09 353
介绍南大通用数据库-Gbase-8a-load+sftp加载数据时提示：Login denied的问题原因和解决方法。
GBase8a sftp加载几种常见报错原因
最新发布
weixin_44757471的博客
09-12 432
排查报错原因：配置账户是否没有远程文件的读取(r)权限或没有远程目录的执行(x)权限，或者URL指定的目录不存在。3、报错信息：fail with error - Couldn’t connect to server。4、报错信息：fail with error - Error in the SSH layer。2、报错信息：fail with error - Couldn’t resolve host。5、报错信息： fail with error - URL is a directory。
GBase 8a如果出现磁盘空间满了怎么应急处理
jingjing1068的博客
12-03 706
如果磁盘空间满了，数据库的写入操作，包括数据文件，日志等，都会报错，disk full，本文提供了一些应急处理方法。 日志 集群的一些日志，特别是加载日志，同步日志等，如果有很多或者个别的很大，比如超过500M,可以考虑删掉或者cp 一份到其它目录，然后通过 echo > XXX的方式清空文件，释放空间。 日志在服务的log目录下 数据库的核心服务日志 建议备份，然后echo方式清空 加载日志 一般在loader_logs目录下，可以直接将早期的(比如1天以前的)删除。 trc日志和同步日志 可以删除
GBASE 8A v953报错集锦44--sftp 加载大文件报错和tmp 目录权限改变导致加载失败
ls_hong的博客
08-28 494
gbase
GBase 8a通过Rsync快速删除加载日志loader_logs下的大量目录和文件的方法
jingjing1068的博客
04-14 272
GBase 8a通过LOAD方式加载时，如果有报错或者加载错误数据，会将加载日志和数据记录到连接节点的load_logs目录下。因为是用户数据，当前版本尚没有配置自动删除功能，而是建议用户在LOAD语句里将错误数据导出到用户自己指定的ftp/sftp目标服务器，自行管理。本文介绍在默认情况下，如何通过rsync命令快速清理这些日志。 环境 构造加载错误日志 弄了一个表结构和数据不一致的情况。 gbase> load data infile ‘sftp://gbase:gbase1234@10.0.2.
GBASE 8A 管理员手册（3）数据加载
aisirea的博客
12-17 788
加载功能 在V8. 6.1. 1版本GBase 8a中，加载功能直接集成在GBase 8a内部，不需 要额外部署外部加载工具。 与V8. 5.1. 2版本单机加载工具相比，新版加载工具具备如下一些特性和优 点： 1） 提供面向用户的SQL接口，更符合用户的使用习惯； 2） 支持从通用数据服务器拉取数据，支持ftp/http/hdfs/sftp等多种协 议； 3） 支持普通文本、gzip压缩、snappy压缩、Izo压缩等多种格式数据文 件； 4） 支持普通文本与定长文本的加载（format 3和forma
gbase 8a 配置手册
aisirea的博客
12-22 2075
1配置文件 在成功安装GBase 8a后，在安装路径的/GBase/config目录下， gbase_8a_gbase8a.cnf 是 GBase 8a 的配置参数文件。 通过对参数文件中相关参数的值进行合理的修改，可以使GBase 8a的性能 进一步得到提升。参数文件中的值均为全局性参数，需要在修改后，重新启动 GBase服务才能生效。 2配置参数 在GBase 8a的服务器配置参数文件中，参数如下表所示。 编号 参数名称 说明 ...
介绍 GBase 8a 支持的 SQL 语法（中篇）
weixin_62941622的博客
11-30 1714
介绍 GBase 8a 支持的 SQL 语法（中篇）
南大通用数据库-Gbase-8a-学习-14-LOAD加载数据
qq_45111959的博客
08-18 3984
介绍gbase8a load语法、部署FTP服务器、支持的数据源以及相关实验： 1、local 2、ftp 3、sftp
GBase 8a MPP集群数据加载及常见问题总结
weixin_49590537的博客
11-24 5560
1 数据加载基础 1.1 数据加载语法格式 GBase 8a MPP Cluster支持通过SQL接口进行数据加载。 语法格式: LOAD DATA INFILE ‘file_list’ INTO TABLE [dbname.]tbl_name [options] options: [CHARACTER SET charset_name] [DATA_FORMAT number [HAVING LINES SEPARATOR]] [NULL_VALUE ‘string’] [FIELDS [TERMINAT
GBase 8a优化加载的参数相关配置
Mr_dar的博客
04-24 832
在GBase 8a中有多种方式优化加载，本章节讲解的参数可以很好的优化加载性能。 提升加载性能参数 gcluster_loader_max_data_processors gcluster_loader_max_data_processors 为单个数据加载任务中最大加载机的个数，默认取值为 16。通常建议 gcluster_loader_max_data_processors 取值为 4~8。在使用 sftp 加载时，需要特别关注 ssh 连接个数限制，可能因为加载需要连接 sftp的加载机个数太多
Gbase 8a MPP Cluster维护过程中可能遇到的故障管理（八-上）
huixinhuiyismile的博客
05-09 346
导入导出 1 加载报错 Line length is more thangbase_loader_max_line_length 问题现象 加载报错:Line length 8388601 is more than gbase_loader_max_line_length(4194304)。 原因分析 gbase_loader_max_line_length 这个参数的意义是加载最大行宽的字节数。 可以检查一下文件最大行宽是否超过了参数默认值，也可以将参数值调大一些。 解决方法  可以在.
GBase 8a 集群加载sftp 和ftp数据的样例
jingjing1068的博客
01-18 862
sftp://gbase:gbase@127.0.0.1/home/gbase/data/a.tbl 唯一注意的，sftp要使用绝对目录，而ftp默认是用户主目录，使用相对路径。 如下例子，第一个是相对路径，用的是一个斜杠，第二个例子是绝对路径，使用的是两个斜杠。 ftp://gbase:gbase@127.0.0.1/data/a.tbl ftp://gbase:gbase@127.0.0.1//home/gbase/data/a.tbl 如果使用错了，比如ftp加载时，用单个斜杠的绝对路径，则会报无法改
ftp连接数量过多
热门推荐
xu15936789020的博客
10-23 1万+
一、现象描述 通过ftp客户端代码登录ftp服务器向指定目录发布文件，发生FTPException异常，消息提示“Maximum login limit has been reached”，详情如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
SFTP基于Key多进程批量并发上传文件实现案例（python）
weixin_33825683的博客
09-04 531
最近在研究Paramiko，Paramiko可以非常方便的实现基于SSH协议的远程连接，可以基于口令，也可以无口令RSA非对称密钥，亦可以实现SFTP上传下载操作，安全高效，再结合多进程或者是多线程就可以实现并行处理，写了一个简单的SFTP基于Key多进程批量并发上传文件的实现案例，供以后参考。安装加密模块和Paramiko模块　　下载：pycrypto-2.6.1....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值