sftp 加载大文件报错:
问题现象
使用 sftp 加载大文件报错,加载小文件正常。
原因分析
当集群并发加载任务数和单任务加载线程数较大时,会出现 sftp 文件加载失败的情
况。
解决方法
确定是参数 gcluster_loader_max_data_processors 设置太大造成,将参数调小后无报
错。
tmp 目录权限改变导致加载失败:
问题现象
安全扫描,将操作系统 tmp 目录的权限修改为 750,造成集群加载失败,修复为 777
后恢复正常。
解决方法
调整数据库参数 tmpdir,将指定/tmp 路径的,修改为 gbase 系统用户路径,如
/home/gbase/tmp。
# gccli -e"show variables like '%tmp%'"
+--------------------------------------+----------+
| Variable_name | Value |
+--------------------------------------+----------+
| _t_gcluster_reuse_tmp_table_optimize | 0 |
| max_tmp_tables | 32 |
| slave_load_tmpdir | /tmp |
| tmp_table_size | 16777216 |
| tmpdir | /tmp |
+--------------------------------------+----------+
# gncli -e"show variables like '%tmp%'"
+-------------------+----------+
| Variable_name | Value |
+-------------------+----------+
| max_tmp_tables | 32 |
| slave_load_tmpdir | /tmp |
| tmp_table_size | 16777216 |
| tmpdir | /tmp |
+-------------------+----------+