离线批量数据通道Tunnel的最佳实践及常见问题

基本介绍及应用场景

Tunnel是MaxCompute提供的离线批量数据通道服务，主要提供大批量离线数据上传和下载，
仅提供每次批量大于等于64MB数据的场景，小批量流式数据场景请使用DataHub实时数据通道以获得更好的性能和体验。

SDK上传最佳实践

import java.io.IOException;
import java.util.Date;

import com.aliyun.odps.Column;
import com.aliyun.odps.Odps;
import com.aliyun.odps.PartitionSpec;
import com.aliyun.odps.TableSchema;
import com.aliyun.odps.account.Account;
import com.aliyun.odps.account.AliyunAccount;
import com.aliyun.odps.data.Record;
import com.aliyun.odps.data.RecordWriter;
import com.aliyun.odps.tunnel.TableTunnel;
import com.aliyun.odps.tunnel.TunnelException;
import com.aliyun.odps.tunnel.TableTunnel.UploadSession;

public class UploadSample {
 private static String accessId = "<your access id>";
 private static String accessKey = "<your access Key>";
 private static String odpsUrl = "http://service.odps.aliyun.com/api";

 private static String project = "<your project>";
 private static String table = "<your table name>";
 private static String partition = "<your partition spec>";

 public static void main(String args[]) {
   // 准备工作，仅需做一次
   Account account = new AliyunAccount(accessId, accessKey);
   Odps odps = new Odps(account);
   odps.setEndpoint(odpsUrl);
   odps.setDefaultProject(project);
   TableTunnel tunnel = new TableTunnel(odps);

   try {
     // 确定写入分区
     PartitionSpec partitionSpec = new PartitionSpec(partition);
     // 在服务端创建一个在本表本分区上有效期24小时的session，24小时内该session可以共计上传20000个Block数据
     // 创建Session的时耗为秒级，会在服务端使用部分资源、创建临时目录等，操作较重，因此强烈建议同一个分区数据尽可能复用Session上传。
     UploadSession uploadSession = tunnel.createUploadSession(project,