雨果等夏天的博客

背景：把一列的DataSet扩张到25列，就报了上面的错，也就是tuple超过了它默认允许的元素个数。/** // 方式一：使用普通方式转换，直接在mp函数类增加DataSet的列数。 这种方式使用的是Tuple()增加列** 结果：未通过 （现在的scala是2.11 ，2.12以上版本没有试）* */ def fun1(ds1: Dataset[String],spark: ...

0x001 Spark Thrift Server 是什么 Spark Thrift Server 是一个jdbc和odbc服务，底层依赖的是hive Server2。0X002 Spark Thrift Sever 带来的价值现在部分公司情况， 大数据部门更像是一个报表开发部门，日常工作就是开发报表，一个完了接着下一个。整个模式的架构如下： 关系数据库=》 大数据平台 =》关系数据库...

对于熟悉Scala开发的人来说，对于spark-sql的使用，直接jar包中写入代码处理就能轻松实现动态语句的执行。但是对于我，不打算学习Scala和Java语言，但是又想定时执行时间推延的周期、定时任务，该肿么办？一 Spark-SQL 是什么1: Spark-SQL参见参数\-d：–define <key=value> 定义键值对：–database 定义使...