- 博客(9)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Master endpoint spark://192.168.0.3:7077 was not a REST server. Falling back to legacy submission ga
Master endpoint spark://192.168.0.3:7077 was not a REST server. Falling back to legacy submission gateway instead.
2022-03-14 14:31:42
885
原创 Spark优化之执行计划
1.sparksql 执行计划spark.sql("select a.uid,count(1) from a join u on a.uid=u.uid where a.actorlevel>10 group by a.uid order by a.uid").explain()（1）explain() 查看物理计划== Physical Plan ==*(4) Sort [uid#84 ASC NULLS FIRST], true, 0+- Exchange rangepartit
2022-02-27 16:47:54
1614
原创 hadoop自定义数据类型
测试类package com.Datatype;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.a
2017-09-07 16:31:38
230
原创 可变参数
可变参数：适用于参数个数不确定，类型确定的情况，java把可变参数当做数组处理。注意：可变参数必须位于最后一项。当可变参数个数多余一个时，必将有一个不是最后一项，所以只支持有一个可变参数。因为参数个数不定，所以当其后边还有相同类型参数时，java无法区分传入的参数属于前一个可变参数还是后边的参数，所以只能让可变参数位于最后一项。可变参数的特点：（1）、只能出现在参数列表的最后； （2）
2017-09-07 10:38:54
251
转载 hive时间函数
to_date：日期时间转日期函数select to_date('2015-04-02 13:34:12');输出：2015-04-02from_unixtime：转化unix时间戳到当前时区的时间格式select from_unixtime(1323308943,’yyyyMMdd’);输出：20111208unix_timestamp：获取当前unix时间戳sele
2017-09-07 10:31:42
453
1
原创 VerifyError
java.lang.VerifyError: (class: org/jboss/netty/channel/socket/nio/NioWorkerPool, method: createWorker signature: (Ljava/util/concurrent/Executor;)Lorg/jboss/netty/channel/socket/nio/AbstractNioWorker;
2017-09-07 10:13:23
790
转载 DataFrame部分函数应用
一、DataFrame对象的生成 Spark-SQL可以以其他RDD对象、parquet文件、json文件、Hive表，以及通过JDBC连接到其他关系型数据库作为数据源来生成DataFrame对象。本文将以MySQL数据库为数据源，生成DataFrame对象后进行相关的DataFame之上的操作。 文中生成DataFrame的代码如下：object DataFrameOper
2017-09-05 14:16:20
954
1
原创 linux命令
系统信息 cat /proc/cpuinfo 显示CPU info的信息cat /proc/interrupts 显示中断cat /proc/meminfo 校验内存使用cat /proc/swaps 显示哪些swap被使用cat /proc/mounts 显示已加载的文件系统date 显示系统日期 cal 2007 显示2007年的日历表d
2017-09-05 14:08:10
232
转载 rdd
1.map(func)：数据集中的每个元素经过用户自定义的函数转换形成一个新的RDD，新的RDD叫MappedRDD（例1）?12345678910object Map { def main(args: Array[String]) { val conf =new SparkConf()
2017-09-05 14:01:53
257
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人