先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
如果你需要这些资料,可以添加V获取:vip204888 (备注大数据)
正文
type ParserBuilder = (SparkSession, ParserInterface) => ParserInterface
type ExtensionsBuilder = SparkSessionExtensions => Unit
val parserBuilder: ParserBuilder = (_, parser) => new MyParser(parser)
val extBuilder: ExtensionsBuilder = { e => e.injectParser(parserBuilder)}
val spark = SparkSession
.builder()
.appName(“Spark SQL basic example”)
.config(“spark.master”, “local[*]”)
.withExtensions(extBuilder)
.getOrCreate()
spark.sparkContext.setLogLevel(“ERROR”)
import spark.implicits._
val df = Seq(
( “First Value”,1, java.sql.Date.valueOf(“2010-01-01”)),
( “First Value”,4, java.sql.Date.valueOf(“2010-01-01”)),
(“Second Value”,2, java.sql.Date.valueOf(“2010-02-01”)),
(“Second Value”,9, java.sql.Date.valueOf(“2010-02-01”))
).toDF(“name”, “score”, “date_column”)
df.createTempView(“p”)
// val df = spark.read.json(“examples/src/main/resources/people.json”)
// df.toDF().write.saveAsTable(“person”)
//,javg(score)
// custom parser
// spark.sql("select * from p ").show
spark.sql(“select * from p”).show()
}
}
下面是执行结果,符合我们的预期。
扩展优化器
=====
接下来,我们来扩展优化器,砖厂提供了很多默认的RBO,这里可以方便的构建我们自己的优化规则,本例中我们构建一套比较奇怪的规则,而且是完全不等价的,这里只是为了说明。
针对字段+0
的操作,规则如下:
-
如果
0
出现在+
左边,则直接将字段变成右表达式,即0+nr
等效为nr
-
如果
0
出现在+
右边,则将0
变成3
,即nr+0
变成nr+3
-
如果没出现
0
,则表达式不变
下面是代码:
package wang.datahub.optimizer
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.catalyst.expressions.{Add, Expression, Literal}
import org.apache.spark.sql.catalyst.plans.logical.LogicalPlan
import org.apache.spark.sql.catalyst.rules.Rule
object MyOptimizer extends Rule[LogicalPlan] {
def apply(logicalPlan: LogicalPlan): LogicalPlan = {
logicalPlan.transformAllExpressions {
case Add(left, right) => {
println(“this this my add optimizer”)
if (isStaticAdd(left)) {
right
} else if (isStaticAdd(right)) {
Add(left, Literal(3L))
} else {
Add(left, right)
}
}
}
}
private def isStaticAdd(expression: Expression): Boolean = {
expression.isInstanceOf[Literal] && expression.asInstanceOf[Literal].toString == “0”
}
def main(args: Array[String]): Unit = {
System.setProperty(“hadoop.home.dir”,“E:\devlop\envs\hadoop-common-2.2.0-bin-master”);
val testSparkSession: SparkSession = SparkSession.builder().appName(“Extra optimization rules”)
.master(“local[*]”)
.withExtensions(extensions => {
extensions.injectOptimizerRule(session => MyOptimizer)
})
.getOrCreate()
testSparkSession.sparkContext.setLogLevel(“ERROR”)
import testSparkSession.implicits._
testSparkSession.experimental.extraOptimizations = Seq()
Seq(-1, -2, -3).toDF(“nr”).write.mode(“overwrite”).json(“./test_nrs”)
// val optimizedResult = testSparkSession.read.json(“./test_nrs”).selectExpr(“nr + 0”)
testSparkSession.read.json(“./test_nrs”).createTempView(“p”)
var sql = “select nr+0 from p”;
var t = testSparkSession.sql(sql)
println(t.queryExecution.optimizedPlan)
println(sql)
t.show()
sql = “select 0+nr from p”;
var u = testSparkSession.sql(sql)
println(u.queryExecution.optimizedPlan)
println(sql)
u.show()
sql = “select nr+8 from p”;
var v = testSparkSession.sql(sql)
println(v.queryExecution.optimizedPlan)
println(sql)
v.show()
// println(optimizedResult.queryExecution.optimizedPlan.toString() )
// optimizedResult.collect().map(row => row.getAs[Long](“(nr + 0)”))
Thread.sleep(1000000)
}
}
执行如下
this this my add optimizer
this this my add optimizer
this this my add optimizer
Project [(nr#12L + 3) AS (nr + CAST(0 AS BIGINT))#14L]
± Relation[nr#12L] json
select nr+0 from p
this this my add optimizer
this this my add optimizer
this this my add optimizer
±-----------------------+
|(nr + CAST(0 AS BIGINT))|
±-----------------------+
| 2|
| 1|
| 0|
±-----------------------+
this this my add optimizer
Project [nr#12L AS (CAST(0 AS BIGINT) + nr)#21L]
± Relation[nr#12L] json
select 0+nr from p
this this my add optimizer
±-----------------------+
|(CAST(0 AS BIGINT) + nr)|
±-----------------------+
| -1|
| -2|
| -3|
±-----------------------+
this this my add optimizer
this this my add optimizer
this this my add optimizer
Project [(nr#12L + 8) AS (nr + CAST(8 AS BIGINT))#28L]
± Relation[nr#12L] json
select nr+8 from p
this this my add optimizer
this this my add optimizer
this this my add optimizer
±-----------------------+
|(nr + CAST(8 AS BIGINT))|
±-----------------------+
| 7|
| 6|
| 5|
±-----------------------+
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注大数据)
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
7|
| 6|
| 5|
±-----------------------+
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注大数据)
[外链图片转存中…(img-wikn8tvJ-1713334931212)]
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!