spark
学妹等一下
这个作者很懒,什么都没留下…
展开
-
Spark中连接Mysql
在开发中涉及到spark连接到Mysql的部分操作,虽然要用scala进行编写,但是有过Java语言的一些基础上手scala并不是件难事…以下为连接部分的代码,注意在使用前要引入相关的依赖,比如mysql的连接驱动等等,这些就不用我多BB了吧。示例demo:def main(args: Array[String]): Unit = { val conf = new SparkConf().s...原创 2019-07-16 19:44:32 · 1197 阅读 · 0 评论 -
spark submit 提交脚本的参数详解
在将项目打包之后,可能需要将其提交到大数据平台上去跑,这个时候就涉及到脚本处理。这里主要是有关spark的运行任务…一些常用的提交参数配置如下所示:参数名参数说明- -mastermaster 的地址,提交任务到哪里执行,例如 spark://host:port, yarn, local- -deploy-mode在本地 (client) 启动 driver 或...原创 2019-08-02 17:18:52 · 2327 阅读 · 0 评论 -
Java 中 list集合中有几十万条数据,每次100条为一组取出(一定的量取出)
在开发的过程中要处理Excel文件,将其文档的内容按照一定的形式封住加密之后写入到Kafka中,但是Kafka那边一次性不能消费大量的数据,所以要将数据分批次写入。这里是用一个List来作为中间载体,每次取出一定量的数据写入Kafka中,并且写入之后进行短时间的休眠,防止数据堆积过多。优化代码: // 装填100条数据 for (int i = 0; i < list....原创 2019-08-08 10:49:24 · 13395 阅读 · 4 评论