博客专栏  >  云计算/大数据   >  spark2.x学习心得

spark2.x学习心得

实战spark

关注
0 已关注
7篇博文
  • spark开发(一)---idea搭建开发环境

    搭建idea环境,在idea里面开发spark程序。开发spark程序,idea是首选的ide,根据自己心得,从idea环境搭建开始。项目代码在我的github里面 https://github.c...

    前天 23:36
    38
  • spark源码远程调试开发

    对于spark源码和spark执行过程有兴趣的同学,可以搭建一个spark的源码调试环境,来调试远程spark源码执行过程。由于spark启动都是通过脚本设置一些环境变量执行指定类来启动的,所以在id...

    5天前 18:17
    1231
  • spark-sql(四)---读写elasticsearch数据

    sparksql读写elasticsearch sparksql将elasticsearch数据转换成RDD进行计算,测试下sparksql对elasticsearch的读和写的操作。

    2017-12-07 14:44
    1394
  • spark-sql(三)---spark-sql性能测试

    sparksql大数据量下测试性能 2.数据环境从网上扒过来的数据,某些网站泄漏的帐号信息,数据重复冗余很少。处理了一下,在原基础上增大了数据量。 准备的数据量大,是保证结果误差更小,也检测下spa...

    2017-12-04 14:56
    1396
  • spark-sql(二)---ThriftServer模式

    ThriftServer ThriftServer和和hiveserver2类似,提供了jdbc/odbc的接口,spark-sql以这种模式启动后可以以服务的形式提供SQL查询。 客户端可以用j...

    2017-11-28 18:14
    1557
  • spark-sql(一)---cli模式

    spark-sqlspark-sql是spark+hive的结合,和hive on spark非常相似,但实现不一样。spark-sql是由spark官方维护,在hive的基础上修改了sql解析任务和...

    2017-11-28 11:16
    1408
  • spark快速入门

    spark快速入门的hellowold

    2017-12-08 11:20
    1454
img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部