7月份大数据在线计算学习
代码的搬运工001
勤快的小蜜蜂
展开
-
scala入门基础看懂底层代码
文章目录1.隐式转换(高阶隐式转换和隐式函数,这里我们先略过)1)有多种类型进行混合运算时,系统首先将所有的类型,转换成精度最大2)当我们把精度大的类型赋值给精度小的类型时,就会出现错误,反之就是3)(byte,short)和char之间是不会进行类型转换的4)byte ,short ,char 三者是可以计算,计算的时候首先转换成Int类型2 .强制类型转换细节注意:1)当进行数据的从大--&...原创 2019-07-09 19:32:10 · 649 阅读 · 0 评论 -
大数据处理基础之scala编程语言入门
概要: 1.为什么要学习scala? 2.scala的介绍 3.与java语言的对比 4.编译工具的安装 5.main方法讲解 6.常量和变量 7.数据类型 8.懒加载 9.差值器 1.大数据学习为什么要学习scala? 大数据学习时数据处理的两种方式: 1)离线计算 : MapReduce 2)在线计算 : spark a.spark 底层是scala ,我们需要看源码 b.sca...原创 2019-07-05 19:45:52 · 6387 阅读 · 1 评论 -
scala语言入门小练习
文章目录1.给变量重新赋值看值是否可变2.Scala中如何获取字符串“Hello”的首字符和尾字符?3.统计三个班的成绩l情况,每个班有五名同学,每位同学的成绩自己输入4.九九乘法表5.100个以内的数求和,求出和大于20 的当前数6. 懒加载变量 只能是val常量7.加法自定义函数 1.如何检测一个变量是val还是var? 给变量重新赋值看值是否可变 2.在Scala中如何获取字符串...原创 2019-07-05 20:15:15 · 568 阅读 · 0 评论 -
Spark学习了解
文章目录Spark的基本运行流程Spark运行流程图解Spark中的角色1、Application2、Driver3、Executor4、 Worker5、Task6、Job7、Stage8、DAGScheduler9、TaskSchedulerSpark工作流程图stage及依赖启动hive找不到Spark的语句需要进行的设置RDD中filter算子应用将文件通过SparkSession读取,获...原创 2019-07-17 21:00:14 · 251 阅读 · 0 评论