- 博客(23)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 十一、Scala从入门到精通一一集合操作
目录11.1、集合元素的映射-map映射操作11.1.1、看一个实际需求11.1.2、map映射操作11.1.3、使用传统方法11.1.4、高阶函数基本使用案例111.1.5、高阶函数应用案例211.1.6、使用map映射函数来解决11.1.7、深刻理解map映射函数的机制-模拟实现11.1.8、课堂练习11.1.9、flatmap 映射：flat即压扁，压平，扁平化映射11.2、集合元素的过滤-...
2020-04-23 10:29:48
1172
原创 十、Scala从入门到精通一一集合
目录10.1、数据结构特点10.1.1、Scala集合基本介绍10.1.2、可变集合和不可变集合举例三级目录10.1、数据结构特点10.1.1、Scala集合基本介绍uml => 统一建模语言1、Scala同时支持不可变集合和可变集合，不可变集合可以安全的并发访问两个主要的包：不可变集合：scala.collection.immutable可变集合：scala.collecti...
2020-04-22 16:14:21
1999
原创 2、C语言从入门到精通一一变量
目录2.1、为什么需要变量2.1.1、变量是程序的基本组成单位2.2、变量的介绍2.2.1、概念2.2.2、变量使用的基本步骤2.3、变量快速入门2.3.1、变量使用入门案例2.4、变量使用注意事项2.5、变量的数据类型2.6、整数类型2.6.1、基本介绍2.6.2、案例演示2.6.3、整型的类型2.6.4、整型的使用细节2.7、浮点类型2.7.1、基本介绍2.7.1、案例演示2.7.3、浮点型的...
2020-04-10 19:51:01
1761
1
原创 1、C语言从入门到精通一一概述
目录1.1、什么是程序1.2、why is c语言2.3、C语言的诞生小故事2.4、C语言发展历程2.5、C语言的特点2.6、C程序的开发工具2.7、安装VC++2010Express2.7.1、VC++2010Express基本介绍2.7.2、VC++2010Express安装流程2.8、安装VC6.0中文版下载（支持XP、Win7、Win8、Win10）2.8.1说明2.9、C程序开发快速入门...
2020-04-09 19:00:17
7522
原创 九、Scala从入门到精通一一隐式转换和隐式值
目录9.1、隐式转换9.1.1、提出问题9.1.2、隐式函数基本介绍9.1.3、隐式函数快速入门9.1.4、隐式转换的注意事项和细节9.2、隐式转换丰富类库功能9.2.1、快速入门案例9.3、隐式值9.3.1、基本介绍9.3.2、快速入门9.3.3、一个案例说明隐式值，默认值，传值的优先级9.4、隐式类9.4.1、基本介绍9.4.2、隐式类使用有如下几个特点：9.4.3、应用案例9.5、隐式的转换...
2020-04-09 08:51:10
2015
原创 八、Scala从入门到精通一一面向对象编程(高级特性)
目录8.1、静态属性和静态方法8.1.1、静态属性-提出问题8.1.2、基本介绍8.1.3、伴生对象的快速入门8.1.4、伴生对象的小结8.1.5、最佳实践-使用伴生对象完成小孩玩游戏8.1.6、伴生对象-apply方法8.1.7、练习题8.2、接口8.2.1、回顾Java接口8.3.2、Scala接口的介绍8.3.3、trait的说明8.3.4、Scala中trait的使用8.4、特质(trai...
2020-04-07 11:26:43
4168
原创 七、Scala从入门到精通一一面向对象编程（中级）
目录7、包7.1、看一个应用场景7.2、回顾-Java包的三大作用7.3、回顾-Java打包命令7.4、快速入门7.5、Scala包的基本介绍7.6、Scala包快速入门7.7、Scala包的特点概述7.8、scala包的命名7.9、Scala会自动引入的常用包7.10、Scala包注意事项和使用细节7.11、包对象7.12、包对象的应用案例7.13、包对象的底层实现机制分析(重点)7.14、包对...
2020-04-06 08:47:26
4775
原创 六、Scala从入门到精通一一面对对象编程（初级）
目录6、面向对象编程6.1、类与对象6.1.1、Scala语言是面向对象的6.1.2、快速入门-面向对象的方式解决养猫问题6.1.3、类与对象的区别和联系6.1.4、如何定义类6.1.5、属性6.1.6、属性/成员变量6.1.7、属性的高级部分6.1.8、如何创建对象6.1.9、类和对象的内存分配机制6.2、方法6.2.1、基本说明6.2.2、基本语法6.2.3、方法案例演示6.2.4、方法的调用...
2020-04-02 15:43:40
4511
原创 五、Scala从入门到精通一一函数式编程(基础)
目录1、 函数式编程内容及讲课顺序1.1、函数式编程内容1.2、函数式编程授课顺序2、函数式编程内容2.1、几个概念的说明2.2、在学习Scala中将方法、函数、函数式编程和面向对象编程关系分析图2.3、函数式编程小结3、为什么需要函数4、函数的定义4.1、基本语法4.2、快速入门案例5、函数-调用机制5.1、函数-调用过程5.2、函数递归调用的重要的规则和小结5.3、使用Scala递归调用的应用...
2020-04-01 10:52:07
5145
原创 四、Scala从入门到精通一一循环控制
基本语法 if (条件表达式1) { 执行代码块1 } else if (条件表达式2) { 执行代码块2 } …… else { 执行代码块n }
2020-03-30 14:59:31
6063
1
原创 三、Scala从入门到精通一一运算符
目录3、运算符介绍3.1、算术运算符3.1.1、介绍3.1.2、算术运算符一览图3.1.3、案例演示3.1.4、细节说明3.1.5、课堂练习3.2、关系运算符(比较运算符)3.2.1、基本介绍3.2.2、关系运算符的一览图3.2.3、案例演示3.2.4、细节说明3.3、逻辑运算符3.3.1、介绍3.3.2、逻辑运算符的一览图3.3.3、案例演示3.4、赋值运算符3.4.1、介绍3.4.2、赋值运算...
2020-03-29 12:11:06
4772
原创 二、Scala从入门到精通一一变量
目录1、变量2、变量的介绍2.1、 变量的概念2.2 、变量的使用步骤3、Scala中变量的基本使用3.1、案例（示意图）3.2、变量的使用说明4、程序中+号的说明5、数据类型5.1、scala数据类型体系一览图（记住）5.2、Scala数据类型列表6、整数类型6.1、基本介绍6.2、整数的类型6.3、整数的使用细节7、浮点类型7.1、基本介绍7.2、浮点型的分类7.3 、浮点型使用细节8、字符类...
2020-03-27 12:38:30
4981
原创 一、Scala从入门到精通一一概述
Scala的基本概述why is Scala?Scala的诞生如何学好Scala？why is Scala?Spark—新一代内存级大数据计算框架，是大数据的重要内容。Spark就是使用Scala编写的。因此为了更好的学习Spark, 需要掌握Scala这门语言。Scala 是 Scalable Language 的简写，是一门多范式(范式/编程方式[面向对象/函数式编程])的编程语言...
2020-03-26 10:43:42
6034
原创 MapReduce数据分析（10）综合实战
十、MapReduce综合实战 综合实战：环境大数据案列目的 1.学会分析环境数据文件；2.学会编写解析环境数据文件并进行统计的代码；3.学会进行递归MapReduce。案例要求要求实验结束时，每位学生均已在master服务器上运行从北京2016年1月到6月这半年间的历史天气和空气质量数据文件中分析出的环境统计结果，包含月平均气温、空气质量分布情况等。实现原理近年来，...
2019-11-15 13:03:31
7608
18
原创 MapReduce数据分析（9）数据去重
九、MapReduce第九讲数据去重（）实现原理分析：map函数数将输入的文本按照行读取， 并将Key–每一行的内容 输出 value–空。reduce 会自动统计所有的key,我们让reduce输出key->输入的key value->空，这样就利用reduce自动合并相同的key的原理实现了数据去重。数据介绍：链家网公司需要对数据进行，找了一些数据分析...
2019-11-14 13:09:06
2914
原创 MapReduce数据分析（8）TopN
八、MapReduce第八讲TopK本次教程主要讲TreeMap方法：在搜索引擎领域中，常常需要统计最近最热门的K个查询词，这就是典型的“Top K”问题，也就是从海量查询中统计出现频率最高的前K个。该问题可分解成两个MapReduce作业，分别完成统计词频和找出词频最高的前K个查询词的功能，这两个作业存在依赖关系，第二个作业需要依赖前一个作业的输出结果。第一个作业是典型的WordCount问...
2019-11-13 13:27:17
3415
原创 MapReduce数据分析（7）Join操作
七、MapReduce第七讲合表（Join操作）通俗的讲就是把两个文件的内容合到一块。话不多说，我直接上案列一、准备两个数据文件：data.txt：201001 1003 abc201002 1005 def201003 1006 ghi201004 1003 jkl201005 1004 mno201006 1005 pqrinfo.txt：1003 kaka100...
2019-11-11 21:23:16
1477
1
原创 MapReduce数据分析（6）共同好友
六、MapReduce第六讲共同好友（Common friends）某某社交网站，有如下用户好友关系：A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E,OI:A,OJ:B,OK:A,C,DL:D,E,FM:E,F,GO:A,H,I,J数据...
2019-11-02 15:34:14
2876
1
原创 MapReduce数据分析（5）平均值
五、MapReduce第五讲：平均值（Avg）平均值的话就是通过写MapReduce代码来进行数据的平均值下面我们通过案列来讲解一下吧！案列：对联通流量数据进行分析，要求编写MapReduce代码对数据处理，输出手机号、上行流量、下行流量、平均流量。代码如下：package F;import java.io.IOException;import org.apache.hadoop...
2019-11-01 16:48:00
3258
原创 MapReduce数据分析（4）最大值
MapReduce第四讲：Max（最大值）最大值的话小编没有什么可以说的，我相信大家都明白，这次我就直接上案列和代码了。数据如下：案列：编写MapReduce代码获得每年的最高气温。代码：package demo;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org....
2019-11-01 10:21:01
3618
原创 MapReduce数据分析（3）计数器
三、MapReduce第三讲Counter（计数器）在写代码之前我先讲一下：MapReduce计数器是什么？计数器是用来纪录job任务的执行进度和状态。它的作用可以理解为日志，我们可以再进程中插入计数器，来纪录数据的变化情况。Demo：实现自己的一个计数器，统计输入的无效数据。需求：编写代码统计文档大于3个字段和小于3个字段的字段个数数据如下代码如下：package demo...
2019-10-30 19:30:22
2402
原创 MapReduce数据分析（1）单词计数
一、MapReduce第一讲WordCount（单词计数）在这里小编做一下简介：MapReduce计算框架。MapReduce是面向大数据并行处理的计算模型、框架和平台，它隐含了以下三层含义：1）MapReduce是一个基于集群的高性能并行计算平台（Cluster Infrastructure）。它允许用市场上普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群。2）Ma...
2019-10-29 19:47:04
3168
2
lingo教程.doc
2020-04-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人