2018年08月_fengfengchen95

原创 Scala学习笔记（六）：对象

6.1单例对象scala没有静态方法或静态字段，可以使用object这个语法来达到同样的目的。对象定义了某个类的单个实例，包含了你想要的特性。object Accounts{private var lastNumber=0def newUniqueNumber()={lastNumber+=1;lastNumber}}对象的构造器在对象第一次被使用的时候执行，在本例中Acc...

2018-08-22 16:28:21 142

转载大数据运维方向面试题

大数据运维方向面试题一、基础题1.请写出http和https请求的区别，并写出遇到过的响应状态码. 一、https协议需要到ca申请证书，一般免费证书很少，需要交费。二、http是超文本传输协议，信息是明文传输，https 则是具有安全性的ssl加密传输协议。三、http和https使用的是完全不同的连接方式，用的端口也不一样，前者是80，后者是443。四、http...

2018-08-20 20:20:53 2396 1

转载 Hive UDF开发指南(转）

Hive UDF开发指南编写Apache Hive用户自定义函数（UDF）有两个不同的接口，一个非常简单，另一个...就相对复杂点。如果你的函数读和返回都是基础数据类型（Hadoop&Hive 基本writable类型，如Text,IntWritable,LongWriable,DoubleWritable等等），那么简单的API（org.apache.hadoop.hive.ql...

2018-08-14 13:08:20 381

转载大数据常见问题之数据倾斜(转）

什么是数据倾斜简单的讲，数据倾斜就是我们在计算数据的时候，数据的分散度不够，导致大量的数据集中到了一台或者几台机器上计算，这些数据的计算速度远远低于平均计算速度，导致整个计算过程过慢。相信大部分做数据的童鞋们都会遇到数据倾斜，数据倾斜会发生在数据开发的各个环节中，比如：用Hive算数据的时候reduce阶段卡在99.99% 用SparkStreaming做实时算法...

2018-08-14 10:10:21 1560

原创 Scala学习笔记（五）：类

5.1类class Counter { private var value=0 //你必须初始化字段 def increment() {value+=1} //方法默认是公有的 def current()=value在scala中，类并不声明为public。Scala源文件包含多个类，都是公有的如何对类进行实...

2018-08-12 20:30:28 192

原创 Scala学习笔记（四）：映射和元组

4.1构造映射 val scores=Map("Alice"->10,"Bob"->3,"Cindy"->8) //一个不可变的Map[String,Int]，其值不能改变。 val=scores=scala.collection.mutable.Map("Alice"->10,"Bob"->3,&quot

2018-08-12 10:18:37 235

原创 Scala学习笔记（三）：数组相关操作

3.1定长数据 val nums= new Array[int] (10) //数组长度10，所有元素初始化为0 val a=new Array[String] (10) //数组长度10，所有元素初始化为null val s=Array("Hello","word") ...

2018-08-10 15:16:22 263

原创 Scala学习笔记（二）：控制结构和函数

2.1 条件表达式 2.1.1 Scala中if/else语法结构和java一样，不同点在于此if表达式有值： val s=if (x>0) 1 else -1 //s的值要么是1，要么是-1，取决于X的范围在Scala中，每个表达式都有一个类型，如下是混合表达式类型： if(x>0) "po...

2018-08-09 17:04:46 213

原创 Scala API文档查看注意事项

注意：初学者建议1.www.scala-lang.org/api在现浏览Scaladoc2.查看文档时，每个类旁边的C和O会连接到对应的类（C）或者伴生对象（O）3.使用数字类型，查看RichInt、RichDouble等，使用字符串查看StringOps4.数学函数位于scala.math._包中，而不是位于某个类中5、标记为implicit的方法对应的是自动（隐式）转换。...

2018-08-08 17:06:34 2205

原创 Scala学习笔记（一）：基础篇

1、进入scala：直接输入scala即可2、退出：输入:quit或者:q都可以3、输入变量一部分，按Tab键可补全可调用的方法名称4、从技术上讲Scala并不是一个解释器，实际上是将读取的输入内容迅速的编译成字节码，然后交由Java虚拟机执行，也被称为REPL(读取-计算-打印-循环)5、声明常量值使用val，如val a=10;(注：使用val定义的变量的值不允许再修改，否则会...

2018-08-08 11:15:11 158

转载 Spark启动时的master参数以及Spark的部署方式

Spark启动时的master参数以及Spark的部署方式 geekpy 关注2017.02.10 22:20* 字数 900 阅读 5711评论 0喜欢 2赞赏 1我们在初始化SparkConf时，或者提交Spark任务时，都会有master参数需要设置，如下：conf = SparkConf().setAppName(appName).setMaster(master)sc...

2018-08-07 15:17:26 716

转载 MapReduce性能调优记录

MapReduce原理要知道怎么对MapReduce作业进行调优前提条件是需要对Map-Reduce的过程了然于胸。 Map-Reduce运行原理图： Map Side1.从磁盘读取数据并分片默认每个block对应一个分片，一个map task2.进行map处理运行自定义的map业务过程3.输出数据到缓冲区中map输出的数据并不是直接写入磁盘的，而是会先存储在一个...

2018-08-02 19:00:38 1709

fengfengchen95的博客