tbbm.-CSDN博客

原创 JVM简析

JVM简析： JVM组成结构谈谈 Java Virtual Machine 操作系统(如Windows、Linux等) 硬件体系(如Intel体系、SPAC等) JVM是运行在操作系统之上的，它与硬件没有直接交互 Class Loader类加载器：负责加载class文件，class文件在开头有特定的文件标示，并且Cl...

2019-06-04 22:39:29 131

原创 Java并发编程（学习）

Java 并发编程请谈谈你对 volatile的理解 volatile是java虚拟机提供的轻量级的同步机制保证可见性禁止指令重排不保证原子性 JMM(JAVA 内存模型) 请谈谈对JMM的理解基本概念 JMM是一种抽象的概念，并不真实存在，它描述的是一种规范或规则，通过这组规范定义了程序中的访问方式。 JMM 同步规定线程...

2019-06-04 10:28:14 159

原创 Scala---Java 转换（API）

1.mapPartitions scala /* map mapPartitions ,一次处理一个分区的所有数据，处理完毕之后再把数据返回这个分区对应的子RDD的新的分区，因为一次执行，跑的一个分区的所有数据真正执行起来比Map要快很多，而且更加适合在一些场景下，希望创建某些对象比较少的情况，但是它的弊端是一次处理的数据是整个分区的...

2019-03-21 20:23:07 294

原创 Spark-算子

Spark的Transform算子和Action算子列举和示例一：Spark的算子的分类 1. 从大方向来说，Spark 算子大致可以分为以下两类: 1)TransFormation：变换/转换算子(懒加载)：不触发提交作业，完成作业中间过程处理。 TransFormation操作是延迟计算的，也就是说从一个RDD转换生成另一个R...

2019-03-21 15:01:12 290

原创 Scala 基础练习 Demo Demo.

一：scala单例 package com.miaoli.day04 /** * desc: scala 的obje类型 * * 在Scala中没有静态方法和静态字段，但是可以使用object这个语法结构来达到同样的目的 * 1.存放工具方法和常量 * 2.高效共享单个不可变的实例 * 3.单例模式 * Object是class的一个单例，其里面定义的都是静态的成...

2019-03-05 23:06:14 723

原创 Scala Map集合的简单使用

package com.miaoli.blogtest import scala.collection.mutable //scala中Map集合的简单使用 object TestMap { def main(args: Array[String]): Unit = { //创建一个空的map val emptyMap = new mutable.HashMap[Stri...

2019-03-05 19:01:34 381

原创 Scala基础1

基本概念： //方法 Object Demo01Method{ def main(args:Array[String]) : Unit ={ println(method01()) println(method01) println(method02) println(method03("yubanmeiqi...

2019-03-04 15:08:59 76

原创 HBase Rowkey的设计。

Rowkey是什么？类似MySql，Oracle中的主键，用于表示唯一的行。完全是由用户指定的一串不重复的字符串。 HBase中的数据是根据Rowkey的字典顺序来排序的。 Rowkey的作用？读写数据时通过Rowkey找到对应的Region. MemStore中的数据按照Rowkey的字典顺序排序。 HFile中的数据按照Rowkey的字典顺序排序。 Rowkey对查询的影响 ...

2019-02-24 09:57:41 110

原创 MR 练习多表join

多表联查需求：从多文件输出factoryname address 数据：文本一： factoryname id a 1 b 2 c 3 d 4 e 5 文本二： id address 1 A ...

2018-11-27 10:52:23 276

原创 MR 单表join 小练习

数据： child parent 张张爸张张妈王王爸王王妈张爸张爷爷张爸张奶奶张妈张姥爷张妈张姥姥王爸王爷爷王爸王奶奶王妈王姥爷王妈王姥姥输出： grandchild grandpare...

2018-11-27 10:07:41 196

翻译 MapReduce WordCount 练习max avg

max计算需求：输出每天最高温度的日期及温度数据： 20170931 20.1 20170930 30.6 20170931 30.6 20170929 30.02 20170928 10.3 20170928 30.3 20170927 28.3 20170931 28.1 java代码: max package com.beicai.wc1; import ...

2018-11-17 19:21:40 146

原创 MapReduce WordCount

简单实现 MapReduce Wrodcount 一：java代码 package com.beicai.am; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.i...

2018-11-16 14:50:15 100

原创 hadoop 上传小问题

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable put: `/home/in/': No such file or directory。错误的代码： ×hadoop ...

2018-11-15 16:38:04 171

weixin_41791130的博客