- 博客(13)
- 收藏
- 关注
RSS订阅原创 JVM简析
JVM简析： JVM组成结构谈谈 Java Virtual Machine 操作系统(如Windows、Linux等) 硬件体系(如Intel体系、SPAC等) JVM是运行在操作系统之上的，它与硬件没有直接交互 Class Loader类加载器： 负责加载class文件，class文件在开头有特定的文件标示，并且Cl...
2019-06-04 22:39:29
173
原创 Java并发编程 （学习）
Java 并发编程请谈谈你对 volatile的理解volatile是java虚拟机提供的轻量级的同步机制 保证可见性 禁止指令重排 不保证原子性 JMM(JAVA 内存模型) 请谈谈对JMM的理解基本概念 JMM是一种抽象的概念，并不真实存在，它描述的是一种规范或规则，通过这组规范定义了程序中的访问方式。 JMM 同步规定 线程...
2019-06-04 10:28:14
201
原创 Scala---Java 转换（API）
1.mapPartitionsscala /* map mapPartitions ,一次处理一个分区的所有数据， 处理完毕之后再把数据返回这个分区对应的子RDD的新的分区， 因为一次执行，跑的一个分区的所有数据 真正执行起来比Map要快很多，而且更加适合在一些场景下， 希望创建某些对象比较少的情况 ，但是它的弊端是 一次处理的数据是整个分区的...
2019-03-21 20:23:07
317
原创 Spark-算子
Spark的Transform算子和Action算子列举和示例一：Spark的算子的分类 1. 从大方向来说，Spark 算子大致可以分为以下两类: 1)TransFormation：变换/转换算子(懒加载)：不触发提交作业，完成作业中间过程处理。 TransFormation操作是延迟计算的，也就是说从一个RDD转换生成另一个R...
2019-03-21 15:01:12
354
原创 Scala 基础练习 Demo Demo.
一：scala单例package com.miaoli.day04/** * desc: scala 的obje类型 * * 在Scala中没有静态方法和静态字段，但是可以使用object这个语法结构来达到同样的目的 * 1.存放工具方法和常量 * 2.高效共享单个不可变的实例 * 3.单例模式 * Object是class的一个单例，其里面定义的都是静态的成...
2019-03-05 23:06:14
776
原创 Scala Map集合的简单使用
package com.miaoli.blogtestimport scala.collection.mutable//scala中Map集合的简单使用object TestMap { def main(args: Array[String]): Unit = { //创建一个空的map val emptyMap = new mutable.HashMap[Stri...
2019-03-05 19:01:34
415
原创 Scala基础1
基本概念：//方法Object Demo01Method{ def main(args:Array[String]) : Unit ={ println(method01()) println(method01) println(method02) println(method03("yubanmeiqi...
2019-03-04 15:08:59
94
原创 HBase Rowkey的设计。
Rowkey是什么？类似MySql，Oracle中的主键，用于表示唯一的行。 完全是由用户指定的一串不重复的字符串。HBase中的数据是根据Rowkey的字典顺序来排序的。Rowkey的作用？读写数据时通过Rowkey找到对应的Region. MemStore中的数据按照Rowkey的字典顺序排序。HFile中的数据按照Rowkey的字典顺序排序。Rowkey对查询的影响...
2019-02-24 09:57:41
150
原创 MR 练习 多表join
多表联查 需求：从多文件输出factoryname address数据：文本一： factoryname id a 1 b 2 c 3 d 4 e 5 文本二： id address 1 A ...
2018-11-27 10:52:23
319
原创 MR 单表join 小练习
数据： child parent张 张爸张 张妈王 王爸王 王妈张爸 张爷爷张爸 张奶奶张妈 张姥爷张妈 张姥姥王爸 王爷爷王爸 王奶奶王妈 王姥爷王妈 王姥姥输出：grandchild grandpare...
2018-11-27 10:07:41
215
翻译 MapReduce WordCount 练习max avg
max计算需求：输出每天最高温度的日期及温度数据：20170931 20.120170930 30.620170931 30.620170929 30.0220170928 10.320170928 30.320170927 28.320170931 28.1 java代码: maxpackage com.beicai.wc1;import ...
2018-11-17 19:21:40
164
原创 MapReduce WordCount
简单实现 MapReduce Wrodcount 一：java代码 package com.beicai.am;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.i...
2018-11-16 14:50:15
119
原创 hadoop 上传小问题
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableput: `/home/in/': No such file or directory。 错误的代码： ×hadoop ...
2018-11-15 16:38:04
191
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人