自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Jackson_mvp的博客

保持饥饿,保持学习。VX:LQ1518123002

  • 博客(20)
  • 资源 (2)
  • 收藏
  • 关注

原创 揭开Spark的前世今生

一.了解spark**Apache Spark™**是用于大规模数据处理的统一分析引擎。Apache Spark™is a unified analytics engine for large-scale data processing.spark,快速、通用,可扩展数据分引擎:二.Spark的诞生史2009伯克利大学诞生2010开源2013年6月成为apach...

2019-12-31 09:11:07 486 2

原创 Scala隐式转换

一.隐式函数package day1230/** * Scala的高级特性 * 隐式转换 * */class Monkey(f:Fruit1) { def eat()={ println("猴子吃"+f.getName()) }}/** * 水果类 * */class Fruit1(name:String){ def getName():...

2019-12-30 18:37:20 52

原创 Scala泛型

一.增加功能跟Java类似,使用方括号定义类型[T]//Int类型类class ClassInt { private var count:Int=10 def get():Int={count} def set(value:Int):Unit={count=value} //String类型类 class ClassString { private var...

2019-12-30 16:53:36 62

原创 Scala样本类

样本类scala> class Student(id:Int){}defined class Studentscala> case class Student1(id:Int){}defined class Student1作用:支持模式匹配在spark SQL 创建schemapackage day1230/***author: Jackso...

2019-12-30 11:14:06 97

原创 Scala的特殊的类型总结

Scala的特殊的类型总结 Any 表示任何类型,相当于Java中的object​ Unit表示函数无返回值,相当于Java中void​ Option:Scala中的option代表值是可选(有值或无值)​ Some:如果有值,option就是some​ None:没有值,option就是 none Nothing:在scala中是...

2019-12-30 09:18:17 65

原创 Scala模式匹配

一.Scala的模式匹配Scala的模式匹配,比java的功能更加全面,应用比较广泛Scala中提供本类(case class),对模式匹配进行优化package day1228object Demo extends App { /** * 模式匹配 * */ //定义一个变量 val ch1 = "*" //标识符 如果ch1是+,sign=...

2019-12-28 22:45:24 3336

原创 发现Scala高阶函数小秘密(二)

一.zip集合合并(1,2,3)(4,5,6)==>((1,4),(2,5),(3,6))scala> var number=List(1,2,3,4)number: List[Int] = List(1, 2, 3, 4)//返回的是一个元组(Int, Int),里面是Int类型scala> number.zip(List(4,5,6))res0: Lis...

2019-12-28 17:41:57 3368

原创 发现高阶函数的小秘密(一)

一.Scala的语言的函数式编程Scala的中的函数:def 函数的名字(参数列表):返回值={函数题}```scala //实现word count 用spark//将文件读取出来sc.textFile("hdfs://bigdata111:9000/....")//按空格切分flatMap(_.split(" "))//map是一个函数,拼接map...

2019-12-24 11:19:02 71

原创 scala的集合框架与常用的方法

一.继承Scala的继承和java中的继承是一样,都是使用extends关键字在此,定义父类变量用val,子类变量也要用val (特此注意)如果父类和子类用var,则会报错:Error:(29, 24) overriding variable name in class Person of type String; variable name cannot override...

2019-12-23 20:32:55 137

原创 Scala语言的面向对像

1.面向对象的基本概念把数据及对数据的操作方法放在一起,作为一个相互依存的整体——对象 面向对象的三大特征:封装 继承 多态2. 类的定义简单类和无参方法:class Counter { private var value = 0//类 def increment(){value += 1}//无参方法 def current() = value} ...

2019-12-20 19:28:22 3337

原创 Scala函数的参数

一.Scala中,有两种函数参数的求值策略Call By Value:对函数实参求值,且仅求一次 Call By Name:函数实参每次在函数体内被调用到时会求值Call By Value:scala> def test(x:Int,y:Int):Int=x+xtest: (x: Int, y: Int)Intscala> test(9+8,19)res0: ...

2019-12-18 22:35:11 122

原创 HBase读写流程

一、HBase读数据流程Hbase的regionserver的内存Memstore,block cache。Memstore作业主要是写,另一部分主要是读的。block cache用的是Least Recently Used(LRU),如果block cache达到上限,会启动淘汰机制。HRegionServer保存着.META.的这样一张表以及表数据,要访问表数据,首先...

2019-12-10 22:11:52 38

原创 HBase基本操作

HBase基本操作笔记:hbase 是一个No SQL数据库hbase shell 操作语法:插入 增,删,改,查 在shell中字母写错,删除:按住Ctrl然后删除 也可以ctrl+u 全删除 帮助命令:help 创建表:create 'student','cf1' 插入数据:put 'student','1001','cf1:age','20'...

2019-12-09 23:36:17 88

原创 搭建HBase集群

部署1、Zookeeper正常部署首先保证Zookeeper集群的正常部署,并启动之:/opt/module/zookeeper-3.4.5/ zkServer.sh start2、Hadoop正常部署Hadoop集群的正常部署并启动:/opt/module/hadoop-2.8.4/ start-dfs.sh/opt/module/hadoop-2.8.4/ st...

2019-12-09 15:14:46 32

原创 史上最全HBase简介

一、HBaes介绍1.1、HBase简介HBase是一个分布式的、面向列的开源数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。大:上亿行、百万列面向列:面向列(簇)的存储和权限控制,列(簇)独立检索稀疏:对于为空(null)的列,并不占用存储空间,因此,表的设计的非常的稀疏1.2、HBase的角色1.2.1、HM...

2019-12-09 14:42:30 112 1

转载 Plugin org.apache.maven.plugins:maven-clean-plugin:2.5 or one of its dependencies could not be resol

idea导入maven项目,出现以下错误:[ERROR] Plugin org.apache.maven.plugins:maven-clean-plugin:2.5 or one of its dependencies could not be resolved: Failed to read artifact descriptor for org.apache.maven.plugins:...

2019-12-07 16:29:02 1284

原创 怎样更加完善自己

1.要有理想,但要学会循序渐进保持理想在这个社会虽然常常被人嘲笑,但仍要时时提醒自己不忘初心,知道自己想去哪里。相信时间的力量,不要试图对时间抱有超额收益率的幻想(这种行为算赌博,只不过赌的是时间)。举个简单的例子,我们吃胖用了一年,减肥却想在一周内减掉,这显然是不太现实的。我们普通意义理解的“拼”就属于循序渐进,而赌不属于,赌的特征就是追求超高回报率且不顾及风险和后果(炒股炒币、借...

2019-12-02 19:50:52 165

原创 Hive安装部署

一.Hive安装地址1)Hive官网地址:http://hive.apache.org/2)文档查看地址:https://cwiki.apache.org/confluence/display/Hive/GettingStarted3)下载地址:http://archive.apache.org/dist/hive/4)github地址:https://githu...

2019-12-02 18:18:22 102

原创 MySQL安装配置

官网下载地址https://dev.mysql.com/downloads/file/?id=471503版本:mysql-5.7.19-1.el7.x86_64.rpm-bundle (1).tar2.检测本地是否有mysql已存在的包rpm -qa | grep mysql3.检测本地是否有mariadb已存在的包(CentOS7自带有)rpm -qa ...

2019-12-01 15:52:37 101

原创 Hive基本概念

一.什么是HiveHive:由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。本质是:将HQL/SQL转化成MapReduce程序(复杂查询)1)Hive处理的数据存储在HDFS2)Hive分析数据底层的实现是MapReduce3)执行程序运行在Yarn上二....

2019-12-01 15:36:39 61

CentOS7配置NAT模式网络详细步骤

CentOS7配置NAT模式网络详细步骤,学习

2019-09-15

CDH6.3搭建及集成flink文档.docx

CDH6.3搭建及集成flink文档,亲测有效。

2021-03-24

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除