2019年12月_SuperBigData~

原创揭开Spark的前世今生

一.了解spark**Apache Spark™**是用于大规模数据处理的统一分析引擎。Apache Spark™is a unified analytics engine for large-scale data processing.spark，快速、通用，可扩展数据分引擎：二.Spark的诞生史2009伯克利大学诞生2010开源2013年6月成为apach...

2019-12-31 09:11:07 1014 2

原创 Scala隐式转换

一.隐式函数package day1230/** * Scala的高级特性 * 隐式转换 * */class Monkey(f:Fruit1) { def eat()={ println("猴子吃"+f.getName()) }}/** * 水果类 * */class Fruit1(name:String){ def getName():...

2019-12-30 18:37:20 138

原创 Scala泛型

一.增加功能跟Java类似，使用方括号定义类型[T]//Int类型类class ClassInt { private var count:Int=10 def get():Int={count} def set(value:Int):Unit={count=value} //String类型类 class ClassString { private var...

2019-12-30 16:53:36 177

原创 Scala样本类

样本类scala> class Student(id:Int){}defined class Studentscala> case class Student1(id:Int){}defined class Student1作用：支持模式匹配在spark SQL 创建schemapackage day1230/***author: Jackso...

2019-12-30 11:14:06 238

原创 Scala的特殊的类型总结

Scala的特殊的类型总结 Any 表示任何类型，相当于Java中的object Unit表示函数无返回值，相当于Java中void Option:Scala中的option代表值是可选（有值或无值） Some:如果有值，option就是some None：没有值，option就是 none Nothing：在scala中是...

2019-12-30 09:18:17 234

原创 Scala模式匹配

一.Scala的模式匹配Scala的模式匹配，比java的功能更加全面，应用比较广泛Scala中提供本类（case class),对模式匹配进行优化package day1228object Demo extends App { /** * 模式匹配 * */ //定义一个变量 val ch1 = "*" //标识符如果ch1是+，sign=...

2019-12-28 22:45:24 3481

原创发现Scala高阶函数小秘密（二）

一.zip集合合并（1，2，3）（4，5，6）==>（（1，4），（2，5），（3，6））scala> var number=List(1,2,3,4)number: List[Int] = List(1, 2, 3, 4)//返回的是一个元组(Int, Int)，里面是Int类型scala> number.zip(List(4,5,6))res0: Lis...

2019-12-28 17:41:57 3569

原创发现高阶函数的小秘密（一）

一.Scala的语言的函数式编程Scala的中的函数：def 函数的名字（参数列表）：返回值={函数题}```scala //实现word count 用spark//将文件读取出来sc.textFile("hdfs://bigdata111:9000/....")//按空格切分flatMap(_.split(" "))//map是一个函数，拼接map...

2019-12-24 11:19:02 180

原创 scala的集合框架与常用的方法

一.继承Scala的继承和java中的继承是一样，都是使用extends关键字在此，定义父类变量用val，子类变量也要用val (特此注意)如果父类和子类用var,则会报错：Error:(29, 24) overriding variable name in class Person of type String; variable name cannot override...

2019-12-23 20:32:55 322

原创 Scala语言的面向对像

1.面向对象的基本概念把数据及对数据的操作方法放在一起，作为一个相互依存的整体——对象面向对象的三大特征：封装继承多态2. 类的定义简单类和无参方法：class Counter { private var value = 0//类 def increment(){value += 1}//无参方法 def current() = value} ...

2019-12-20 19:28:22 3441

原创 Scala函数的参数

一.Scala中，有两种函数参数的求值策略Call By Value:对函数实参求值，且仅求一次 Call By Name:函数实参每次在函数体内被调用到时会求值Call By Value：scala> def test(x:Int,y:Int):Int=x+xtest: (x: Int, y: Int)Intscala> test(9+8,19)res0: ...

2019-12-18 22:35:11 992

原创 HBase读写流程

一、HBase读数据流程Hbase的regionserver的内存Memstore，block cache。Memstore作业主要是写，另一部分主要是读的。block cache用的是Least Recently Used（LRU），如果block cache达到上限，会启动淘汰机制。HRegionServer保存着.META.的这样一张表以及表数据，要访问表数据，首先...

2019-12-10 22:11:52 96

原创 HBase基本操作

HBase基本操作笔记：hbase 是一个No SQL数据库hbase shell 操作语法：插入增，删，改，查在shell中字母写错，删除：按住Ctrl然后删除也可以ctrl+u 全删除帮助命令：help 创建表：create 'student','cf1' 插入数据：put 'student','1001','cf1:age','20'...

2019-12-09 23:36:17 354

原创搭建HBase集群

部署1、Zookeeper正常部署首先保证Zookeeper集群的正常部署，并启动之：/opt/module/zookeeper-3.4.5/ zkServer.sh start2、Hadoop正常部署Hadoop集群的正常部署并启动：/opt/module/hadoop-2.8.4/ start-dfs.sh/opt/module/hadoop-2.8.4/ st...

2019-12-09 15:14:46 78

原创史上最全HBase简介

一、HBaes介绍1.1、HBase简介HBase是一个分布式的、面向列的开源数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。大：上亿行、百万列面向列：面向列（簇）的存储和权限控制，列（簇）独立检索稀疏：对于为空(null)的列，并不占用存储空间，因此，表的设计的非常的稀疏1.2、HBase的角色1.2.1、HM...

2019-12-09 14:42:30 273 1

转载 Plugin org.apache.maven.plugins:maven-clean-plugin:2.5 or one of its dependencies could not be resol

idea导入maven项目，出现以下错误：[ERROR] Plugin org.apache.maven.plugins:maven-clean-plugin:2.5 or one of its dependencies could not be resolved: Failed to read artifact descriptor for org.apache.maven.plugins:...

2019-12-07 16:29:02 3696

原创怎样更加完善自己

1.要有理想，但要学会循序渐进保持理想在这个社会虽然常常被人嘲笑，但仍要时时提醒自己不忘初心，知道自己想去哪里。相信时间的力量，不要试图对时间抱有超额收益率的幻想（这种行为算赌博，只不过赌的是时间）。举个简单的例子，我们吃胖用了一年，减肥却想在一周内减掉，这显然是不太现实的。我们普通意义理解的“拼”就属于循序渐进，而赌不属于，赌的特征就是追求超高回报率且不顾及风险和后果（炒股炒币、借...

2019-12-02 19:50:52 381

原创 Hive安装部署

一.Hive安装地址1）Hive官网地址：http://hive.apache.org/2）文档查看地址：https://cwiki.apache.org/confluence/display/Hive/GettingStarted3）下载地址：http://archive.apache.org/dist/hive/4）github地址：https://githu...

2019-12-02 18:18:22 237

原创 MySQL安装配置

官网下载地址https://dev.mysql.com/downloads/file/?id=471503版本：mysql-5.7.19-1.el7.x86_64.rpm-bundle (1).tar2.检测本地是否有mysql已存在的包rpm -qa | grep mysql3.检测本地是否有mariadb已存在的包（CentOS7自带有）rpm -qa ...

2019-12-01 15:52:37 153

原创 Hive基本概念

一.什么是HiveHive：由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL/SQL转化成MapReduce程序(复杂查询)1）Hive处理的数据存储在HDFS2）Hive分析数据底层的实现是MapReduce3）执行程序运行在Yarn上二....

2019-12-01 15:36:39 103

知其然，知其所以然