- 博客(20)
- 资源 (2)
- 收藏
- 关注
原创 揭开Spark的前世今生
一.了解spark**Apache Spark™**是用于大规模数据处理的统一分析引擎。Apache Spark™is a unified analytics engine for large-scale data processing.spark,快速、通用,可扩展数据分引擎:二.Spark的诞生史2009伯克利大学诞生2010开源2013年6月成为apach...
2019-12-31 09:11:07 1071 2
原创 Scala隐式转换
一.隐式函数package day1230/** * Scala的高级特性 * 隐式转换 * */class Monkey(f:Fruit1) { def eat()={ println("猴子吃"+f.getName()) }}/** * 水果类 * */class Fruit1(name:String){ def getName():...
2019-12-30 18:37:20 149
原创 Scala泛型
一.增加功能跟Java类似,使用方括号定义类型[T]//Int类型类class ClassInt { private var count:Int=10 def get():Int={count} def set(value:Int):Unit={count=value} //String类型类 class ClassString { private var...
2019-12-30 16:53:36 190
原创 Scala样本类
样本类scala> class Student(id:Int){}defined class Studentscala> case class Student1(id:Int){}defined class Student1作用:支持模式匹配在spark SQL 创建schemapackage day1230/***author: Jackso...
2019-12-30 11:14:06 248
原创 Scala的特殊的类型总结
Scala的特殊的类型总结 Any 表示任何类型,相当于Java中的object Unit表示函数无返回值,相当于Java中void Option:Scala中的option代表值是可选(有值或无值) Some:如果有值,option就是some None:没有值,option就是 none Nothing:在scala中是...
2019-12-30 09:18:17 255
原创 Scala模式匹配
一.Scala的模式匹配Scala的模式匹配,比java的功能更加全面,应用比较广泛Scala中提供本类(case class),对模式匹配进行优化package day1228object Demo extends App { /** * 模式匹配 * */ //定义一个变量 val ch1 = "*" //标识符 如果ch1是+,sign=...
2019-12-28 22:45:24 3491
原创 发现Scala高阶函数小秘密(二)
一.zip集合合并(1,2,3)(4,5,6)==>((1,4),(2,5),(3,6))scala> var number=List(1,2,3,4)number: List[Int] = List(1, 2, 3, 4)//返回的是一个元组(Int, Int),里面是Int类型scala> number.zip(List(4,5,6))res0: Lis...
2019-12-28 17:41:57 3593
原创 发现高阶函数的小秘密(一)
一.Scala的语言的函数式编程Scala的中的函数:def 函数的名字(参数列表):返回值={函数题}```scala //实现word count 用spark//将文件读取出来sc.textFile("hdfs://bigdata111:9000/....")//按空格切分flatMap(_.split(" "))//map是一个函数,拼接map...
2019-12-24 11:19:02 191
原创 scala的集合框架与常用的方法
一.继承Scala的继承和java中的继承是一样,都是使用extends关键字在此,定义父类变量用val,子类变量也要用val (特此注意)如果父类和子类用var,则会报错:Error:(29, 24) overriding variable name in class Person of type String; variable name cannot override...
2019-12-23 20:32:55 348
原创 Scala语言的面向对像
1.面向对象的基本概念把数据及对数据的操作方法放在一起,作为一个相互依存的整体——对象 面向对象的三大特征:封装 继承 多态2. 类的定义简单类和无参方法:class Counter { private var value = 0//类 def increment(){value += 1}//无参方法 def current() = value} ...
2019-12-20 19:28:22 3457
原创 Scala函数的参数
一.Scala中,有两种函数参数的求值策略Call By Value:对函数实参求值,且仅求一次 Call By Name:函数实参每次在函数体内被调用到时会求值Call By Value:scala> def test(x:Int,y:Int):Int=x+xtest: (x: Int, y: Int)Intscala> test(9+8,19)res0: ...
2019-12-18 22:35:11 1054
原创 HBase读写流程
一、HBase读数据流程Hbase的regionserver的内存Memstore,block cache。Memstore作业主要是写,另一部分主要是读的。block cache用的是Least Recently Used(LRU),如果block cache达到上限,会启动淘汰机制。HRegionServer保存着.META.的这样一张表以及表数据,要访问表数据,首先...
2019-12-10 22:11:52 109
原创 HBase基本操作
HBase基本操作笔记:hbase 是一个No SQL数据库hbase shell 操作语法:插入 增,删,改,查 在shell中字母写错,删除:按住Ctrl然后删除 也可以ctrl+u 全删除 帮助命令:help 创建表:create 'student','cf1' 插入数据:put 'student','1001','cf1:age','20'...
2019-12-09 23:36:17 377
原创 搭建HBase集群
部署1、Zookeeper正常部署首先保证Zookeeper集群的正常部署,并启动之:/opt/module/zookeeper-3.4.5/ zkServer.sh start2、Hadoop正常部署Hadoop集群的正常部署并启动:/opt/module/hadoop-2.8.4/ start-dfs.sh/opt/module/hadoop-2.8.4/ st...
2019-12-09 15:14:46 90
原创 史上最全HBase简介
一、HBaes介绍1.1、HBase简介HBase是一个分布式的、面向列的开源数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。大:上亿行、百万列面向列:面向列(簇)的存储和权限控制,列(簇)独立检索稀疏:对于为空(null)的列,并不占用存储空间,因此,表的设计的非常的稀疏1.2、HBase的角色1.2.1、HM...
2019-12-09 14:42:30 289 1
转载 Plugin org.apache.maven.plugins:maven-clean-plugin:2.5 or one of its dependencies could not be resol
idea导入maven项目,出现以下错误:[ERROR] Plugin org.apache.maven.plugins:maven-clean-plugin:2.5 or one of its dependencies could not be resolved: Failed to read artifact descriptor for org.apache.maven.plugins:...
2019-12-07 16:29:02 3813
原创 怎样更加完善自己
1.要有理想,但要学会循序渐进保持理想在这个社会虽然常常被人嘲笑,但仍要时时提醒自己不忘初心,知道自己想去哪里。相信时间的力量,不要试图对时间抱有超额收益率的幻想(这种行为算赌博,只不过赌的是时间)。举个简单的例子,我们吃胖用了一年,减肥却想在一周内减掉,这显然是不太现实的。我们普通意义理解的“拼”就属于循序渐进,而赌不属于,赌的特征就是追求超高回报率且不顾及风险和后果(炒股炒币、借...
2019-12-02 19:50:52 429
原创 Hive安装部署
一.Hive安装地址1)Hive官网地址:http://hive.apache.org/2)文档查看地址:https://cwiki.apache.org/confluence/display/Hive/GettingStarted3)下载地址:http://archive.apache.org/dist/hive/4)github地址:https://githu...
2019-12-02 18:18:22 259
原创 MySQL安装配置
官网下载地址https://dev.mysql.com/downloads/file/?id=471503版本:mysql-5.7.19-1.el7.x86_64.rpm-bundle (1).tar2.检测本地是否有mysql已存在的包rpm -qa | grep mysql3.检测本地是否有mariadb已存在的包(CentOS7自带有)rpm -qa ...
2019-12-01 15:52:37 166
原创 Hive基本概念
一.什么是HiveHive:由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。本质是:将HQL/SQL转化成MapReduce程序(复杂查询)1)Hive处理的数据存储在HDFS2)Hive分析数据底层的实现是MapReduce3)执行程序运行在Yarn上二....
2019-12-01 15:36:39 113
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人