自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(22)
  • 收藏
  • 关注

原创 大数据——CentOS 7加装虚拟机存储空间、CPU和内存

CentOS 7加装存储空间一级目录二级目录三级目录一级目录二级目录三级目录

2020-10-31 16:44:47 3475

原创 大数据——在CentOS 7上安装和配置Spark

在CentOS 7上安装和配置Spark下载安装配置使用下载Spark下载安装这边使用的是spark-2.4.5把虚拟机的目录移动到根目录下的software目录下[root@hadoop100 ~]# cd /software把下载好的安装包拖进来压安装包到根目录下的opt目录下[root@hadoop100 software]# tar -zxvf spark-2.4.5-bin-hadoop2.6.tgz -C /opt移动到根目录下的opt目录下[root@h

2020-10-30 17:19:35 439

原创 大数据——在CentOS 7上安装和配置Scala

在CentOS 7上安装和配置Scala下载安装下载Scala下载安装这边使用的是scala-2.11.12把虚拟机的目录移动到根目录下的software目录下[root@hadoop100 ~]# cd /software把安装包拖进来解压安装包到根目录下的opt目录下[root@hadoop100 software]# tar -zxvf scala-2.11.12.tgz -C /opt移动到根目录下的opt目录下[root@hadoop100 software

2020-10-30 16:43:42 475

原创 大数据——Scala集合Array函数方法大全(数组常用方法)

Scala集合Array函数方法大全Array函数方法目录函数具体用法Array函数方法目录++counthasDefiniteSizemaxBysameElementstoBuffer++:deepheadminscantolndexedSeq+:diffheadOptionminByscanLefttolterable/:distinctindexOfmkStringscanRighttolterator:+dropin

2020-10-29 19:58:30 458

原创 大数据——Scala部分应用函数和偏函数及示例演示

Scala部分函数和偏函数及示例演示部分应用函数示例偏函数示例部分应用函数部分应用函数也称部分函数。当在调用一个函数时,把这个函数应用到参数中。 如果您传递所有预期的参数,则表示您已完全应用它。 如果只传递几个参数并不是全部参数,那么将返回部分应用的函数。这样就可以方便地绑定一些参数,其余的参数可稍后填写补上。示例object test { def main(args: Array[String]): Unit = { def showMsg(title:String,content:S

2020-10-27 17:01:52 142

原创 大数据——Scala特质和型变及示例演示

特质和型变及示例演示特质(Trait)使用特质混入特质(mixin)动态混入特质特质与抽象类的选择示例型变协变逆变不变示例特质(Trait)Scala中没有接口(interface)的概念特质用于在类之间共享程序接口和字段,类似于Java接口特质是字段和方法的集合,可以提供字段和方法实现类和单例对象都可以扩展特质(extends)特质不能被实例化,因此没有构造参数,类似于Java接口特质使用“trait”关键字定义实现特质中的方法使用“override”使用特质import scala.

2020-10-27 16:28:05 236 2

原创 大数据——Scala伴生类和伴生对象及示例演示

Scala伴生类、伴生对象伴生(Companion)伴生类与伴生对象示例伴生(Companion)单例对象与同名类定义在同一文件中时形成绑定关系同名类称为单例对象的伴生类(class)单例对象称为同名类伴生对象(object)伴生类与伴生对象可相互访问各自私有成员伴生对象可为伴生类增加静态成员伴生类与伴生对象//Student.scala//伴生类class Student(n: String, a: Int) { private var name = n //私有变量,伴

2020-10-27 14:05:42 303

原创 大数据——Scala隐式参数、隐式函数和隐式类及示例演示

Scala隐式参数、隐式函数和隐式类及示例演示隐式参数示例隐式函数示例隐式类隐式类应用示例隐式参数方法可以具有隐式参数列表,由参数列表开头的implicit关键字标记implicit只能修改最尾部的参数列表,应用于其全部参数Scala可自动传递正确类型的隐式值通常与柯里化函数结合使用def sum(x:Int)(implicit y:Int)=x+yimplicit var a=10 //将作为Int类型隐式值自动传递sum(10) //20示例object test {obje

2020-10-26 19:08:06 421

原创 大数据——Scala柯里化、样例类和模式匹配及示例演示

Scala柯里化和模式匹配及示例演示柯里化(Currying)示例match表达式模式匹配示例一般的模式匹配模式匹配使用if守卫模式匹配中使用变量赋值对Array和List的元素进行模式匹配Option与模式匹配柯里化(Currying)方法可以定义多个参数列表,当使用较少的参数列表调用多参数列表的方法时,会产生一个新的参数,该函数接收剩余的参数列表作为其参数。这被称为柯里化//单参数列表def modN(n: Int,x: Int) = ((x % n) == 0)//多参数列表def mod

2020-10-26 17:04:31 218

原创 大数据——Scala函数作为参数和函数作为返回值及示例演示

Scala函数作为参数和函数作为返回值及示例演示高阶函数示例函数作为参数函数作为返回值传入一个字符,判断其长度,长度大于5加法,小于5减法,等于5乘法传入一个数字,判断是否能被3整除,能被整除加法,不能被整除减法传入一个数字,判断是否能被3整除,能被3整除,相加大于等于3000,输出某某的收入很高,相加小于3000,输出某某再加把力;不能被3整除,相加大于等于3000,输出某某是一个节约的人,相加小于3,输出某某要省着点花钱哟高阶函数高阶函数可以将其他函数作为参数或者使用函数作为输出结果//函数作为参

2020-10-25 16:35:48 852

原创 大数据——Scala命名参数和匿名函数及示例演示

Scala命名参数和匿名函数Scala命名参数示例通过指定参数名字,传递参数值参数的长度未知,通过*来表示,可以传入多个参数匿名函数示例匿名函数定义及使用Scala命名参数通常情况下,传入参数与函数定义的参数列表一一对应命名参数允许使用任意顺序传入参数def printName(first:String, last:String) = { println(first + " " + last)} //Prints "John Smith"printName("John","Smith

2020-10-25 14:57:52 293

原创 大数据——Scala简单函数及示例演示

Scala简单函数和实例演示Scala简单函数函数定义函数调用示例判断两个数的最小值判断两个数的最大值根据输入的运算符来判断该如何进行运算操作输入一个正整数,进行叠乘Scala简单函数函数定义def 函数名([参数列表]):[返回值]={ 函数体 return [表达式]}函数调用函数名(参数列表)示例判断两个数的最小值object test { def main(args: Array[String]): Unit = { def minValue

2020-10-25 13:54:02 357

原创 大数据——Scala扩展

Scala扩展match表达式样例类的模式匹配非样例类的模式匹配偏函数注解运算符Scala正则表达式(一)Scala正则表达式(二)Scala正则表达式(三)Scala正则表达式(四)Scala正则表达式(五)隐式类隐式类应用Scala异常处理(一)异常处理(二)match表达式类似于Java switch语句能处理类型所有类型不需要break能够生成值val firstArg=if(args.length>0) args(0) else ""firstArg match{

2020-10-25 13:05:22 242

原创 大数据——Scala面向对象编程

Scala面向对象编程Scala面向对象基本概念类(class)类成员访问修饰符类的定义类的继承抽象类单例对象(object)定义单例对象伴生(Companion)伴生类与伴生对象特质(trait)使用特质混入特质(mixin)动态混入特质特质与抽象类的选择内部类样例类样例类和枚举样例类与普通类泛型类类型边界型变包与包对象包引用Scala面向对象基本概念类(Class)抽象类(abstract class)单例对象(object)特质(trait)样例类(case class)类(class)

2020-10-23 00:13:54 352 3

原创 大数据——Scala函数

Scala函数Java Lam表达式示例内置四大函数式接口Scala函数示例参数传递命名参数示例Java Lam表达式函数式接口一种只含有一个抽象方法声明的接口可以使用匿名内部类来实例化函数式接口的对象通过Lambda表达式可以进一步简化代码Lambda语法(parameters) -> expression(parameters) ->{ statements; }示例//Java 8方式:new Thread() -> System.out.println

2020-10-22 16:13:23 433

原创 大数据——Scala入门

Scala入门Scala简介安装Scala编译器和开发环境Scala交互式编程(REPL)Scala初体验Scala概述Scala变量与常量使用类型别名定义变量Scala关键字列表Scala数据类型Scala数据类型层次结构字符串插值Scala条件控制if语句示例if...else语句示例if...else if...else语句示例条件语句返回值Scala任何表达式都有返回值示例代码块“{...}”也是表达式,返回值为最后一个表达式结果Scala循环控制while循环示例do...while示例for循环

2020-10-20 19:11:18 735

原创 大数据——Intelli IDEA安装Scala插件并安装Scala软件和配置环境变量

Intelli IDEA安装Scala插件并配置环境变量下载IDEA插件下载Scala软件并配置环境变量创建Scala工程测试下载IDEA插件IDEA插件选择版本号下载与IDEA版本号相近的插件打开IDEA,导入下载好的插件在File下找到setting在Plugins中选择Install plugins from disk放入下载好的压缩包点击ok,完成插件的安装下载Scala软件并配置环境变量Scala软件下载安装到本地配置环境变量测试Scala是否安装成功

2020-10-19 14:21:50 369

原创 大数据——DBeaver(数据库可视化工具)安装和使用

DBeaver(数据库可视化工具)安装和使用安装DBeaver(数据库可视化工具)使用DBeaver(数据库可视化工具)连接到数据库安装DBeaver(数据库可视化工具)解压DBeaver到本地文件夹打开DBeaver使用DBeaver(数据库可视化工具)连接到数据库我这边连接到虚拟机里的hive数据库打开DBeaver选择连接类型为Apache Hive...

2020-10-15 19:28:04 1315 1

原创 大数据——Hive 2.0中常用内置函数大全

Hive 2.0中常用内置函数大全数学函数返回绝对值:abs(x)求最大值:greateest(T v1,T v2,...)求最小值:least(T v1,T v2,...)四舍五入:round(double a)指定精度的四舍五入:round(double a,int b)银行家舍入法:bround(double a)数学函数返回绝对值:abs(x)返回值类型:double说明:返回x的绝对值> select abs(-12);+------+--+| _c0 |+------+-

2020-10-11 14:56:17 839

原创 大数据——数据仓库理论介绍

数据仓库为什么学习数据仓库数据仓库(DW)面向主题提取主题(一)提取主题(二)集成非易失随时间变化数据仓库和数据库的区别OLTP和OLAP的区别数据仓库分层数据仓库结构(一)数据仓库架构(二)数据仓库架构(三)数据仓库的解决方案数据ETLETL工具数据仓库的建模选择业务流程声明粒度确认维度确认事实星型模型(一)星型模型(二)雪花模型(一)雪花模型(二)示例数据抽取(一)数据分析(一)数据分析(二)数据分析(三)为什么学习数据仓库数据不兼容,很难被整合战略决策需要数据的分析推荐系统数据仓库(DW)

2020-10-10 20:11:35 748

原创 大数据——hive插入动态分报错(Error during job, obtaining debugging information... )

hive插入动态分区报错在hive中插入动态分区时报错:原因解决办法动态分区的相关配置在hive中插入动态分区时报错:Error during job, obtaining debugging information…FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask原因创建的动态分区数超过节点默认允许创建的最大动态分区数,超过了总共默认允许创建的最大动态分区数。解决办

2020-10-10 19:43:42 2246

原创 大数据——项目实战(使用Zeppelin分析电子商务消费行为分析)

使用Zeppelin分析电子商务消费行为分析任务描述需求概述问题分析Customer表Transaction表Store表Review表数据结构连接至Zeppelin电子商务消费行为分析文件提取码:39r1任务描述需求概述对某零售企业最近一年门店收集的数据进行数据分析潜在客户画像用户消费统计门店的资源利用率消费的特征人群定位数据的可视化展现问题分析Customer表customer_detailsdetailscustomer_idInt,1-500

2020-10-06 16:41:21 2247

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除