weixin_44147632的博客

原创 Spark练习

数据：班级ID 姓名 年龄 性别 科目 成绩12 张三 25 男 chinese 5012 张三 25 男 math 6012 张三 25 男 english 7012 李四 20 男 chinese 5012 李四 20 男 math 5012 李四 20 男 english 5012 王芳 19 女 chinese 7012 王芳 19 女 math 7012 王芳 19 女 english 7012 赵敏 19 女 chinese 7012 赵敏 19 女 math 9012

原创 Spark入门基础

Spark CoreSpark SQLMLlibGraphxspark和mapreduce的区别、spark运行框架Application：用户编写的Spark应用程序。Driver：Spark中的Driver即运行上述Application的main函数并创建SparkContext，创建SparkContext的目的是为了准备Spark应用程序的运行环境，在Spark中有SparkContext负责与ClusterManager通信，进行资源申请、任务的分配和监控等，当Executor部分

原创 scalaOOP编程

Scala面向对象类(class)抽象类（abstract class）单例对象（object）特质（trait）内部类样例类（case class）泛型类类(class)1、类通过class关键字定义2、类通过new关键字创建实例3、类拥有成员变量和方法4、类的成员默认为public，也支持private、protected5、类中无法定义静态成员变量和方法6、类无需明确定义构造方法，通过构造参数列表声明为类的一部分类成员访问修饰符JAVAModifierClassPack

原创 Scala函数

scala函数函数是scala的核心函数定义def 函数名([参数列表]):[返回值]={ 函数体 [表达式]}例如def square(x: Int): Int = { println(x) x * x //不用写return，直接返回x*x}def sayHello(x:String):Unit={//Unit表示无返回值 println("Hello ! "+x)}传值调用传值调用时，参数只在调用时计算一次，后续重复使用计算的结果def

原创 scala数组方法

原创 Scala数组方法大全详情+解析

列表Array[T]++++:+::+/::\addStringaggregateapplyapplyOrElsecanEqualcharAtclonecollectcollectFirstcombinationscontainscontainsSlicecopyToArraycopyToBuffercorrespondscountdiffdistinctdropdropRightdropWhileendsWithexistsfilterfilterNotfindflatMapflattenfoldfold

原创 用scala的for循环打印三角形，菱形，99乘法表

scala的for循环：基本语法：var num1=start_value;var num2=end_value;for(i -> num1 to num2 by step_num [j -> num1 to num2 by step_num] [;condition1;condition2]){ //代码1}step_num：步长condition1：循环守卫（条件，如果有，用;号隔开）<- num1 to num2：范围给定（左右均为闭合）<- num1 u

原创 hive练习题（商店市场调查）

表数据：https://pan.baidu.com/s/1giOajxNUaU_Lc4jzTL2UnA提取码：cba4hive练习题建表：1、找出顾客最常用的信用卡2、找出客户资料中排名前五的的职位名称3、在美国女性最常用的信用卡4、按性别和国家进行客户统计/国家/工作/邮箱/语言/信用卡5、计算每月总收入6、计算每个季度的总收入7、按年计算总收入8、按工作日计算总收入9、按时间段计算总收入10、按时间段计算平均消费11、按工作日计算平均消费12、计算年、月、日的交易总数13、找出交易量最大的10个客户

原创 HBase环境搭建

hbase安装包：https://pan.baidu.com/s/1jLQlOz2VgrwzWSY4hVvOaQ提取码：do01HBase环境搭建1、将压缩包拖入/opt/install/hadoop/目录下2、解压至/opt/bigdata/hadoop/，改名为hbase1203、配置文件vi hbase-env.sh4、配置文件vi hbase-site.xml5、配置文件vi regionservers6、软连接hadoop core-site.xml hdfs-site.xml 到hbase的

原创 HBase数据库原理入门操作

HBase简介