_知多少_-CSDN博客

原创 Scala基础部分知识点

Scalascala基础数据类型易混淆：变量和常量的声明package scala.basic/** * scala: * 1. scala object 相当于java中的单例，object中定义的全是静态的（相当与java的工具类） * 2. scala 中定义变量使用var，定义常量使用val，变量可变，常量不可变 * 3. scala 中每行后面会有分号自动推断机制，可以不写“；” * 4. 建议Scala中命名使用驼峰命名法 */object obje

2021-03-22 16:57:48 164

原创 Spark-core部分知识点

SparkWordCountpackage com.bigdataimport org.apache.spark.{SparkConf, SparkContext}object WordCount { def main(args: Array[String]): Unit = { //创建上下文对象 val conf = new SparkConf().setMaster("local[*]").setAppName("WordCount") val sc = ne

2021-03-22 16:55:30 192

原创 MapReduce知识点（4）

OutputFormat自定义OutputFormat继承FileOutputFormat,重写getRecordWriter自定义RecordWriter,重写write,close方法MyoutputFormat类package com.bigdata.mapreduce.outputformat;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileSystem;imp

2021-03-22 16:48:13 167

原创 MapReduce知识点（3）

Reduce端的Join原数据：//orders表1001,20150710,p0001,21002,20150710,p0002,3//product表p0001,小米5,1000,2000p0002,锤子T1,1000,3000按照商品编号将两表连接起来，效果：key valuep0001 p0001,小米5,1000,2000 1001,20150710,p0001,2p0002 p0002,锤子T1,1000,3000 1002,20150710,p0002,3

2021-03-22 16:47:23 160

原创 MapReduce知识点（2）

计数器内置计数器定义计数器使用上下文对象context的getCounter方法，两个参数，计数器类型和名字枚举创建排序和序列化原数据：需求：第一列按字典顺序进行排列第一列相同时，第二列按升序进行排序定义sortbean类实现WritableComparable接口,按照需求定义成员变量，重写compareTo方法和write、readFields方法package com.bigdata.mapreduce.sort;import org.apac

2021-03-22 16:45:14 233

原创 mapReduce知识点（1）

MapReduce创建map类继承Mapper类，重写map（）方法创建reduce类继承Reducer类，重写reduce（）方法创建主方法类继承Configured类实现Tool接口，重写run（）方法，添加main（）方法WordCount案例Map类package com.bigdata.mapreduce;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import or

2021-03-22 16:39:23 278

原创 Hive

hive查询全表查询 selec * from table在查询字段后使用 name as new_name可以重命名一个列算术运算符A+BA 和 B 相加A-BA 减去 BA*BA 和 B 相乘A/BA 除以 BA%BA 对 B 取余A&BA 和 B 按位取与A|BA 和 B 按位取或A^BA 和 B 按位取异或~AA 按位取反常用函数count():求总行数max():最大值

2021-03-22 16:32:39 207

原创 CentOS 7.4安装及Hadoop伪分布式配置（虚拟机：VMware）

CentOS 7.4安装及Hadoop伪分布式配置（虚拟机：VMware）CentOS 7.4安装及Hadoop伪分布式配置CentOS 7.4安装及Hadoop伪分布式配置（虚拟机：VMware）准备VMware虚拟机安装CentOs 7.4虚拟机创建CentOS 7.4安装网络配置JDK配置Hadoop伪分布式安装配置core-site.xmlhdfs-site.xml准备 VMware 版本：14.1.3 build-9474260 CentOS7:CentOS-7-x86_64-DVD-2

2021-01-16 17:38:42 1906 3

原创 Java 基础语法（自复用）

基础语法注释关键字常量变量介绍数据类型变量定义和使用键盘录入标识符类型转换注释注释就是指在程序的指定位置添加的说明性信息，就是对代码的解释说明，方便我们程序员阅读代码注释分类单行注释格式：//多行注释格式：/* */文档注释格式：/** */关键字指被java赋予了特定含义的单词特点：字母全小写常用代码编辑器中有特殊颜色标注常量在程序执行过程中，值不会发生改变的量常量分类：字符串常量整数常量小数常量字符常量布尔

2020-11-18 12:41:32 98

AnswerLinWJ的博客