大数据
文章平均质量分 65
疯狂学习的白菜
途虽远,我必达!
展开
-
Java复习(全)
package com.test.java;import org.apache.commons.io.FileUtils;import org.junit.Test;import java.io.*;import java.lang.reflect.Constructor;import java.lang.reflect.Field;import java.lang.reflec...原创 2020-02-18 15:31:35 · 385 阅读 · 0 评论 -
Spark复习 Day04:SparkStreaming
Spark复习 Day04:SparkStreaming1. SparkStreaming版的WordCount--------------------------------- @Test def TestStreaming(): Unit ={ val conf = new SparkConf().setAppName("sc").setMaste...原创 2020-02-11 00:00:32 · 320 阅读 · 0 评论 -
Spark复习 Day03:SparkSQL
Spark复习 Day03:SparkSQL1. 什么是SparkSQL----------------------------------------------- - SparkSQL是Spark用来处理结构化[表]数据的一个模块。 - 它提供了两个编程抽象:DataFrame和DataSet,底层还是RDD操作2. DataFrame、DataSet 介绍--...原创 2020-02-10 19:29:52 · 287 阅读 · 0 评论 -
Spark复习 Day02:SparkCore(二)
Spark复习 Day02: SparkCore1. RDD的依赖关系----------------------------------------------- - 每个RDD都会将一系列的血统关系保存下来,以便恢复失去的分区 - RDD的血统会记录RDD的元数据信息和转换行为 - 当RDD部分分区数据丢失时,它可以根据这些信息来重新运算和恢复丢失的数据分区...原创 2020-02-09 21:02:45 · 324 阅读 · 0 评论 -
Spark复习 Day01:SparkCore(一)
Spark复习 Day011. Driver 驱动器--------------------------------------------------- - 执行开发程序的Main方法的进程 - 创建SparkContext、RDD、转换和行动 - 主要职责: 1. 将用户代码转化成job 2. 跟踪Executor的运行状况 ...原创 2020-02-08 21:02:53 · 334 阅读 · 0 评论 -
Zeppelin 使用心得( 基于window10 ) -- Mysql,Hive,Flink,Spark
点击查看原文(包含源码和图片):http://note.youdao.com/noteshare?id=fdb03eb81783f7b3c77ffd78c6c95612&sub=DC8EC22B5004468D9A76E21A9C42D36E1.下载http://mirrors.tuna.tsinghua.edu.cn/apache/zeppelin/zeppelin-0.8.2/...原创 2019-12-05 10:49:04 · 713 阅读 · 0 评论 -
大数据之JAVA基础(七):接口和多态
一、接口1.概念接口是功能的集合,是比抽象类更抽象的类2.定义(Interface关键字)public interface name {抽象方法1;抽象方法2;抽象方法3;};3.特点:1)接口中的方法均为公开访问的抽象方法2)接口中无法定义普通的成员变量,只能定义静态常量 public static final 3)类与接口的关系为:类实现了接口,使用implements关键字4)实现接口的...原创 2018-03-22 13:15:56 · 209 阅读 · 0 评论 -
大数据之JAVA基础(八):构造方法,this,super关键字
一、构造方法1.概念创建对象的时候,执行的方法2.格式修饰符 构造方法(参数列表){}3.特点1)构造方法没有返回值2)构造方法的名称必须和类名保持一致3)可以有参数4)如果一个类没有声明构造 函数,那么会自动生成一个无参的构造函数5)一个类中可以有多个构造方法,多个构造方法是以重载的形式存在的6)如果构造函数被私有化,那么其他程序是无法创建该类的对象的(应用:单例模式)7)构造方法在创建对象是就...原创 2018-03-22 20:33:13 · 180 阅读 · 0 评论 -
大数据之JAVA基础(九):面向对象
一、final关键字1.概念继承的出现提高了代码的复用性,但也出现了新的问题,那就是,有些类不想被继承,有些类中的某个方法,某个变量不想被继承,这就需要final关键字:最终,无法被修改的意思,可以修饰变量,方法和类,是一个访问修饰符2.特点1)final修饰的类不能被继承,但是可以继承其他类(不能当爸,只能当儿子)2)final修饰的方法不能被重写3)final修饰的变量不能被修改,只能赋值一次...原创 2018-03-22 22:11:07 · 204 阅读 · 0 评论 -
大数据之JAVA基础(十):Java中常用API--1
一、object类1.概念object类是所有类的父类,它的所有方法子类都可以使用。所有的类在创建的时候,查找到的最终父类都是object2.equals方法boolean equals(object obj),用于比较两个对象是否相同,实际上比较的是两个对象的内存地址,实质上object类中的equals方法使用的就是==比较运算符(注意,两个对象,比较的是地址,而不是属性值,就好像2个人,即使...原创 2018-03-23 11:19:47 · 397 阅读 · 0 评论 -
大数据之JAVA基础(十一):Java的常用API--2
一、正则表达式regex1.概念正则表达式是一个字符串。使用单个字符来描述,用来定义匹配的规则,检索,替换文本等2.语法规则1)字符:x 含义:代表匹配字符x2)字符:\\ 含义:代表的是反斜线字符‘\’3)字符:\t 含义:产生一个制表符4)字符:\n 含义:产生一个换行符5)字符:\r 含义:产生一个回车符6)字符:[abc] 含义:匹配字符a,或者b,或...原创 2018-03-23 18:10:22 · 408 阅读 · 0 评论 -
大数据之JAVA基础(十二):Java的常用API--3
一、基本类型的包装类1.概念将8种基本类型进行封装,形成对象,变成引用变量2.对应关系如下3.用法1)xxx.parse(String str); //将满足格式的字符串转换成相应的封装基本变量类型Integer.parseInt("123") + 2System.out.println(Integer.parseInt("123") + 2);//打印结果为 1252)xxx.toString(...原创 2018-03-23 18:50:33 · 252 阅读 · 0 评论 -
大数据之JAVA基础(十三):集合--1
一、集合1.概念集合和数组都是用来存储数据的容器,可以存储多个数据。首先数组的长度是固定的,集合的长度是可变的,而且数组是可以存储基本类型和引用类型的,但是集合只能存储引用类型,如果想存储基本类型,只能储存基本类型的封装类2.集合的继承图Collection 接口 | |------------------------------------------------|List ...原创 2018-03-23 19:49:14 · 151 阅读 · 0 评论 -
大数据之JAVA基础(十四):集合--2
一、List接口1.概念1)List接口是一个元素存取的有序集合2)是一个带有索引的集合3)集合中可以有重复的元素,可以通过集合元素的equals方法,来比较是否为重复的元素2.常用的子类ArrayListLinkedList3.List接口中常用的方法/* * List练习 */ public static void func16() { List<String> list =...原创 2018-03-24 13:36:02 · 309 阅读 · 0 评论 -
大数据之JAVA基础(一):数据和变量
1.数据类型基本类型:整型,浮点型,布尔型,字符型引用类型:引用数据类型是强大的数据类型,它是基于基本数据类型创建的。JavaSE中提供了一个超级类库,类库中包含了近万种引用数据类型。不过现在我们先要学习的是基本类型2.变量变量是内存中装载数据的小盒子,你只能用它来存数据和取数据。3.计算机储存单元计算机最小的信息单元叫做位(bit)计算机最小的存储单元叫做字节(byte),每个字节都是由连续的8...原创 2018-03-22 12:19:00 · 283 阅读 · 0 评论 -
大数据之JAVA基础(二):基础方法,基础类
1.基本输入类 Scanner用该类来完成用户键盘录入,获取到录入的数据。导包: import java.util.Scanner;创建对象: Scanner scan = new Scanner(System.in);调用: int a = scan.nextInt(); String s = scan.next();2.随机数 RandomRandom r = new Random();int...原创 2018-03-22 12:21:11 · 358 阅读 · 0 评论 -
大数据之JAVA基础(三):数组
1.定义数据类型[] 数组名 = new 数据类型[元素个数或数组长度];int[] x = new int[100];类型[] 数组名 = new 类型[]{元素,元素,……};int[]x = new int []{1,2,3,4,5};类型[] 数组名 = {元素,元素,元素,……}; int[] x = {1,2,3,4,5}; 2.数组的遍历for(int i = 0,i< x.l...原创 2018-03-22 12:26:05 · 438 阅读 · 0 评论 -
大数据之JAVA基础(四):集合ArrayList
1.集合的创建1).ArrayList集合看作一个长度可变的数组2).ArrayList<要存储元素的数据类型> 变量名 = new ArrayList<要存储元素的数据类型>();3).集合中存储的元素,只能为<>括号中指定的数据类型元素;4).“<要存储元素的数据类型>”中的数据类型必须是引用数据类型,不能是基本数据类型; ...原创 2018-03-22 12:26:56 · 281 阅读 · 0 评论 -
大数据之JAVA基础(五):循环和数组方法练习
案例1:编写 1+3+5+7+......+99的值 /* * 求1-99的基数和 */ public static void fun01() { int i = 1; int sum = 0; for(;i<100;i+=2) { sum += i; } System.out.println("0-99基数和: "+ sum); }案例2:求所有的水仙花数(100-9...原创 2018-03-22 12:27:48 · 426 阅读 · 1 评论 -
大数据之JAVA基础(六):面向对象--继承
1.定义格式class zi extends fu{}2.继承的优势1)继承提高了代码的复用性,提高了开发效率2)继承的出现让类之间产生了联系,为多态提供了前提条件3.继承的缺点1)类与类之间的耦合度过高4.继承的注意事项类的继承只支持单继承,不允许多继承,一个子类只能有一个直接父类,但是一个父类可以有多个子类6.子类和父类之间的联系1)子类可以直接访问父类的一切非私有的变量和方法2)父类的私有属...原创 2018-03-22 12:28:42 · 209 阅读 · 0 评论 -
大数据之Java基础(十九):IO流---1
一、File类1.概念File文件和目录的抽象表现形式2.构造函数3.常用方法注意:creatNewFile:仅用于创建文件,而且文件所在根目录必须是存在的,不然会报错mkdir:创建指定的目录,但是待创建的目录前一层级目录结构必须是已经存在的,不然创建不成功,所以,建议使用mkdirs,创建全路径,不管存在不存在4.特殊方法listFiles() 返回file封装路径下的所有子文件和文件夹的F...原创 2018-04-09 20:22:09 · 207 阅读 · 0 评论 -
大数据之JAVA基础(十五):集合--3
一、Map接口1.Map接口和Collection接口的区别collection中的集合中的元素是孤立的,理解为单身,向集合中储存元素采用的是一个个元素的储存方式,是单列结合Map中的集合元素是成对出现的,理解为夫妻,每个元素都是由键值对的形式存在的,可通过键查找到值,是双列集合。Map中不能包含重复的键,但是值可以重复Map中常用的子类有:HashMap集合 LinkedHashMap集合2...原创 2018-04-04 17:22:57 · 139 阅读 · 0 评论 -
大数据之JAVA基础(十六):集合--4
1.可变参数(针对数组)Java1.5之后,如果定义的方法中需要接受多个同样类型的参数(数组),但是个数不确定的时候,可以选择使用可变参数public static void add(int ... args) <==> public static void add(int [] args) 只不过,后者数组的长度固定,只能传递固定个数的int值int arr = ...原创 2018-04-04 17:23:37 · 131 阅读 · 0 评论 -
大数据之JAVA基础(十七):集合--模拟斗地主洗牌和发牌
一、案例介绍按照斗地主的规则,完成洗牌发牌的动作。 具体规则:1. 组装54张扑克牌2. 将54张牌顺序打乱3. 三个玩家参与游戏,三人交替摸牌,每人17张牌,最后三张留作底牌。4. 查看三人各自手中的牌(按照牌的大小排序)、底牌 手中扑克牌从大到小的摆放顺序:大王,小王,2,A,K,Q,J,10,9,8,7,6,5,4,3二、案例需求分析准备一副扑克牌,使用Map,完成数字与字符串的映射洗牌和发...原创 2018-04-04 17:24:26 · 378 阅读 · 0 评论 -
大数据之JAVA基础(十八):异常
1.异常继承体系总结:Throwable: 它是所有错误与异常的超类(祖宗类)|- Error 错误|- Exception 编译期异常,进行编译JAVA程序时出现的问题|- RuntimeException 运行期异常, JAVA程序运行过程中出现的问题2.异常:指程序在编译、运行期间发生了某种异常(XxxException),我们可以对异常进行具体的处理。若不处理异常,程序将会结束运行。3.错...原创 2018-04-04 17:37:13 · 122 阅读 · 0 评论 -
大数据之Java基础(二十):IO流---2
一、IO流的分类字节流(操作字节的流)字节输入流(InputStream,是一个抽象类)--FileInputStream:操作文件的字节输入流字节输出流(OutputStream,是一个抽象类)--FileOutputStream:操作文件的字节输出流字符流(操作字符的流)字符输入流(Reader,是一个抽象类)InputStreamReader:输入操作的转换流--FileReader:用来操...原创 2018-04-12 21:19:34 · 164 阅读 · 0 评论 -
大数据之Java基础(二十一):IO流---3
一、转换流1.OutputStreamWriter类概念OutputStreamWriter是字符流通向字节流的桥梁,可以将字符串按照指定的编码转成字节 流,然后可以使用FileOutputStream将字节流写入到文件。代码展示 /* * 使用OutputStreamWriter--将字节转成指定编码的字符,并写入文件 */ public static void func4() thro...原创 2018-04-13 09:49:13 · 149 阅读 · 0 评论 -
大数据之Java基础(二十二):IO流---4
一、Properties类1.概念首先,Properties是一个集合,存储键值对。实现map接口;没有泛型,键值都是字符串,可用于持久化储存数据。2.主要方法void setProperties(String key , String value); //存入键值对,相当于putString getProperties(String key); //取出键值对,相当于getSet<St...原创 2018-04-13 19:23:14 · 154 阅读 · 0 评论 -
大数据之Java基础(二十四):多线程--2
主要内容线程安全线程同步死锁Lock锁等待唤醒机制一、线程安全1.概念如果多个线程同时运行,这些线程可能会同时运行某一段代码,这个时候如果全局变量和静态变量只有读操作,没有写操作,那么线程是安全的。可是一旦有写操作(更改变量值),那么此线程就是不安全的。2.演示代码public class TsShowTicket implements Runnable{ /* * 模拟多线程售票 */ pr...原创 2018-05-01 13:30:19 · 231 阅读 · 0 评论 -
Java复习之知识点整理(一)
1.Dos常见命令cls : 清屏dir : 查看目录. : 当前目录cd :change dir 改变目录.. : 上级目录tab : 制表符c: d: e: f: 切换盘符2.windows快捷键win+r : 运行cmdwin + d : 显示桌面3.CMD常见快捷键cmd + calc :计算器cmd + mspaint : 画图cmd + mkdir...原创 2018-05-19 16:03:02 · 836 阅读 · 1 评论 -
大数据之Java基础(二十三):多线程--1
一、多线程1.介绍进程:正在运行的程序线程:进程中的一个执行单元,一个程序至少有一个进程,每个进程至少有一个线程2.程序运行原理分时调度:所有线程轮流使用CPU,平均分配使用时间抢占模式:优先让优先级高的线程使用CPU。如果优先级相同,那么会随机分配。Java使用的就是抢占式。3.主线程执行main方法的线程称为主线程4.Thread类构造函数空参构造函数:Thread(); String 参数构...原创 2018-04-29 14:40:05 · 167 阅读 · 0 评论 -
Java复习之知识点整理(二)
1.函数必须定义在类中封装和重用2.重载仅看参数列表,与返回值无关3.可变参数数组public static int getSum ( int ... nums){int sum = 0;for( int i = 0 ; i < nums.length; i ++){sum += nums[i];}return sum;}4.数组类型相同,可以是基本数据类型,也可以是引用数据类型数组是...原创 2018-05-21 17:07:55 · 229 阅读 · 0 评论 -
Java复习之知识点整理(八)----多线程的生产消费关系,死锁问题,Runnable
Part1、生产消费关系 ------------------------------------- 1.容器加上限:库存超过一定数量,不再生产。 2.生产消费互斥:同一时间只能有一个人访问库存。 Part2、等待 -- 通知模式 (wait --- notify) ------------------------------------- 1.wait():让当前线程等待,将线程加入到锁对...原创 2018-06-29 17:44:16 · 408 阅读 · 0 评论 -
Java复习之知识点整理(三)
一.继承1.抽象共性2.多个类是子类,抽象类是父类(超类)3.子类可以访问父类的非私有成员4.通过extends继承5.只能单重继承,一个子类只能有一个父类。但是一个父类可以有多个子类6.提高了代码的重用性,为多态提供了前提二、super1.类内置的成员变量,指向父类对象自身的引用,并且只能在类的内部使用2.主要应用于子类和父类的成员重名,并且想在子类中访问父类的同名成员的时候三、super()1...原创 2018-06-25 22:40:13 · 212 阅读 · 0 评论 -
Java复习之知识点整理(九)----编码表,字符集,编码解码,数组集合,equals
一、编码表------------------------------------- 1.ascii:美国标准交换码(一个字节用7位表示) 2.iso:欧洲码表,无法存储汉字 3.gb2312/gbk:简体中文码表(2个字节存储一个汉字) 4.big5:繁体中文码表 5.utf-8:可变长度表示法,最多三个字节表示一个字符(汉字三个字节) 6.unicode:万能码表,两个字节表示一个字符 7.2...原创 2018-07-01 15:31:54 · 146 阅读 · 0 评论 -
Java复习之知识点整理(十)---- 字节位运算:与、或、异或、带符号左右移,不带符号右移
一、带符号按位左移 << 带符号右移>> 不带符号右移 >>>------------------------------------------------------------------------------------------------------------------- 1.内存中的位运算,都会先转换成int,4个字节进行运算,...原创 2018-07-01 15:33:24 · 635 阅读 · 0 评论 -
Java复习之知识点整理(四)----接口、多态
一、接口1.接口中定义的所有成员方法都是抽象的,没有方法体的,使用的修饰符默认为public abstract2.接口中定义的所有成员变量都是常量,初始化之后不能修改,使用的默认修饰符为public final abstract3.一个类可以实现很多个接口,但是只能继承一个父类.通过接口间接实现了多重继承4.降低了耦合性5.接口可以继承接口,而且可以多重继承二、多态1.因为一个类可以继承父类,可以...原创 2018-06-26 17:22:28 · 250 阅读 · 0 评论 -
Java复习之知识点整理(十一)---- ArrayList、LinkedList、Map、hashSet、hashcode、TreeSet
一.ArrayList 集合-------------------------------------------- 1.内部使用的是 object[] 作为数据底层结构 2.Capacity容量:当数组的size达到容量最大值的时候,会进行扩容复制,所以增删慢 3.size:表示数组中元素的个数,一般小于容量 4.采用index + offect机制:所以查询快 5.内容可重复,有序的 6.如果...原创 2018-07-02 15:08:30 · 151 阅读 · 0 评论 -
Java复习之知识点整理(五)----异常 + package + jar包
异常-----------------------------------------------------------------------------------1.RuntimeException 以及其子类异常,在函数中被throw抛出,可以不try catch 不在函数上声明throws2.继承需要注意:①当一个方法被子类覆盖时,子类同名方法如果抛出异常,那么抛出的异常必须是父类的异...原创 2018-06-27 15:58:06 · 168 阅读 · 0 评论 -
Java复习之知识点整理(十二)----字节流、字符流、转换流、缓冲流、skip、归档、解归档
一、IO流-------------------------------------------------------------- 1.处理设备之间的数据传输 二、字节流(InputStream,OutputStream)------------------------------------------------------------- 1.InputStream和OutputStre...原创 2018-07-03 19:59:55 · 215 阅读 · 0 评论