- 博客(16)
- 收藏
- 关注
RSS订阅
原创 Hadoop理论-MapReduce
Hadoop理论-MapReduce一、MapReduce概述1.简述MapReduce是分布式运算程序的编程框架,其核心功能是将用户编写的业务逻辑和自带默认组件整合成一个完整的分布式运算程序,并发运算在一个Hadoop集群上.2.MapReduce核心思想解析:全程序分为两个阶段,Map阶段和Reduce阶段,Map阶段MapTask是并发的,并行运行,不相干预,Reduc...
2020-02-16 16:17:03
534
原创 Hadoop理论-HDFS
Hadoop理论-HDFS一、HDFS概述Hadoop Distributed File System数据的海量需要一种新的系统来管理多台机器上的文件，这就是分布式文件管理系统.HDFS就是其中的一种.**HDFS使用场景:**适合一次写入,多次读出的场景,且不支持文件的修改，很适合做数据的分析,不适合做网盘.二、HDFS组成架构1>NameNode(NM):Master,是一...
2020-02-13 15:29:08
1756
原创 SQL语句-DML&DDL及语句测试结果
SQL语句-DDL&DML一、DDL 数据库定义语言，主要处理数据库对象DDL 数据库定义语言，主要处理数据库对象createshowalterdrop----DDL 数据库定义语言，主要处理数据库对象--- create show alter drop--创建数据库create database if not exists 数据库名称 charset utf8;...
2020-01-11 18:12:49
2296
原创 消息队列-Kafka
消息队列-Kafka一、消息队列（MQ）消息队列是存储数据的一个中间件，可以理解为一个容器。消息：传输数据的基本单位。消息从源被发往队列中，消费者可以拉取消息进行消费，如果消费者目前没有消费的打算，则消息队列会保留消息，直到消费者有消费的打算。1.异步 源中的消息发往消息队列之后，省略了之后业务的响应，消息队列直接进行回执。后续的业务直接订阅消息队列进行消费。2.解耦 将多种耦...
2020-04-26 16:35:54
4609
1
原创 Java与Scala的集合概述
Java与Scala的集合对比一、Java集合面向对象语言对事物的体现是以对象的形式，为了对多个对象进行存储。单单靠数组不足以解决问题，同时对对象的操作极为的不方便。数组不可以存储不同的多个对象。集合就像是一个容器，可以动态的把多个对象的引用放入到容器中。Collection集合:不按照添加的顺序存放对象的集合，集合内元素的内容是可以重复的。保存一个一个的对象1、Collection=...
2020-04-09 21:26:18
438
原创 Hive概述
HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并且能够提供类Sql的查询功能。1）Hive处理的数据是在HDFS上，2）Hive分析数据底层的实现是MapReduce，3）执行程序运行在Yarn上注意一下元数据（Metastore）元数据包含表名，表所属的数据库，表的拥有者，列/分区的字段，表的类型（是否为外部表），表的数据所在目录。元数据...
2020-03-01 14:34:04
1929
原创 HDFS客户端操作以及测试结果
HDFS客户端操作以及测试结果一、HDFS客户端环境准备需要在Windows配置Hadoop环境启动hadoop102的hdfs二、源码实现1.配置pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xml...
2020-02-15 09:40:22
683
原创 MapRecuce-自定义InputForMat操作（本地模式）
MapRecuce-自定义InputForMat操作（本地模式）没有提交到yarn一、需求要求，将三个文件合并成为一个完整的新二进制内容文件（自定义合并小文件）Key为路径，value为文件内容步骤如下1.自定义一个类继承FileInputFormat2.改下打碎数据RecordReader,封装成KV值3.在输出时使用SecondFileOutPutFormat输出合并文件二、...
2020-02-13 10:32:30
685
原创 Hadoop概要
Hadoop概要一、Hadoop简介1.Hadoop是Apache基金会所维护的分布式系统的基础框架2.主要解决海量的数据存储和海量的数据分析计算问题3.广义上来说,Hadoop通常是指一个更加广泛的概念–Hadoop生态圈二、Hadoop优势1.高可靠性:其底层维护多个数据副本,所以即使其中某个计算元素或存储出现故障,也不会导致数据的损失2.高扩展性：在各个集群间分配任务数据,可以...
2020-02-13 10:17:12
3370
1
原创 SpringBoot-小小项目
SpringBoot-小小项目使用的知识有：Maven,Spring,SpringBoot,SpringMVC,Web(a little)…等相关注解–Idea一、在Module中新建Maven工程1>其中pom.xml配置如下（POM =>Project Object Mode,项目对象模型）<?xml version="1.0" encoding="UTF...
2020-01-14 08:55:39
722
1
原创 DBUtils的使用-- DAO&JdbcDAO的抽象化
DBUtils的使用-- DAO&JdbcDAO的抽象化一、DAOData Access Object二、StudentDAO类&QueryRunner将QueryRunner作为StudentDAO的属性，其中StudentDAO中封装实现了QueryRunner的各种好用方法。QueryRunner,提供数据库操作的一系列重载的update()和query()操作其...
2020-01-10 21:20:39
529
原创 JDBC API的各种由繁入简的底层测试以及最后的封装
JDBC 的各种由繁入简的插入和获取数据的底层测试以及最后的封装一、数据库驱动的连接配置https://blog.csdn.net/weixin_45943729/article/details/103839253使用之前的两种方式，可以直接调用JdbcUtil实现连接。下述使用的是基于德鲁伊连接池的使用测试。然后补一个关闭资源方法,忘掉了…//之后会进一步补充JdbcUtil内的关闭...
2020-01-09 10:58:28
547
原创 多线程以及JUC
多线程以及JUC一、JUCJUC包（java.util.concurrent) 很实用的工具类。提供了可调，灵活的线程池。今天学习的工具类每一种都有对应的有趣案例…可惜…1.ReentrantReadWriteLock2.CountDownLatch3.CyclicBarrier4.Semaphore二、多线程2.1、线程和进程1.程序：是一段静态的代码。2.进程：是程序...
2020-01-07 21:29:24
629
原创 有关JVM的简要总结
有关JVM的简要总结一、JVM作用1.1、概述：想要运行一个Java代码,需要具备JRE环境(JDK中已经涵盖了JRE)。在JRE中，包括了Java的虚拟机和核心类库。由于Java在硬件上运行不现实(因为是高级语言,语法复杂,抽象),所以在运行Java程序之前,需要进行转换。转换的过程是编译器将Java程序转换成该虚拟机所能识别的指令(序列码,即class文件),加载到JVM中。过程简...
2020-01-06 19:28:19
505
原创 JDBC连接数据库的两种封装
JDBC连接数据库两种操作1.没有通过常量池的简单连接配置文件driverClassName = com.mysql.jdbc.Driverurl = jdbc:mysql://127.0.0.1:3306/jdbcuser = rootpassword = 123456主函数调用方法package com.atguigu.jdbc.test;import java.io...
2020-01-05 00:23:05
1102
1
原创 面向对象
面向对象1.java类及类的成员1.1类和类的成员1.1.1什么是类？什么是对象对象：什么是对象？万事万物皆可以为对象，是所有事物的具体实例类：对象的抽象化，对事物的描述，通过new来创造对象1.2类的成员1.2.1属性（成员变量）：描述事物的数据部分 对象属性（实例变量）：依赖对象存在而存在的，存储在堆中的GC区 1.声明在类中，方法等结构外 2.声明格式：权限修...
2020-01-03 19:40:25
570
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人