偷睡的阿布-CSDN博客

原创 Mapreduce简述

MapReduce的基本定义MapReduce是面向大数据并行处理的计算模型、框架和平台。包含的三层含义：MapReduce是一个基于集群的高性能并行计算平台（Cluster Infrastructure） MapReduce是一个并行计算与运行软件框架（Software Framework） MapReduce是一个并行程序设计模型与方法（Programming Model And Methoddology）MapReduce的特点MapRuduce基于Google发布的分布式计算框

2021-03-29 22:00:54 666 2

原创 HDFS元数据管理

HDFS的架构图 Heartbeats：心跳机制 Banlancing：均衡机制 Replication：副本机制元数据存放的位置<property> <name>dfs.namenode.name.dir</name> <value>file://export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</valu

2021-03-24 00:07:28 473 1

原创 HDFS入门介绍

HDFS介绍HDFS是Hadoop Distribute File System的简称，Hadoop分不是文件系统。Hadoop的核心组件之一，作为最底层的分布式存储服务而存在。分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景，它们为存储和处理超大规模数据提供所需的扩展能力。基本系统架构Namenode：用于存储、生成文件系统的元数据，运行一个实例维护所有系统中存在的文件和目录的文件系统树和元数据Datanode

2021-03-20 23:07:43 216

原创 CDH版本hadoop重新编译

为什么要编译hadoop由于CDH的所有安装包版本都给出了对应的软件版本，一般情况下是不需要自己进行编译的，但是由于cdh给出的hadoop的安装包没有提供带C程序访问的接口，所以我们在使用本地库（本地库可以用来做压缩，以及支持C程序等等）的时候就会出问题，好了废话不多说，接下来看如何编译编译环境的准备准备linux环境：虚拟机联网，关闭防火墙，关闭selinux准备一台linux环境，内存4G或以上，硬盘40G或以上，我这里使用的是Centos6.9 64位的操作系统（注意：一定要使用64.

2021-03-19 19:08:34 261 1

原创 Hadoop环境搭建--StandAlone式

第一步：下载apache hadoop并上传到服务器下载链接：http://archive.apache.org/dist/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz解压命令cd /export/softwarestar -zxvf hadoop-2.7.5.tar.gz -C ../servers/修改配置文件第一台机器执行以下命令cd /export/servers/hadoop-2.7.5/etc/hadoop..

2021-03-13 23:33:00 281

原创 Zookeeper集群环境搭建

概述Zookeeper是一个分布式协调服务的开源框架。主要用于解决分布式集群中应用系统的一致性问题，本质是一个分布式的小文件系统。提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效控制，从而用来维护和监控存储的数据的状态变化。通过集群数据状态的变化，从而可以达到基于数据的集群管理。架构图Leader：Zookeeper集群工作的核心事务请求（写操作）的唯一调度和处理者，保证集群事务处理的顺序性；集群内部各个服务器的调度者。对于create，setData，delet

2021-03-09 21:59:22 103 3

原创大数据集群环境准备

三台虚拟机关闭防火墙三台机器执行以下命令对防火墙进行关闭（使用root用户）systemctl stop firewalld #临时关闭重启会再启动systemctl disable firewalld #永久关闭防火墙三台机器都关闭selinux三台主机更改主机名hostnamectl set-hostname 主机名三台机器做主机名与IP地址的映射192.168.94.100 node01 node01.hadoop.com192.168.94..

2021-03-08 17:25:20 105

原创 Linux-sudo使用

sudo是linux下常用的允许普通用户使用超级用户权限的工具，允许系统管理员让普通用户具有临时执行一些或者全部的root命令。只需输入自己账户的密码即可。当然这个普通用户必须在/etc/sudoers 文件中有配置项、才具有使用 sudo 的权利。没有配置权限之前,普通用户无法进行 root 权限操作。sudo能够限制用户只在某台主机上运行某些命令编辑命令行输入 visudo，打开/etc/sudoers 文件，加入如下的内容，保存。sudo 的工作过程：当用户执行 sudo 时，系统

2021-03-05 22:24:24 159

原创 Linux入门学习笔记

Linux是什么与windows一样，是一个系统操作软件。在Unix的基础上发展而来的，与其他系统相比，其能流行起来的原因，无在乎于其巨大的生态系统、且开源免费。Linux 系统主要被应用于服务器端、嵌入式开发和 PC 桌面。[root@localhost ~]#/$用户名主机名所在目录#：表示当前为超级用户$:表示当前为普通用户常用命令ls命令ls #查看当前目录的内容（缺点：隐藏的文件无法查看）ll #等价于ls -l 查看当前目录的详情（隐藏文件看不到）...

2021-03-03 20:17:15 336 1

原创 Mysql入门--Mysql思维导图

mysql基础Mysql安装安装及配置安装目录介绍bin目录：存储可执行文件data目录：存储数据文件include目录：存储包含的头文件docs目录:存储文档share目录：错误消息和字符串文件my.ini：mysql的配置文件客户端字符集（mysql）服务器端字符集(mysqld)登录/退出登录常用参数-u:用户名-p:密码-h:服务器名称-P：端口号-D：打开指定数据库--prompt=name：指定命令提示符--deli

2021-02-27 23:19:13 2600 1

原创 IDEA中使用Maven创建web项目时不能生成Servlet、Filter、Listener

个人在idea中使用Maven创建web项目时遇到的问题演示注：创建web项目时使用的骨架（achetype）也就是模板为，，不是

2021-02-01 23:24:05 236

原创 Maven的介绍

关于MavenMaven 是 Apache 软件基金会组织维护的一款自动化构建工具，用于对Java项目进行项目构建、依赖管理及项目信息管理。对于生产环境下多框架、多模块整合开发有重要作用，Maven 是一款在大型项目开发过程中不可或缺的重要工具。可以整合多个项目之间的引用关系，我们可以根据业务和分层需要任意拆分一个项目供规范的管理各个常用 jar 包及其各个版本，并且可以自动下载和引入项目中；可以根据指定版本自动解决 jar 包版本兼容问题；可以把 jar 包所依赖的其它 jar 包自动下载并引入项..

2021-01-29 20:45:34 103 2

原创 Java输入输出流

File类概述文件和目录路径名的抽象表示形式，文件和目录可通过File封装成对象构造方法File(String pathname):通过将给定路径名字字符串转换为抽象路径名来创建一个新File实例File(File parent,String child):根据parent抽象路径名和child路径名字符串创建一个新的File实例File(String parent,String child):根据parent路径名字符串和child路径名字符串创建一个新的File实例创建功能

2021-01-25 22:49:36 154

原创 Java集合

Java集合概念是一个用于存储和获取数据的容器，其由来是因为：我们所学习的编程语言是面向对象的，面向对象的编程语言对事物的描述都是通过对象来体现的，为了方便对多个对象进行操作，我们就必须把对个对象进行存储，而要想存储多个对象而不是我们之前所存储的基本变量，所以应该找一容器类型的变量。而Stringbuilder只能存字符串，数组的长度有限制，所以都无法满足我们的需求，所以Java就提供了集合类来供我们使用。集合的体系结构Collection├List （有序集合，允许相同元素和null）

2021-01-15 00:30:33 244 7

原创 Java常用API

1、API概述API(Application Programming Interface) : 应用程序编程接口，也称为帮助文档，如何使用API步骤：打开帮助文档点击显示，找到索引，看到输入框你要学习什么内容，你就在框框里面输入什么内容看包看类的描述看构造方法看成员方法M...

2020-12-13 21:22:43 105

原创 Java的抽象类与接口理解

抽象类概述在面向对象的概念中，所有的对象都是通过类来描绘的，但是反过来，并不是所有的类都是用来描绘对象的，如果一个类中没有包含足够的信息来描绘一个具体的对象，这样的类就是抽象类。抽象类往往用来表征对问题领域进行分析、设计中得出的抽象概念，是对一系列看上去不同，但是本质上相同的具体概念的抽象。比如我们在创建动物对象的时候，我们不知道是我们要创建的到底是什么动物我们就可以用抽象类来定义。抽象类，其实就是把子类中的共有的特性给提取出来，用于继承实现复用。特点：抽象类不能被实例化，实例化的工作应该交

2020-12-03 18:40:53 157

原创 Java继承与多态的理解

概述多个类中存在相同的属性和行为时，将这些内容抽取到单独一个类中，那么多个类无需在定义这些属性和行为，只要继承那个类即可单独的这个类称为父类，基类或者叫超类，多个类可以称为子类或者派生类有了继承以后，我们定义一个类的时候，可以在一个已经存在的类的基础上，还可以定义自己的新成员实现方式通过extends关键字可以实现类与类的继承格式：public class 子类名 extends 父类名{}继承的好处和弊端继承的好处提高了代码的复用性多个类相同的成员可以放到同一个类中提高了代

2020-11-22 23:34:36 241

原创 Java面向对象程序设计（OOP）学习

什么是面向对象面向对象：面向对象思想就是不断的创建对象，使用对象，指挥对象做事情，强调的是对象，对象中有具体的方法，帮我们完成相应的功能，面向对象是基于面向过程的面向过程：其实就是面向着具体的每一个步骤和过程，把每一个步骤和过程完成，然后由这些功能方法相互调用，完成需求。强调的是过程，通过第一步，第二部，一步一步自己完成对应的需求。代表语言：C语言，当需求单一，或者简单时，我们一步一步去操作也没问题，并且效率也挺高，但是随着需求的不断更改，功能的不断增多，一步一步就显着有点麻烦了。而面想对象就

2020-11-17 20:16:43 2441 1

原创 Java方法介绍

概述其实就是是完成特定功能的代码块，也就是其他语言中的函数格式修饰符返回值类型方法名(参数类型参数名1，参数类型参数名2，参数类型参数名3…) { 方法体； return 返回值； &nb

2020-11-15 18:32:29 211

原创 Java数组的介绍

数组的概述数组是存储同一个数据类型多个元素的容器数组既可以是存储基本数据类型，也可以存储引用数据类型数组的定义格格式1：数据类型[] 数组名格式2：数据类型数组名[]数组初始化概述Java中的数组必须先初始化,然后才能使用。所谓初始化：就是为数组中的数组元素分配内存空间，并为每个数组元素赋值。数组初始化之动态初始化动态初始化：初始化时只指定数组长度，由系统为数组分配初始值。格式：数据类型[ ] 数组名 = new 数据类型[数组长度];数组长度其实就是数组中元素的个

2020-11-14 18:11:43 132

原创 Java循环结构

for循环语句语句格式for(初始化语句;条件判断语句;条件控制控制语句) { 循环体； }执行流程先执行初始化语句执行条件判断语句，如果为true就向下继续执行循环体语句，然后执行条件控制语句，再进行下一次循环如果条件判断语句为false就直接结束循环代码演示//统计水仙花数public class ForTest{ public static void main(String[] args){ //定义统计变量，初始化值为0

2020-11-12 00:07:22 338

原创 Centos7下简单安装BI可视化工具SuperSet

1、基础包安装#配置yum源rpm -ivh https://centos7.iuscommunity.org/ius-release.rpm#安装epel源yum install -y epel-releaseyum install -y yum-utils && yum-config-manager --enable epel#安装编译环境yum install gcc gcc-c++ libffi-devel python-devel python-pip python-

2020-11-10 21:58:04 874

原创 Java运算符与选择语句

算数运算符概述什么是运算符：对常量和变量进行操作的符号算术运算符+，-，*，/，%，++，- -/和%的区别/:获取两个数据相除的商%:获取两个数据相除的余数注意：整数相除只能到整数。要想得到小数，就必须有浮点数据参与运算字符和字符串参与运算字符参与运算其实就是拿该字符对应的数值来操作字符串参与运算其实做的不是加法运算，而是字符串拼接，字符串和其他类型的数据做拼接，结果是字符串类型代码演示public class OperaterDemo{ publi

2020-11-09 18:05:36 319 4

原创 Java基础知识

Java语言概述Java应用平台JavaSE(Java Platform Standard Edition)标准版是为开发普通桌面和商务应用程序提供的解决方案,该技术体系是其他两者的基础，可以完成一些桌面应用程序的开发。（做桌面发开）JavaEE(Java Platform Enterprise Edition)企业版是为开发企业环境下的应用程序提供的一套解决方案,该技术体系中包含的技术如 Servlet、Jsp等，主要针对于Web应用程序开发（做服务器开发）JavaME(J

2020-11-08 13:34:03 175

fghtv的学习空间