大概是犬青-CSDN博客

第一章 Zookeeper入门1.概述Zookeeper 是一个开源的分布式的，为分布式框架提供协调服务的 Apache 项目。从设计模式角度理解：基于观察者模式设计的分布式管理框架，负责存储和管理数据，然后接受观察者的注册，一旦数据发生变化就会通知Zookeeper上注册的那些观察者做出相应的反应。（Zookeeper = 文件系统 + 通知机制）特点：1）一个leader，多个folloer组成的集群2）集群中只要有半数以上节点存活，zookeeper集群就能正常服务。所以zooke

2022-05-23 15:56:33 848

原创头歌平台作业

HBase的安装与简单操作第1关：Hbase数据库的安装mkdir /app cd /opt tar -zxvf hbase-2.1.1-bin.tar.gz -C /appvim /app/hbase-2.1.1/conf/hbase-env.sh export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_111vim /app/hbase-2.1.1/conf/hbase-site.xml 末尾插入如下内容： <configuration&g

2022-05-11 13:33:28 14080 2

原创 hadoop——day5、6、7、8、9、10、11、12、13（MapReduce）

MapReduce1.概述定义：MapReduce是一个分布式运算程序的编程框架核心功能：将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。优缺点：优点：易于编程，它简单的实现一些接口，就可以完成一个分布式程序扩展性，增加机器计算高容错，比如其中一台机器挂了，它可以把上面的计算任务转移到另外一个节点上运行，不至于这个任务运行失败缺点：不擅长实时计算不擅长流式计算不擅长DAG计算核心思想...

2022-04-24 19:38:17 1845

原创 hadoop学习中：maven-assembly-plugin报红（没有加载对应的插件）

maven-assembly-plugin报红解决办法也很简单（就是插件没加载出来，你在上面手动增加依赖）另外需要注意的是：注意setting下maven环境要自己设置好（怎么配置？有手就行！）jdk版本要一致......

2022-04-24 19:36:19 2665

原创碰壁记录（持续更新）

centos7如何实现虚拟机和windows文件之间的传输vmtools的安装之后可以（不是很推荐）xftp（很好用，容易忘记）docker碰壁docker-desktop-data随着使用增多占C盘，要改盘docker-desktop（存数据）docker-desktop-data（存镜像）默认放在C盘中的：默认位置 %LOCALAPPDATA%/Docker/wsldata/ext4.vhdx 对应存储 docker-desktop-data数据，用于存储镜像，会随着使用而不断

2022-04-23 00:47:34 1530

原创 hadoop学习：mapreduce的wordcount时候，继承mapper没有对应的mapreduce的包

问题描述hadoop学习：mapreduce的wordcount时候，继承mapper没有对应的mapreduce的包1）首先setting设置：idea和maven版本不兼容会导致这个问题的！！（我不太清楚，但是我从maven3.8.5降低版本到3.5.4就可以使用了）2）其次是创建号maven文件后的pom.xml里面的依赖：3）写好之后在idea右侧Maven点开刷新一下，多出Dependencies就可以了4）最终展示：这就是我要解决的问题打开idea自动更行maven这个开

2022-04-21 16:32:01 587

原创 hadoop学习中，1 error role: org.apache.maven.model.validation.ModelValidato... idea和maven版本不兼容

学习hadoop遇到的问题idea版本和maven版本冲突查看别人的解决方案：1 error role: org.apache.maven.model.validation.ModelValidator roleHint: ideidea用的是2021.3.1maven，3.8.5版本不兼容，降低maven版本，用3.5.4.如何下载旧版本的maven查阅Maven历史版本下载1）打开链接：https://maven.apache.org/2）点击download可以到最新版本点击arc

2022-04-21 16:19:12 7118

原创 hadoop——day4、5(HDFS)

HDFS1.HDFS概述1）HDFS定义HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。2）优缺点：优：高容错数据自动北方多个副本某个副本丢失，可以自动恢复适合大数据处理可以构建在廉价服务器上缺：不适合低延时数据访

2022-04-18 23:38:27 1891

原创 Maven速成—— 4.18

Maven1.简介本质：Maven的本质是一个项目管理工具，将项目开发和管理过程抽象成一个项目对象模型（POM）Maven的作用：项目构建：提供标准、跨平台的自动化项目构建方式依赖管理：方便快捷的管理项目依赖的jar包，避免资源间的版本冲突问题统一开发结构2.下载安装1）下载地址：https://maven.apache.org/download.cgi解压就可以用了2）配置环境变量：和配jdk一样的3）验证：cmd输入mvn3.Maven基础概念1）仓库：（本地

2022-04-18 16:42:44 122

原创 hadoop入门（最小安装版本） day123复习

虚拟环境的搭建硬件前提：安装了vm；有centos7镜像文件1.配母机hadoop111看图步骤：（对应的文字描述在图的上面）硬件然后，选择centos7，可能还可以选其他，但是我不太懂：起名字和选择位置：选择处理器有说法的：尚硅谷，我的电脑处理器是12；然后Hadoop学习至少需要三台服务器，加上windows一台总该四台；我个人而言： 12/4 = 3 最多分配三个。此处看个人电脑配置，我内核总数最多分配三个内存50G学习差不多，虽然是五十G，但是实际学习的时

2022-04-17 19:57:03 672

原创 hadoop——day1、day2、day3（Hadoop入门，包含Hadoop概述；虚拟机环境搭建；Hadoop运行模式等）

hadoop概述和环境搭建1. 基本概述是什么？答：解决海量数据的存储和分析计算问题优势？高可靠性（某个储存故障，数据不丢失）高扩展性（方便扩展服务器）高效性（并行工作）高容错性（自动分配失败的任务给其他）发展变化和区别：HDFSHDFS：分布式文件系统NameNode（nn）：存储元数据（告诉别人存储在哪，存储了什么信息）Datanode（dn）：具体存贮数据Secondary NameNode（2nn）：每隔一段时间对NameNode元数据备份YARNR

2022-04-11 17:11:27 1446

原创七天学完Linux不是梦——day3（定时任务调度；磁盘分区挂载；网络配置（原理；；配置网络；；主机名和hosts映射；；进程管理；；服务管理））

定时任务调度1. crontab 定时任务的设置概述：任务调度:是指系统在某个时间执行的特定的命令或程序。任务调度分类:1.系统工作:有些重要的工作必须周而复始地执行。如病毒扫描等2.个别用户工作:个别用户可能希望执行某些程序，比如对mysql数据库的备份。2. 基本语法crontab [选项]conrtab -r :终止任务调度。crontab -l :列出当前有那些任务调度service crond restart[重启任务调度]案例1，执行一条指令（快速入门

2022-04-04 22:17:34 177

原创七天学完Linux不是梦——day2（组，权限）

Linux实用操作组管理和权限管理1. 组的介绍在linux中的每个用户必须属于一个组，不能独立于组外。在linux中每个文件有所有者、所在组、其它组的概念。所有组所在组其他组改变用户所在组所有者一般为文件的创造者，谁创建了文件，就自然的成为该文件的所有者。查看所有者：ls -alh修改文件所有者：chown 用户名文件名案例:使用root 创建一个文件apple.txt，然后将其所有者修改成tom所在组当某个用户创建了一个文件后，这个文件的所在组就是该用户

2022-04-02 19:28:58 795

原创七天学完Linux不是梦——day1（配置虚拟机，xshell，xftp；；简单使用虚拟机；；用户和指令）

Linux由来Linux和Unix的关系1. 安装和配置虚拟机可以CSDN随便找一个看看软件选择这块三个基本分区安排（20个G为例子）boot分区（引导） 1gswap分区（相当于内存的延申无形扩大了内存）2groot分区（文件保存在root根分区）17g快照，迁移，删除三个网络配置讲解：同一网段下相互通信（192.168.0.xx）桥接模式：虚拟机可以和外界通信，但容易造成ip冲突（因为占用该网段的主机数）NAT模式：网络地址转换

2022-04-01 14:52:24 1525

原创 java基础复习——day19（模块化）

模块化java轻量化运行1. 模块的基本使用模块中所有未导出的包都是模块私有的，他们是不能在模块之外被访问的模块导出格式: exports 包名;一个模块要访问其他的模块，必须明确指定依赖哪些模块，未明确指定依赖的模块不能访问模块依赖格式: requires 模块名;创建模块是在各个src包下创建的Student类package com.module1_01;public class Student { private String name; priva

2022-03-29 14:08:30 360

原创 java基础复习——day18（反射）

反射1. 反射取构造方法并使用Constructor<?> [] getConstructors():返回所有公共构造方法对象的数组Constructor<?> [] getDeclaredConstructors(): 返回所有构造方法对象的数组Constructor< T> getConstructor(Class<?>… parameterTypes):返回单个公共构造方法对象Constructor< T> getD

2022-03-29 13:07:04 115

原创 java基础复习——day18（Stream流；反射）

Stream流1. 生成方式Stream流函数式编程牛逼666 用到Lambda表达式Stream流操作：stream流的使用生成流通过数据源(集合,数组等)生成流list.stream()中间操作一个流后面可以跟随零个或多个中间操作，其目的主要是打开流，做出某种程度的数据过滤/映射，然后返回一个新的流，交给下一个操作使用终结操作一个流只能有一个终结操作，当这个操作执行后，流就被使用“光”了，无法再被操作。所以这必定是流的最后一个操作forEach()常见的生成流的方式：

2022-03-27 16:57:18 628

原创 java基础复习——day17（函数式接口）

函数式接口1. 函数式接口概述函数式接口：有且仅有一个抽象方法的接口（Lambda表达式的前提）建议加上注解体现函数式接口：@FunctionalInterface2. 函数式接口作为方法的参数就和Lambda 无参传递一样package Lambda;//测试类public class Demo { public static void main(String[] args) { //函数式接口 //匿名内部类的方式 StartTh

2022-03-27 14:08:56 359

原创 java基础复习———day16（接口组成更新，三个接口中的方法；；方法的引用）

接口组成更新1. 概述接口组成：常量 public static final(可以省略）抽象方法 public abstract默认方法（java8）静态方法（java8）私有方法（java9）2. 接口中默认方法案例： public default void show（）注意事项：默认方法不是抽象方法，所以不强制重写；但也可以被重写，重写的时候去掉关键字default关键字public可以省略，default不可以被省略package Lambda;//接口publ

2022-03-24 16:41:21 96

原创 java基础复习——day15（ TCP通信编程案例； Lambda ）

续（网络编程入门）TCP通信练习案例1：客户端发给服务器package TcpSendAndReceive;//客户端import java.io.IOException;import java.io.InputStream;import java.io.OutputStream;import java.net.Socket;import java.nio.charset.StandardCharsets;public class ClientDemo { public sta

2022-03-24 13:45:09 343

原创 Java基础复习——DAY14（网络编程；UDP ； TCP ）

网络编程一、网络编程入门1. 网络编程三要素网络编程实现，不同计算机之间的数据交换网络编程三要素：IP地址计算机的标识符端口网络通信本质上是两个应用程序之间的通信。端口是应用程序的标识协议遵守的规则（UDP协议和TCP协议）IP常用命令：ipconfig：查看本机ip地址ping IP地址：检查网络是否连通特殊ip地址：127.0.0.1回送地址，可以代表本机，一般用来测试端口应用程序的唯一标识0- 65535，0~1023知名网络服务，不要用协议

2022-03-22 15:36:50 521

原创 Java基础复习——DAY13（实现多线程，线程同步；生产者消费者）

多线程一、实现多线程1. 进程和线程进程概述：正在运行的程序系统进行资源调度和分配的独立单位每个进程有自己独立的内存空间和系统资源线程概述：是进程中单个顺序控制流，是一条执行路径单（多）线程：一个进程有单个（多个）执行路径2. 多线程的实现方式1——Thread方式1：继承Thread类定义一个类MyThread继承Thread类在MyThread类中重写run()方法创建MyThread类的对象启动线程两个小问题：为什么要重写run()方法？因为run()是用来

2022-03-18 16:28:12 358

原创 Java基础复习——DAY13（多级文件夹复制案例；特殊操作流）

续 IO小结案例：复制多级文件夹运用到递归package file;import java.io.*;public class Demo { public static void main(String[] args) throws IOException { //创建数据源对象 File srcFile = new File("G:\\Program\\itcast"); //创建目的地对象 File destFile

2022-03-16 23:10:33 162

原创 Java基础复习——DAY12（字符流）

字符流1. 字符流概述字节流操作中文不方便，所有用字符流字符流 = 字节流 + 编码表字节流复制文本中文的时候为什么没有问题？因为底层最终进行字符拼接如何识别中文？无论哪种编码，第一个字节是负数2. 编码解码编码解码规则：采用何种方式编码，就要采用对应方式解码，否则乱码默认UTF-8public class Demo { public static void main(String[] args) throws IOException { //默认的都是UTF

2022-03-16 10:01:07 149

原创 Java基础复习——DAY11（字节流，字节缓冲流）

字节流1. IO流input/output本质：数据传输人读得懂用字符流（文字），读不懂用字节流（音频文件等）2. 字节流写数据FileOutputStream（String name）：创建文件输出流，以指定的名称写入文件package file;import java.io.FileOutputStream;import java.io.IOException;public class Demo { public static void main(String[]

2022-03-15 12:37:20 498

原创 Java基础复习——DAY10（Map续；Collections；File）

续（Map）案例1：Map，Student学生信息遍历（value是Student类）package arrays;/*Student类*/public class Student { private String name; private int age; public Student() { } public Student(String name, int age) { this.name = name; this.

2022-03-12 13:58:11 399

空空如也

空空如也