weixin_42187635的博客

环境版本Anaconda 4.10.1Spark版本2.4.31.先安装Anaconda，不赘述。2.安装Spark2.1下载Sparkspark下载地址选择2.4.3下载2.2安装Spark解压至目录D:\spark-2.4.3-bin-hadoop2.7。在D:\spark-2.4.3-bin-hadoop2.7\conf文件夹下，复制一份log4j.properties.template并改名为log4j.properties，修改日志级别如下：log4j.rootC

先看一下错误信息08-Mar-2021 13:53:47.744 严重 [RMI TCP Connection(3)-127.0.0.1] org.apache.catalina.core.StandardContext.listenerStart 配置应用程序监听器[org.springframework.web.context.ContextLoaderListener]错误 java.lang.ClassNotFoundException: org.springframework.web.cont

Kafka能够实现高效的数据读写，主要是有下面一些原因：顺序写磁盘  当kafka接收到生产者传递过来的消息后，kafka是直接将数据追加到log文件中的，属于顺序写文件，对于同样的磁盘来说顺序写文件的效率要大大高于随机写文件。应用Pagecache  kafka将数据直接持久化到pagecache中，其实就是内存中，这样有几个优点：I/O Scheduler可以将多个小块的写组装成大块的写操作，降低了I/O次数利用空闲内存（非JVM内存），这样可以减少JVM的GC操作消费者可以直接从

简介Kafka是一个基于发布订阅的分布式消息队列，主要用于大数据实时处理场景。Producer：消息生产者，向kafka集群发送消息的客户端。Consumer：消息的消费者，向Kafka集群取出消息的客户端。Consumer Group：多个消费者也可以联合起来组成一个消费者组，这个消费者组共同消费一个topic中的数据，只不过一个topic的一个分区只能由一个消费者组中的消费者消费，并且一个消息只会被消费者组中的一个消费者所消费，其它同组消费者不会重复消费该消息。Broker：kafka集

1.MapReduce程序提交到客户端节点2.客户端节点向RM申请ApplicationMaster，（每一个任务都会对应一个ApplicationMaster，这个ApplicationMaster负责后续任务的运行），RM告知客户端资源上传路径，这里上传资源到HDFS是因为要运行的程序需要共享到其它节点，而HDFS上的资源是可以被节点共享的。3.客户端将资源上传至目标路径。4.资源提交完毕后，客户端申请RM运行ApplicationMaster。5.RM将运行ApplicationMaster.

简介MapReduce主要分为两个阶段，map阶段和reduce阶段。而map阶段的数据主要是交给MapTask来进行处理，同样reduce阶段主要是交给ReduceTask来处理。那么在这两个阶段中启动多少个Task将直接影响数据处理的效率，下面分别介绍影响这两个阶段Task数量的因素以及如何设置Task数量。MapTask的数量在介绍一个任务中MapTask数量之前要先介绍一下分片的概念。一个...

NameNode和SecondaryNameNode工作机制NameNode主要是存放一些元数据信息，那么这些元数据信息如果存放在磁盘中，每次请求都去磁盘中查找元数据，这样效率很慢，所以在Hadoop中元数据都是存放在内存中的。这样会带来一个问题，如果掉电，内存中的数据就没有了，所以为了保证元数据的安全性，所以需要对内存中的元数据进行备份。所以磁盘中就产生了备份数据FsImage。但是这样还是会出现另一个问题，那就是当我们更新了内存中的元数据，就需要同时更新FsImage，这样会导致效率很低。此时引入了E

HDFS写数据流程1.客户端向NameNode发送上传文件的请求，NameNode会检查上传的文件是否存在，路径是否合法。2.当客户端的上传请求通过检查后，NameNode会响应客户端允许上传文件。3.客户端将待上传文件按照默认数据块大小进行分块，然后请求NameNode上传第一个数据块，让NameNode返回数据块存储节点。4.NameNode返回数据块存储的节点dn1、dn2和dn3，一般设置几个副本，将会返回几个节点。5.客户端向dn1请求建立数据上传通道，然后dn1调用dn2，dn2调用

简介Hadoop是一个分布式系统的基础框架，现在主要是指Hadoop大数据处理生态圈，在这个生态圈中有很多大数据处理框架，其中组成Hadoop的最核心框架有三个MapReduce、YARN和Hdfs，分别是分布式计算框架、资源调度框架和分布式文件系统。HDFSHDFS是一个分布式文件系统，主要的作用是用来解决海量数据的存储问题，将很多台机子联合起来组成一个大的文件系统，这个文件系统的存储容量可以根据机子节点的数量动态的扩容和减少。这些联合起来的机子我们称为集群，集群中的单个机子称为节点。集群中的每

文件属性首先Linux是一个多用户操作系统，所以不同的用户对于同一个文件拥有不同的权限，使用ll指令可以查看一个文件的详细属性，如下图：其中文件类型与权限中的第一位如果是 d 则代表是目录，如果是 - 代表这是个文件。r 代表读权限，w 代表写权限，x 代表执行权限。改变文件权限有两种方式改变文件的权限第一种：chmod [ugoa] [+_=] [rwx] [文件]，其中第一个参数u代表属主，g代表属组，o代表其他用户，a代表所有。第二个参数+是增加权限，-是减少权限，=直接赋予什么权限

简介VI是Linux中最为常用的编辑器，VIM是VI的升级版同时完全兼容VI，VIM字体有颜色的变化，可以更加方便的辨别语法的正确性。VI/VIM编辑器一共有三种模式一般模式：进入VI/VIM后编辑器默认是这种模式，这个模式下可以根据上下键以及快捷键移动光标，也可以复制，删除某些行的内容，但是不能插入内容到文本之中。编辑模式：在一般模式下按下insert键或者i键可以进入编辑模式，主要可以用来对文本进行一些编辑工作，编辑完毕之后需要按下Esc键回到一般模式，如果想要保存文件需要进入命令模式。命

Linux中文件目录结构只介绍几个比较重要的文件目录/usr/bin：放置着经常使用的命令。/usr/sbin：其中的s指的是spuer user的意思，里面存放的是系统管理员使用的系统级别程序。/home：Linux是多用户系统，每个普通用户都有一个自己的文件夹，这个文件夹就放在这个目录下面，并且一般是以用户名命名。/root：这个是系统管理员的目录。/etc：所有系统管理的配置文件都放在这个目录下面。/usr：这个目录可以类比于Windows的program files目录，很多应用程序

CentOS 7安装1.安装虚拟机2.虚拟机的网络配置3.CentOS 7系统安装4.CentOS 7开启网络、关闭防火墙以及设置静态IP1.安装虚拟机新建虚拟机hadoop101建议修改虚拟机名称和存放位置。关于处理器和内存根据自己电脑配置修改。放入centos 7的iso文件2.虚拟机的网络配置虚拟机的网络配置主要分为两种，第一个就是桥接模式，第二个是NAT模式。桥接模式：可以让虚拟机直接连接到本地局域网，并且同一局域网内的其他机器也能够访问这台虚拟机，这种网络

Linux下搭建高可用MySQL说明：首先准备两台centos 7系统的虚拟机，MySQL使用5.6版本。安装MySQL分别在两台虚拟机中安装MySQL在Linux中解压mysql-libs.zip包，包内包含三个文件-rw-r--r--. 1 root root 18509960 3月 26 2015 MySQL-client-5.6.24-1.el6.x86_64.rpm-rw-r--r--. 1 root root 3575135 12月 1 2013 mysql-connector

Hadoop集群搭建说明：本文使用三台虚拟机来搭建hadoop集群。虚拟机系统版本为centos 7，hadoop版本为2.7.2。文中主要介绍虚拟机的安装、虚拟机的网络配置以及hadoop集群的搭建。1 虚拟机安装新建虚拟机hadoop101建议修改虚拟机名称和存放位置。关于处理器和内存根据自己电脑配置修改。放入centos 7的iso文件配置虚拟机的网络打开本机电脑的网络设置（右键属性）打开虚拟机网络设置开始安装系统选择自动分区即可设置ro

1.利用maven将SpringBoot项目打成jar包这里使用idea利用maven进行打包，如下：最后会在项目的target文件下找到打成jar包后的项目，如下：2.将项目jar包上传至Linux系统中本文使用宝塔系统上传文件至Linux系统，不赘述。3.Linux部署命令介绍//cd到项目jar包目录下//启动jar包命令，关闭后台项目仍然运行nohup java -jar behavior.jar > records.log 2>&1//查看正在运行的Java

1.创建拦截器//自定义拦截器，定义之后需要将拦截器注册到springboot中public class LoginInterceptor implements HandlerInterceptor { //所有的请求会先进入preHandle，在这个方法中进行登陆验证， //若用户已登陆则放行，若用户没有登陆则跳转至登陆页面 @Override public boolea...

1. 利用Ajax发送请求$.ajax({ url:"login",//请求得地址 type:"POST",//请求得方式 async:true,//是否开启异步 data:{"id":id,"pwd":pwd},//发送请求时所携带得数据，json类型 dataType:"json",//后端返回得数据类型 success:function(data) { //请求成功时回调函...

Mybatis自定义SQL语句传参方式1.注解的方式自定义SQL语句在Mybatis中可以不配置映射文件，使用注解的方式来书写SQl语句。1.根据车牌号更新车辆的电话，使用#{}来取出传入的参数@Update("update taxi_info set tel=#{tel} where id=#{id}")void updateTel(@Param("id") String id,@Pa...

设计模式：单例模式序言单例模式属于创建型模式，当项目中某个对象在整个声明周期中只需要创建一个实例时可以使用单例模式。如：经常用到的对象，工具类对象，频繁访问数据库或文件的对象。单例模式一共有八种创建方式，这里只介绍七种。/*单例模式*///饿汉式(静态变量)/* * 优点： * 写法简单，类装载的时候就创建实例，避免了线程同步的问题。 * 缺点： * 若一直没有用过则会...