weixin_44519263的博客

转载 Spark

原创 搭建HDFS完全分布式

环境系统环境 linux centOS6.5jdk环境 jdk1.8.0_11zookeeper环境 zookeeper-3.4.14hadoop环境 hadoop-2.7.11搭建Zookeeper集群1.1 关闭Linux（版本是Centos6.X）的防火墙临时关闭防火墙：service iptables stop永久关闭防火墙：chkconfig iptables off...

原创 数据倾斜

1.如何解决join引起的数据倾斜用map side join 即把大表进行拆分成多个小表然后与对应的小表进行关联2.如何解决GroupBy引起的数据倾斜，1combiner 2两个job...

转载 Hadoop

在这里插入图片描述

转载 2PC算法

转载 ZAB协议

一、概述1.ZAB（Zookeeper Atomic BroadCast）协议是为分布式协调服务Zookeeper专门设计的一种支持崩溃恢复的原子广播协议2.ZAB协议是一种特别为Zookeeper设计的崩溃可恢复的原子消息广播算法。这个算法是一种类2PC算法，在2PC基础上做的改进3.ZAB协议包括两种基本的模式，分别是：a.消息原子广播（保证数据一致性）b.崩溃恢复（解决2PC算法的...

原创 IOC

1.IOC-控制反转(依赖注入)所谓IOC称之为控制反转，简单来说就是将对象的创建的权力及对象的生命周期由Spring框架来处理，从此在开发过程中不再需要关注对象的创建和生命周期需要时由Spring框架提供，这个由Spring框架管理对象创建和生命周期的机制称之为控制反转。而在创建对象的过程中Spring可以依据配置对象的属性进行设置，这个过程称之为依赖注入2.IOC的实现原理在初始化一个...

原创 【spring】[Xlint:invalidAbsoluteTypeName]error

错误：启动spring容器时报类似 [Xlint:invalidAbsoluteTypeName]的错误spring aop进行事务控制时配置切点表达式错误@Pointcut("execution(* cn.minfive.dao.*(..))") public void pointcut_() { }上面的切点表达式没有匹配方法，所有报错了改正 @Pointcut("execu...

原创 搭建一个springMVC项目，包含父项目

1.进入https://maven.apache.org/download.cgi 下载apache-maven-3.6.0-bin.zip解压到当前文件加下 记住的你的路径名D:\software\apache-maven-3.6.02.进入https://tomcat.apache.org/download-80.cgi 下载apache-tomcat-8.5.38.zip解压到当前文...

原创 Servlet调用过程

原创 服务器中Response与Request以及HTTP协议

HTTP/1.0与HTTP/1.1的区别

原创 tomcat服务器示意图

B/S交互示意图物理主机—>>虚拟主机—>>web应用tomcat存储结构

原创 两种连接池方式c3p0和dbcp

c3p0导包c3p0-0.9.1.2.jarpackage cn.pool;import java.sql.Connection;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;import com.mchange.v2.c3p0.ComboPooledDataSour...

原创 JDBC工具类

需要导包mysql-connector-java-5.0.8-bin.jarpackage com.JDBCutils;import java.io.File;import java.io.FileInputStream;import java.io.IOException;import java.sql.Connection;import java.sql.DriverManage...

原创 反射

低耦合高内聚反射：在java中运行的一个类，可以获取它的所有属性和方法，并且可以使用它的所有属性和方法。这种动态的调用属性方法和使用对象内容的机制，称为反射机制要获取或者对象的内容，必须获得类或者对应的class类class类：代表类的类获取class的方式一：类名/接口/基本数据类型.class获取class的方式二：对象.getclass() 获取对象对应的实际类型获取class...

原创 Java消费者生产者问题

/** * 一个线程作为生产者，一个线程作为消费者。生产者和消费者在同时执行。 * 生产者每生产一次消费者就消费一次。生产和消费的数量用随机数来表示。 * 要求：生产者的数量和上次消费后的剩余数量和不大于1000. * sleep：可以指定休眠的时间，如果没有其他操作，那么到点自然醒。 * 如果sleep有锁资源，那么不释放代码执行权，sleep是Thread的类方法 * wait：...

原创 线程

进程：当一个程序需要被运行时，要进到内存中。在内存中运行的程序，就是进程。进程都有自己特点的功能。Windows操作系统支持运行多个进程。线程：线程是进程中的一个执行单元。负责进程中程序的执行。一个进程至少有一条线程。一个进程如果有多条线程，我们称之为多线程程序如果只有一条线程，称之为单线程程序线程的优点：1.提高用户的用户体验2.线程可以提高cpu的利用率Java里面的线程使用的是...

原创 IO流

字符输入流FileReader BufferedReader字符输出流FileWriter BufferedWriterBufferedReader的特点：可以一次读取一行字符串(里面不包含换行符) readLineBufferedWriter的特点：可以提供换行方法newLine练习：统计java代码的行数思路：先去workspace中寻找.java文件使用Buffere...

原创 统计一个字符串中每个字符出现的次数

用replaceAll方法找出一个字符串每个字符串出现的次数package cn.itacst.StringDemo;import java.util.Scanner;/* * 获取字符出现的次数 * * */public class Execise { public static void main(String[] args) { Scanner sc=new Sc...

原创 HashMap的遍历输出

import java.util.HashMap;import java.util.Iterator;import java.util.Map;import java.util.Set;public class MapDemo { public static void main(String[] args) { Map<String, Integer> map = ...

原创 集合

什么是集合？存储数据的容器。数组长度是固定不变的。Collection是集合的顶级接口Collection泛型，用于约束集合中元素的类型泛型中的类型只能是引用数据类型。Collection接口的自接口list接口list接口的特性：list接口是有序的–存储和取出顺序是一致的。list接口都有索引的方法ArrayList类是list接口的一个实现类ArrayList长度是不...

原创 内部类

类内部有类方法（局部）内部类成员内部类静态内部类匿名内部类接口内部有类

原创 interface(接口)

如果抽象类中所有的方法都是抽象方法，就把抽象类变成了接口用interface来表示。类与接口之间通过implements来表示实现，如果一个普通类实现接口就要把接口中所有的抽象方法进行重写，如果不想都重写就要把普通类编程抽象类。接口与接口之间允许多继承接口中都是抽象方法？不一定 如果jdk1.8以前接口中只能有抽象方法，从jdk1.8开始就允许接口中可以去定义实体类接口能定义构造方法？接口中...

原创 static（静态）

package cn.itcast.day10;/* * static * 类属于类的信息全部存放在方法区 * * */public class Demo { public static void main(String[] args) { Person p=new Person(); Person p1=new Person(); p.gender='a'; ...

原创 Java面向对象的特征

封装、继承、多态（抽象）1.封装封装的体现形式—方法 对属性进行私有化，通过公共的访问方式去访问私有属性，可以提高代码代码数据安全性2.继承多个类中存在相同的内容，就把相同的内容抽取到一个新类中，新类和原来的类就通过extends就产生了关联关系–继承新类–父类、超类，基类原来的类–子类、派生类 子类可以拿到父类的部分信息继承形式java支持单继承（父类只能有一个，子类可以有多个...

原创 算法：螺旋填数

package cn.itcast.execise;/* * * 6. 螺旋填数. *读入两个整数m,n，输出一个m行n列的矩阵，这个矩阵是1~m*n这些自然数按照右、下、左、上螺旋填入的结果。 * * * */public class Execise06 { public static void main(String[] args) { //数组存储的数据 ...

原创 算法：猴子选大王问题（约瑟夫环）

package cn.itcast.execise;/* * 15个猴子围成一圈选大王，依次1-7循环报数，报到7的猴子被淘汰， * 直到最后一只猴子成为大王。问：哪只猴子会成为大王？ * * * */public class Execise05 { public static void main(String[] args) { //布尔数组---表示猴子的状态 ...

原创 Java面向对象的引入

面向对象----就是一种编程的范式（一种套路—遇到问题的一种解决方案）面向过程----关注一系列功能具体实现的细节，复用性不高面向对象----把所有实现的细节整合到对象中，只要找到对象就能拿到对应的功能面向对象基于面向过程，面向对象优于面向过程？如果使用的场景越简单就优先采用面向过程，反之采用面向对象类与对象之间的关系对着一类事物进行抽取，把这类事物共有的特征抽取成属性，把共有的行为抽...

原创 链表

#include&amp;amp;lt;stdio.h&amp;amp;gt;#include&amp;amp;lt;stdlib.h&amp;amp;gt;#include&amp;amp;lt;malloc.h&amp;amp;gt;typedef struct LNode{int data;struct LNode * next;} *Node,LNode;Node create_list(void);void traverse(Nod

原创 数据结构

算法：狭义的算法是与数据的存储方式密切相关的广义的算法是与数据的存储方式密切无关的泛型：利用某种技术达到的效果是：不同的存储方式，执行的操作是一样...