deyu01的博客

转载 postgreSQL的递归写法

https://blog.csdn.net/wenzhihui_2010/article/details/43935019

转载 HTML和CSS中电子字体的显示与制作

https://blog.csdn.net/sunshine_han/article/details/78258880这篇博文详细写了如何在HTML中做出电子字体的过程和想要选则的电子字体

原创 大数据8-Hive简介和集群搭建

1.Hive特点：     1.1可扩展性 ：Hive可以自由的扩展集群的规模，一般情况下不需要重启服务；     1.2延展性：Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数；     1.3容错：良好的容错性，节点出现问题，SQL仍可以完成执行。2.HIve架构               2.1基本组成：    用户接口：包括CLI、JDBC/...

转载 大数据7-Hadoop的高可用（HA）

1.hadoop的高可用原理：双namenode协调工作的要点：A、元数据管理方式需要改变：      内存中各自保存一份元数据      Edits日志只能有一份，只有Active状态的namenode节点可以做写操作      两个namenode都可以读取edits      共享的edits放在一个共享存储中管理（qjournal和NFS两个主流实现）B、需要一...

转载 大数据6-Maptask并行度有关

1.FileInoutFormat切片机制：2.总结：    1.切片是为了给maptask分配任务，也就是为了整个mapreduce程序做map的并行度规划；    2.一个切片会交给一个maptsak来处置；    3.默认的切片机制是FileInputFormat getSplits（），他的逻辑是对输入目录中所有的文件挨个进行切片，切片的参数splitSize == b...

原创 大数据5-hadoop实现wordcount

1.原理：用户编写的程序分成三个部分：Mapper，Reducer，Driver(提交运行mr程序的客户端) Mapper的输入数据是KV对的形式（KV的类型可自定义） Mapper的输出数据是KV对的形式（KV的类型可自定义） Mapper中的业务逻辑写在map()方法中 map()方法（maptask进程）对每一个<K,V>调用一次 Reducer的输入数据类型对应M...

转载 大数据4-HDFS工作机制

概述：HDFS集群分为两大角色：NameNode、DataNode  (Secondary Namenode) NameNode负责管理整个文件系统的元数据 DataNode 负责管理用户的文件数据块 文件会按照固定的大小（blocksize）切成若干块后分布式存储在若干台datanode上 每一个文件块可以有多个副本，并存放在不同的datanode上 Datanode会定期向Nam...

转载 大数据3-Hadoop分布式介绍及集群搭建

1.分布式系统三大组件：     1.1 海量数据的存储              分布式文件系统（HDFS）              a.具有分布式的集群结构 我们把这样实际存储数据的节点叫做datanode；              b.具有一个统一对外提供查询、存储、搜索的机器节点：                 对外跟客户端统一打交道；            ...

原创 大数据01-Zookeeper安装及详解

1.分布式系统中的协调服务：       分布式系统中，通常有多个节点，节点之间一般都有主从之分，you有的时候dan当一个节点挂掉的时候，如何保证节点之间协调工作就是一个比较重要的问题，此时就需要一个管理各个节点之间的协调工具，zk应运而生！2.zk在各种分布式协调服务场景中的应用：      2.1在线感知：      a.所有服务节点上线时，先去zk上注册一个子节点；  ...

转载 JUC_1_volatile 原子变量与CAS算法

1.关于JUC:在 Java 5.0 提供了 java.util.concurrent （简称 JUC ）包，在此包中增加了在并发编程中很常用 的实用工具类，用于定义类似于线程的自定义子系统，包括线程池、异步 IO 和轻量级任务框架。提供可调的、灵活的线程池。还提供了设计用于多线程上下文中的 Collection 实现等。2.volatile 关键字：内存可见性内存可见性：是指当某个线...

转载 Thread详解

1.创建多线程的两种方式：    1.1 继承Thread方法class PrintNum extends Thread{ public void run(){ //子线程执行的代码 for(int i = 1;i <= 100;i++){ if(i % 2 == 0){ System.out.println(Thread.currentThread().g...

原创 SpringBoot-01错误处理机制

1.常见的错误类型：1.1、404错误是服务器执行完客户端的请求以后，返回给客户端的一个执行结果的状态编码。产生原因：web服务器（容器）根据请求的地址找不到相应资源。如：1)地址错误（拼写不正确，字母大小写错误）2）web.xml文件中的两个<servlet-name>不一致3）工程没有部署4）web应用程序部署结构没有遵守servlet规范1.2、405错误产生原因：web服务器（...

原创 MySql_05 索引优化

1.单表索引：2.双表连接查询：3.三表连接：三表连接查询索引：三表左连接，将右边两个表建立索引，三表右连接，将左边两个表建立索引。因为左连接，左边的表要查全表；右连接，右边的表要查全表。4.索引失效的案例：解释：4.1.全职匹配我最爱：即为某个表建立的一个或几个索引都用到了Eg：以下表中有name，age，pos做了组合索引：idx_staffs_nameAgePos 4.2.最佳左前缀法则：用...

原创 MyBatis-04 一级缓存和二级缓存

1. 一级缓存：（本地缓存）：sqlSession级别的缓存。一级缓存是一直开启的；SqlSession级别的一个Map 与数据库同一次会话期间查询到的数据会放在本地缓存中。 以后如果需要获取相同的数据，直接从缓存中拿，没必要再去查询数据库；      一级缓存失效情况（没有使用到当前一级缓存的情况，效果就是，还需要再向数据库发出查询）： 1、sqlSession不同； 2...

原创 MyBatis-03 关联查询 级联属性 分布查询和延迟加载 collection属性

在Mybatis查询中，一条sql查询两个表的数据，可以用到级联属性。例如在员工的属性中加入部门的对象，这样可以用到级联属性来配置：员工实体类：public class Employee { private Integer id; private String lastName; private String email; private String gender; private...

原创 MyBatis-02 xml的配置参数名称和作用

dept:包com.atguigu.mybatis.bean;import org.apache.ibatis.type.Alias;@Alias（ “EMP”）公共类Employee { 私人整数ID; 私人字符串姓氏; 私人String电子邮件; 私人字符串性别; 私营部门部门; public Employee（）{ 超（）; } public Emp...

原创 MyBatis-01 ${}和#{}的区别

转载 SpringMVC-拦截器

SpringMVC也可以使用拦截器对请求进行拦截，用户可以自定义拦截器来实现特定功能，自定义的拦截器必须实现HandlerInterceptor接口：   该接口要重写的三个方法：     -preHandler():这个方法在业务处理器处理请求之前被调用，在该方法中对用户请求request进行处理。如果程序员决定该拦截器对请求进行拦截处理后还要调用其他的拦截器，或是业务处理器去进行处理，则返回t...

转载 将String类型的字符串拼接成以逗号分隔的字符输出

package test;import java.util.ArrayList;import java.util.List; public class Tesdssss { private static List<String> dataList = new ArrayList<String>(); public static void ma...

原创 SpringMVC-源码-01可以使用serlvet原生的API作为目标方法的参数

开始学习SpringMVC的源码，debug跟踪源码可以看出来，在handler开始的时候对传入的参数进行了判断，看看参数中的这几个serlvet原生参数： /** * 可以使用 Serlvet 原生的 API 作为目标方法的参数 具体支持以下类型 * * HttpServletRequest * HttpServletResponse * HttpSession *...

原创 Spring在web中的使用

1. Spring 如何在 WEB 应用中使用 ?1). 需要额外加入的 jar 包:spring-web-4.0.0.RELEASE.jarspring-webmvc-4.0.0.RELEASE.jar2). Spring 的配置文件, 没有什么不同3). 如何创建 IOC 容器 ? ①. 非 WEB 应用在 main 方法中直接创建②. 应该在 WEB 应用被服务器加载时就创建 IOC 容器:...

原创 Spring-事务-2 事务的五种属性

并发导致的事务问题：当同一个程序或不同程序中的多个事务在同一个数据集上并发执行的时候，可能会出现许多意外的问题。并发事务所导致的问题可以分为下面三类：    -脏读：对于两个事务T1,T2，T1读取了已经被T2更新但还没有被提交的字段，之后，若T2回滚，T1读取的内容就是临时且无效的；    -不可重复读：对于两个事务T1,T2，T1读取了一个字段，然后T2更新了该字段。之后T1再次读取同一个字段...

原创 Spring-事务-01 事务的属性和两个重要的传播行为的详解

1.事务就是一系列的动作，它们被当作一个单独的工作单元，这些动作要么全部完成，要么全部不起作用；2.四个关键属性：             -原子性：事务是一个原子操作，由一系列动作组成，事物的原子性确保要么全部完成，要么完全不起作用；             -一致性：一旦所有事物动作完成，事物就会被提交。数据和资源就处于一种满足业务规则的一致性状态中；             -隔离性：可能有...

原创 Spring-AOP-02 通知（前置 后置 异常 环绕）

之前面试时候有一道题就是考察对AOP面向切面编程的理解：有很多方法，这些方法的执行比较复杂，如何计算这些方法的执行时间？以下为AOP的通知：1.配置文件<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http:...

原创 Spring-AOP-01 动态代理

利用动态代理实现一个简便计算器：1.实现一个计算器的四则运算的接口：package com.atguigu.spring.aop;public interface ArithmeticCalculator { int add(int i, int j); int sub(int i, int j); int mul(int i, int j); int div(int i, in...

原创 spring学习

0. bean的配置形式：基于XML文件的配置方式，基于注解的方式。 bean的配置方式：通过全类名（反射），通过工厂方法（静态工厂方法&实例工厂方法），FactoryBean。1.spring中的bean的作用域的配置：使用scope来配置bean的作用域：两种情况scope=singleton和scope=prototype第一种：singleton 默认值，当容器初始时创建bean的...

原创 group by

今天写一新的接口，根据广告的级别，分别给出每一个级别的数量，用到了group by 关键字：表结构：级别表：v_property_info表结构：数据：广告表：tab_catalogue_type_count_t:表结构：数据：sql1：结果集1：sql2：结果集2：结论：1.比较sql1和sql2可以看出 group by后面的字段少了一级，所以sum的和取得也是不同的级别的分组的和；     ...

原创 SQL优化引发的思考

        最近在做一个项目，在做查询数据库（oracle）中发现一个问题，当在测试环境下可以执行，但是当发布到生产环境上的时候，因为实际数据库量很大，导致sql执行很慢，架构给出的方案是做物化视图，因为查询的另外的几个表的数据在别的数据库中，但是为了保持数据同步，每隔一个小时更新一次，这样因为数据量太大导致oracle的日志隔天就满了，最终导致系统卡死，关键的是卡死的时候正好在给客户的领导演...

原创 Mysql-04 Explain关键字解析

explain：使用EXPLAIN关键字可以模拟优化器执行SQL查询语句，从而知道MYSQL是如何处理你的SQL语句的。分析你的查询语句或者是表结构的性能瓶颈。字段说明：1. id：select查询的序列号，包含一组数字，表示查询中执行select子句或操作表的顺序；三种情况：        a.  id相同，执行顺序由上至下；           b.id不同，如果是

原创 MySql03-索引简单介绍

1.索引是什么：索引（Index）是帮助MYSQL高效获取数据的数据结构。本质数据结构排序+查找一般来说索引本身也很大，不可能全部存储的内存中，因此索引往往以索引文件的形式存储在磁盘上。我们平时所说的索引，如果没有特别指明，都是指B树（多路搜索树，并不一定是二叉树）结构组织的索引。解决sql的where条件后面的字段是否查得快，条件的封装组合，以及orderby排序的查询；原理如图：

原创 Mysql02-查询原理

1.  sql性能下降的原因：        1.1查询语句有问题； 1.2索引失效； 1.3关联查询太多join； 1.4服务器调优以及各个参数设置（缓冲，线程数等）。2.SQL执行顺序加载： 1 FROM  2 ON  3 JOIN  4 WHERE  5 GROUP BY  6 HAVING  7 SELECT 8 DISTINCT

原创 Mysql-01 架构介绍

1.Mysql的配置文件：     1.1二进制文件：主从复制；     1.2错误日志：默认是关闭的，记录严重警告和错误信息，每次启动和关闭的详细信息等；     1.3查询日志：默认关闭，记录查询sql语句，如果开启会减低mysql的整体性能，因为记录日志也是需要消耗系统资源的；     1.4数据文件： linux：/var/lib/mysql;      1.5frm文

原创 关于Mybatis传递数组xml文件的写法

这是用mybatis的xml文件来模糊查询不定参数的sql写法：1.对应的java的interface：public interface MyMapper { List queryAppleByName(@Param("names")String[] names); }2.对应的xml文件： select size,age from apple@or

原创 Mybatis注意事项

在SSM框架中使用mybatis时候有些要注意的地方：1.Mybatis的配置文件*.xml中的注解注意不要出现 :即不要出现除了注解以外的--;2.关于标签中的 resultMap：这是返回list对象，如果返回String或这Integer类型的参数则应该为resultType；3.在xml文件的sql中不要出现“待续...

原创 将List中元素的属性赋给数组

package ListToArr;public class Person { private String name; private String sxe; private int age; public String getName() { return name; } public void setName(String name) { this.name = na

原创 java.lang.NoSuchMethodError

java.lang.NoSuchMethodError今天写程序中出现了一个报错：java.lang.NoSuchMethodError com.mybatis.vo.program.NeuCatalogapper.queryNeuCataLogByTime(Ljava/util/Date,Ljava/util/Date)Ljava/util/List出现后经过仔细排查感觉都是没有

原创 成员方法的反射

package com.demo.day01;import java.lang.reflect.Method;public class ReflectMethod { /** * Method类代表某个类中的一个成员方法 * eg：画圆：circle.draw(); * 刹车：train.stop(); * 面向对象：把变量搞成私有的，如果谁要操作这个变

原创 成员变量的反射实例

package com.demo.day01;import java.lang.reflect.Field;public class ReflectPoint { private int x; public int y; public String str1 = "ball"; public String str2 = "basketball"; public String

原创 反射-Field

package com.demo.day01;import java.lang.reflect.Field;public class ReflectPoint { private int x; public int y; public ReflectPoint(int x,int y) { super(); this.x = x; this.y = y; } /*

原创 反射-构造方法

package com.demo.day01;import java.lang.reflect.Constructor;public class ReflectDemo { /** * 反射：把java类中的各种成分映射成相应的java类：例如，一个java类中用一个Class类的对象 * 来表示，一个类中的组成部分:成员变量，方法，构造方法，包等信息也用一个个java类来