- 博客(30)
- 收藏
- 关注
RSS订阅原创 MR中shuffle机制
MR中shuffle机制概述●mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle；●shuffle: 洗牌、发牌——（核心机制：数据分区，排序，缓存）●具体来说：就是将maptask输出的处理结果数据，分发给reducetask，并在分发的过程中，对数据按key进行了分区和排序；主要流程shuffle是MR处理流程中的一个过程，它的每一个处理步骤是分散在各个map task和reduce task节
2021-12-10 15:27:15
813
原创 大数据实时项目Curl追加文本乱码问题解决
大数据实时项目Curl追加文本乱码问题解决Curl传参后我们在消费时会少数据或者读不到数据Curl 网址 ~~=后面追加文本出现乱码问题（url编码） 解决办法（post传参）
2021-11-23 23:01:34
1162
原创 ssm架构（自用）
ssm架构（自用）层级目录applicationContext.xmljdbc.propertieslog4j.propertiesmybatis-config.xml层级目录applicationContext.xml<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.or
2021-09-26 19:53:29
83
原创 Json对象乱码问题
Json对象乱码问题第一种解决方案第二种解决方案第一种解决方案RequestMapping注解处设置编码类型@RequestMapping(value = "/json1",produces = "application/json;charset=utf-8")第二种解决方案在Spring配置文件中统一制定编码<context:component-scan base-package="org.westos.controller"/><mvc:default-servl
2021-09-23 10:38:59
186
原创 SpringMvc json 时间戳格式化工具类及使用
SpringMvc json 时间戳格式化工具类及使用工具类使用工具类import com.fasterxml.jackson.core.JsonProcessingException;import com.fasterxml.jackson.databind.ObjectMapper;import com.fasterxml.jackson.databind.SerializationFeature;import java.text.SimpleDateFormat;public cl
2021-09-23 10:22:42
162
原创 MySQL初识
数据库（DataBase）数据库就是遵循一定数据格式的集合，可以认为它是对文件系统的改进。它解决了不同操作系统之间数据格式的兼容性。关系型和非关系型的区别数据库的区别基本使用用户//创建用户//create user '用户名' @'指定那个主机可以登录' identified by '密码'//授权//grant 权限 on 数据库名.表名 to 用户@登录主机 identified by '用户密码' *.*代表所有数据库和所有表//撤销权限//..
2021-07-28 18:48:40
35
原创 Stream API
概述数据渠道、管道，用于操作数据源（集合、数组等）所生成的元素序列。集合讲的是数据，流讲的是计算即一组用来处理数组，集合的API。特点Stream 不是数据结构，没有内部存储，自己不会存储元素。Stream 不会改变源对象。相反，他们会返回一个持有结果的新Stream。Stream 操作是延迟执行的。这意味着他们会等到需要结果的时候才执行。不支持索引访问。延迟计算支持并行很容易生成数据或集合支持过滤，查找，转换，汇总，聚合等操作。创建流的方式 //数组 St..
2021-07-26 21:13:57
48
原创 java多线程
线程与进程进程：是指一个内存中运行的应用程序，每个进程都有一个独立的内存空间，一个应用程序可以同时运行多个进程；进程也是程序的一次执行过程，是系统运行程序的基本单位；系统运行一个程序即是一个进程从创建、运行到消亡的过程。线程：线程是进程中的一个执行单元，负责当前进程中程序的执行，一个进程中至少有一个线程。一个进程中是可以有多个线程的，这个应用程序也可以称之为多线程程序。简而言之：一个程序运行后至少有一个进程，一个进程中可以包含多个线程并发与并行并发：指两个或多个事件在同一个时间段内发生。.
2021-07-22 21:43:16
39
原创 java IO
IO的分类根据数据的流向分为：输入流和输出流。输入流 ：把数据从其他设备上读取到内存中的流。输出流 ：把数据从内存 中写出到其他设备上的流。格局数据的类型分为：字节流和字符流。字节流 ：以字节为单位，读写数据的流。字符流 ：以字符为单位，读写数据的流。InputStreamOutputStreamReaderWriter缓冲流缓冲流,也叫高效流，是对4个基本的FileXxx 流的增强，所以也是4个流，按照数据类型分类：字节缓冲流：BufferedInputStre
2021-07-20 20:03:07
33
原创 Map、泛型
MapMap保存键值对 K V 无序 key 不可重复 value 可重复Map和Collection不一样.但基本操作是一样的Map用来保存映射关系, 比如 商品,商品的名称,产地,单价等属性,都是商品的属性,但是购买数量,就不是商品的属性,放到商品类中也不合适 那么如何存储这个商品 购买的数量呢? 使用map,用商品作为key,购买数量作为value即可 或者是一些统计操作,比如 现在有一个字符串 "ascsncjkashdiqhiehiasgdg.
2021-07-17 19:00:11
122
原创 比较器、set、map、散列
set树：二叉查找树类似于二分法查找,查询效率比较高左叶子 用于小于根节点的值右叶子 永远大于根节点的值这种方式是二分查找的思想,查询所需要的最大次数,等同于二叉树的高度在添加数据的时候,也是类似的方式,一层层找,一直找到适合新节点的位置但是二叉查找树也有问题比如 一直添加比根节点小的或者大的数据这样的话,虽然符合二叉查找树特性,但是性能大打折扣,几乎变成了线性的 红黑树为了解决二叉查找树多次插入新节点而导致的不平衡,红黑树就诞生了完全符合二叉查找的特性1 节点是红色或者..
2021-07-16 19:29:52
43
原创 集合、List、链表、比较器
集合Collection注意： 1. boolean contains(Object o) : 判断是否包含某个元素 2. 3. boolean remove(Object o) : 删除指定元素 4. 5. 这两个方法,底层都会调用equals方法进行比较 6. 7. 比如 c.contains("abc") ; 会用abc调用equals方法和集合中所有的元素进行比较 8. 9. 所以 如果我们要存储的是自定义的类型,比如User等,那么想要使用contains.
2021-07-15 19:35:14
50
原创 常用API、异常机制
Random例：创建随机数生成器Random random = new Random();从0~9中随机生成一次int i = random.nextInt(10);打印System.out.println(i);DecimalFormatjava.text.DecimalFormat : 数字格式化 # 任意数字 0-9单个数字 , 千分位 . 小数点 0 补位例：（阶乘）public static BigDecimal m2(int n)
2021-07-14 21:46:41
44
原创 java 常用API
Stringjava.lang.String 是字符串类它的底层就是一个字符数组,所以它的很多特性就是数组的特性1 字符串一旦创建,这个字符串对象不能更改2 字符串需要使用 “” 双引号表示3 为了提高字符串访问效率,提出了一个缓存机制,字符串常量池因为String一旦创建,字符串对象不可更改,所以尽量不要使用String进行大量的字符串拼接操作// 无参构造String str = new String（）；// 通过字符数组构造char chars[] = {‘a’, ‘b’.
2021-07-13 19:34:31
56
原创 Object、类关系
Object、类关系Objectjava.lang.Object类是Java语言中的根类，即所有类的父类。它中描述的所有方法子类都可以使用。在对象实例化的时候，最终找的父类就是Object。Object xxx = new xxx()可以发生多态1.1. Equalsequals方法用于比较两个对象是否相同，是否为同一个对象默认比较内存地址，需要根据需求覆写。1.2. toStringtostring方法返回该对象的字符串表示形式输出一个引用类型时，默认输出内存地址：对象的类型+@+
2021-07-08 19:41:46
68
原创 抽象、接口
抽象、接口抽象由来父类中的方法，被它的子类们重写，子类各自的实现都不尽相同。那么父类的方法声明和方法主体，只有声明还有意义，而方法主体则没有存在的意义了。我们把没有方法主体的方法称为抽象方法。Java语法规定，包含抽象方法的类就是抽象类。定义抽象方法 ： 没有方法体的方法。抽象类：包含抽象方法的类。抽象方法使用abstract 关键字修饰方法，该方法就成了抽象方法，抽象方法只包含一个方法名，而没有方法体。定义格式：修饰符 abstract 返回值类型 方法名 (参数列表)；代码
2021-07-07 20:09:51
46
原创 java多态、软件设计六大原则
java三大特性2.软件设计六大原则1 单一职责原则原则思想 : 一个方法只做一件事,一个类只负责一个职责,这样当前职责改动,不会对其他程序产生影响常识原则,几乎所有程序员都会遵循这个原则优点 : 降低类和类之间的耦合度,提高可读性,可维护性,可扩展性,降低可变性的风险2 里氏替换原则原则思想 : 能使用父类的地方,就一定可以使用子类子类还可以扩展父类的功能,但是不能更改父类的功能,并且子类还可以有自己特有的功能优点 : 增加了程序的健壮性,即使有了新的子类,原子类不受影响,可以正常.
2021-07-06 21:05:00
105
原创 this、static、封装
this、static、封装Thisthis:是每个对象中，保存自身内存地址的一个引用类型变量this就表示对象自己方法被哪个对象调用，方法中的this就代表那个对象。即谁在调用，this就代表谁。this使用格式 ：用在成员方法/构造方法中 区同名分成员和局部变量 this.xxx = xxx;用于重载调用当前类中其他的构造方法,提高代码重用性 this( 参数 ); 必须在方法第一行return this; 返回当前对象的内存地址, 可以做到
2021-07-05 18:53:46
55
原创 2021-06-28数组
数组数据结构数据结构是计算机存储、组织数据的方式。数据结构是指相互之间存在一种或多种特定关系的数据元素的集合。通常情况下，精心选择的数据结构可以带来更高的运行或者存储效率。数据结构往往同高效的检索算法和索引技术有关。数组引用数据类型 : 类 , 数组 , 接口之前我们的变量都是保存单个数据,而数组是为了保存多个数据数组 在java中是一种数据结构,另外还有一个专门操作数组的类 java.util.Arrays不止在java中,任何语言中数组都是一个最基本的数据结构数组在内存空间中
2021-06-28 18:54:27
42
原创 内存划分、递归
内存划分、递归内存划分程序 : 一堆代码的集合,是个可执行文件,但是是一个静态概念,一般保存在硬盘中进程 : 就是正在执行的可执行文件,是个动态概念,会按照程序的设计,在内存中一步步执行运行起来的程序,指的是载入到内存中的可执行文件,这个时候操作系统就会开启一个进程来运行这个内存中的文件对象如果我们想关闭某个软件,可以直接结束这个进程即可java的内存划分和管理 Java Runtime Data Area : java 运行时数据区域,我们一般叫JVM内存 分为 : 静态区/方法区 ,
2021-06-25 16:32:02
122
原创 java方法
方法概述一堆命令的集合，可以重复使用，一个有名字的代码段优点/目的：代码复用1 使程序更加简短清晰2 便于维护3 提高开发效率4 提高代码复用方法声明修饰符列表 返回值类型 方法名 参数列表 方法体修饰符列表可以有、可以没、可以有多个修饰符列表 :权限控制 : public protected private 三选一静态 : staticabstract , final 二选一synchronized 返回值类型 : 11种数据类型中任意一种,或者是void
2021-06-24 19:10:54
37
原创 运算符、流程控制、循环
运算符、流程控制、循环运算符1.1赋值运算符= , += , -= ，*= ，/= , %=左结合：同等优先级，从左到右计算右结合：同等优先级，从右到左计算而这些都是右结合不同类型混合运算时结果都是int类型，所以需要强制转换。但是++和+=等操作不需要强转，会自动转换，但是数据该出错还出错。1.2字符串连接符+既是加和运算符也是字符串连接符1.3三目运算符语法：boolean表达式？真语句：假语句；可以进行叠加比如boolean表达式？真语句：boolean表达式？真语句：
2021-06-23 20:11:23
74
原创 数据存储、数据类型、变量、运算符
数据存储、数据类型、变量、运算符存储单位Bit : 比特,1bit就是一个电子位,统称位Byte : 字节 , 1字节= 8bit 8位Short : 短整型 , 1short= 16bitInt : 整型 ,1int = 32bitLong : 长整型 , 1long=64bit比如 byte , 8位 最大值 就应该是 2^7-1 2的7次方减1 255但是为了保存负数,最高位为符号位,直接损失一半精度1 表示 负数, 0 表示正数1 二进制 000000012 二进制 00
2021-06-22 19:47:44
31
原创 java初识
java初识java概述1991年，命名为OAK，是sun公司推出的，1995年以java推出。詹姆斯·高斯林为java之父。java三大体系： javaSE、javaEE、javaMEjava特性JVM四大特性： 多线程、面对对象、跨平台、自动垃圾回收编译型语言：运行之前,先把源文件通过指定的编译器,生成机器码文件,可以让计算机直接识别优点 : 只需要编译一次,可以运行无数次,运行效率极高缺点 : 因为不同的操作系统平台,识别的进制文件是不同的,跨平台性能较差解释型语言 : 每
2021-06-21 17:51:02
39
原创 mysql概述 DDL:操作数据库、表
sql概述1.什么是SQL？Structured Query Language：结构化查询语言其实就是定义了操作所有关系型数据库的规则。每一种数据库操作的方式存在不一样的地方，称为“方言”。2.SQL通用语法1. SQL 语句可以单行或多行书写，以分号结尾。2. 可使用空格和缩进来增强语句的可读性。3. MySQL 数据库的 SQL 语句不区分大小写，关键字建议使用大写。4. 3 种注释* 单行注释: – 注释内容 或 # 注释内容(mysql 特有)* 多行注释: /* 注释 */
2021-04-25 22:37:28
66
原创 java面向对象
面向对象面向过程与面向对象面向过程就是分析出解决问题所需要的步骤，然后用函数把这些步骤一步一步实现，使用的时候一个一个依次调用就可以了；面向对象是把构成问题事务分解成各个对象，建立对象的目的不是为了完成一个步骤，而是为了描叙某个事物在整个解决问题的步骤中的行为。看大家怎么说来自知乎的【大魔头-诺铁】这么说：面向对象是把世界描绘成N个有主动性的"活物"之间的交互面向过程是有一个"上帝之手"通过制定一系列规则来操纵一堆"死物"来自知乎的【叶晓斌】这么说：面向过程是一件事"该怎么做"面向
2021-03-30 19:36:40
53
原创 重载、递归、内存分析
重载、递归、内存分析1.方法重载特点1)方法名一定要相同2)参数列表不同——参数类型、参数个数3)与方法的访问控制符和返回值无关示例1)定义一个无参构造方法2)定义一个带一个参数构造方法，初始化姓名属性。3)定义一个带一个参数构造方法，初始化年龄属性。4)定义一个带两个参数构造方法，初始化姓名、年龄属性。2.5对象的引用与this引用Student s = new Student(“张三”);上面的对象名s即为对象的引用，而 new Student(“张三”)才是张三对象。th
2021-03-25 18:36:02
47
原创 循环方法
循环方法循环结构 当程序执行到循环控制语句时，根据循环判定条件对一组语句重复执行多次。 循环结构的三个要素：循环变量、循环体和循环终止条件。 while、do…while、for三种循环。如图：1.1 while语句【语法格式】while(布尔表达式){循环体; //一条或多条语句}【示例】int i = 1;while(i<=5) {System.out.println(i);i++;}1.2 do…while语句【语法格式】do {循环体;}wh
2021-03-24 18:42:04
426
原创 数据类型、变量、操作符
数据类型、变量、操作符数据分类1.1分类1.2整形案例 1.3浮点案例 1.4字符型案例char：数字型，使用’'英文单引号表示，有且只有一个数据，占用2字节，16位，范围是0~65535 没有负数short：短整型 16位1.5布尔型java中boolean类型值只有true/false 不是bool不能参与任何类型转换主要用于流程控制内存中占用1字节1.6类型转换boolean不参与转换低到高自动，高到底强制自动：byte>short>int>l
2021-03-23 18:38:37
64
原创 java初识
java初识概述1991年，命名OAK，是SUN会员推出，1995开始以java名义推出java之父詹姆斯·高斯林javaSE，javaEE，javaME特性四大特性 ： 自动垃圾回收机制，面向对象，跨平台，多线程编译型语言 : 运行之前,先把源文件,通过指定的编译器生成 机器码文件,可以让计算机直接识别优点 : 只需要编译一次,就可以运行多次,执行效率高缺点 : 跨平台性能差解释型语言 : 每次运行之前,都对源文件进行解释,解释为当前操作系统可以识别的语言优点 : 跨平台较好
2021-03-22 18:36:05
75
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人