- 博客(92)
- 收藏
- 关注
RSS订阅转载 MySQL高级篇
机读[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wm3oR1go-1623486129625)[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8m3oyw7A-1623486129627)1.MySQL环境1.1.环境安装# 查看Linux服务器上是否安装过MySQLrpm -qa | grep -i mysql # 查询出所有mysql依赖包# 1、拉取镜像docker pull mysql:5.7# 2、创建实例并启动
2021-06-12 16:35:54
1192
原创 Spark实现WordCount经典案例
Spark实现WordCount经典案例创建数据源数据源随便弄一下，两份一样即可，数据用空格隔开，换行仅用spark进行连接，不适用spark提供的两种方法方法一package com.kuber.spark.core.wordcountimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object Spark01_WordCount { def main(args: Ar
2021-04-17 22:28:25
2225
原创 Scala实现经典案例：WordCount
Word Count 案例scala版本：2.12普通 Word Count 案例需求单词计数：将集合中出现的相同的单词，进行计数，取计数排名前三的结果代码实现package com.kuber.chapter7object CommonWordCount { def main(args: Array[String]): Unit = { val list: List[String] = List( "hello world", "hello scala"
2021-04-17 17:48:06
1490
原创 位运算(左移右移，无符号右移)
位运算(左移右移，无符号右移)package com.kuber.chapter1;public class test_bitOperator { public static void main(String[] args) { //用short表示，short占四个字节 short a = 60; //二进制为：0000 0000 0011 1100 //左移两位，即0000 0000 1111 0000，左移后右边用0补全，
2021-04-13 23:29:50
437
2
原创 HBase连接异常NoSuchMethodError: org.apache.hadoop.security.HadoopKerberosName.setRuleMechanism的解决方法
在pom依赖里面添加 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-auth</artifactId> <version>3.1.3</version> </dependency>即可，完美解决...
2021-04-10 14:56:01
1038
1
原创 HBase中master刚启动就挂掉(启动不成功)的解决方法
HBase中master刚启动就挂掉(启动不成功)的解决方法我的hadoop版本3.1.3，hbase版本2.2.6首先端口hdfs端口号要明确，hadoop3.x中HDFS NameNode 内部通常端口：8020/9000/9820，hadoop2.x则是8020/9000，这里9000端口不能使用，换成8020便在hdfs上成功创建目录。查看habse的log日志，报错：java.lang.IllegalStateException: The procedure WAL relies on t
2021-04-08 10:41:41
1282
原创 kafka-eagle监控界面登录不进去的解决方法
解决方法mysql5.7.x版本搭配eagle1.3版本不行，得搭配1.4以上的版本！问题最开始，我centos7服务器的mysql版本是5.7.31，eagle的版本是1.3.7，修改完./kafka_2.12-0.11.0.0/bin/kafka-server-start.sh，#!/bin/bash# Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreeme
2021-04-06 00:59:49
5161
2
原创 Hadoop3.1.3+flume1.8无法将hive.log收集到hdfs上的解决方法
Hadoop3.1.3+flume1.8无法将hive.log收集到hdfs上的解决方法1.jar包问题flume1.8需要将hadoop3.x版本的jar包导入到flume/lib/之下需要导入的jiar包如下：cp /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar /opt/module/flume-1.8.0/lib/cp /opt/module/hadoop-3.1.3/share/hadoop/com
2021-03-29 21:21:59
1071
7
原创 问题User: root is not allowed to impersonate root(state=08S01,code=0)的解决方案
问题21/03/17 18:04:41 [main]: WARN jdbc.HiveConnection: Failed to connect to hadoop102:10000Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop102:10000: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.Re
2021-03-17 18:55:30
2992
8
原创 Hadoop3.x中mp客户端抛出IO异常：expected org.apache.hadoop.io.IntWritable, received org.apache.hadoop.io.Text
MapReduceWordCountDriver案例：driver原代码：public class WordCountDriver { public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException { //driver固定的7步 //1 获取配置信息以及job对象 Configuration conf
2021-03-04 23:29:35
1452
2
原创 Shell脚本自动化编程基础
第1章 Shell概述大数据程序员为什么要学习Shell呢？1）需要看懂运维人员编写的Shell程序。2）偶尔会编写一些简单Shell程序来管理集群、提高开发效率。第2章 Shell解析器（1）Linux提供的Shell解析器有：[atguigu@hadoop101 ~]$ cat /etc/shells /bin/sh/bin/bash/sbin/nologin/bin/dash/bin/tcsh/bin/csh（2）bash和sh的关系[atguigu@had
2021-03-01 22:37:09
405
原创 【5】Linux常用的基本命令--Vim编辑器
Vim编辑器什么是Vim编辑器Vim是从 vi 发展出来的一个文本编辑器。代码补完、编译及错误跳转等方便编程的功能特别丰富，在程序员中被广泛使用。在Linux中，必须要会使用Vim(查看内容、编辑内容、保存内容)简单的来说， vi 是老式的字处理器，不过功能已经很齐全了，但是还是有可以进步的地方。vim 则可以说是程序开发者的一项很好用的工具。所有的 Unix Like 系统都会内建 vi 文书编辑器，其他的文书编辑器则不一定会存在。连 vim 的官方网站 (http://www.vim.o
2021-01-26 00:37:17
194
原创 【4】Linux常用的基本命令--Linux查看文件内容操作
文件内容查看概述Linux系统中使用以下命令来查看文件的内容：cat 由第一行开始显示文件内容tac 从最后一行开始显示，可以看出 tac 是 cat 的倒着写！nl 显示的时候，顺道输出行号！more 一页一页的显示文件内容less 与 more 类似，但是比 more 更好的是，他可以往前翻页！head 只看头几行tail 只看尾巴几行你可以使用 *man [命令]*来查看各个命令的使用文档，如 ：man cp。cat 由第一行开始显示文件内容（最常用）语法：ca
2021-01-25 20:56:33
356
原创 【3】Linux常用的基本命令--Linux文件基本属性
基本属性看懂文件属性Linux系统是一种典型的多用户系统，不同的用户处于不同的地位，拥有不同的权限。为了保护系统的安全性，Linux系统对不同的用户访问同一文件（包括目录文件）的权限做了不同的规定。在Linux中我们可以使用ll或者ls –l命令来显示一个文件的属性以及文件所属的用户和组，如：实例中，boot文件的第一个属性用"d"表示。"d"在Linux中代表该文件是一个目录文件。在Linux中第一个字符代表这个文件是目录、文件或链接文件等等：当为[ d ]则是目录当为[ - ]则是
2021-01-25 20:54:44
115
原创 【2】Linux常用的基本命令
目录管理绝对路径和相对路径我们知道Linux的目录结构为树状结构，最顶级的目录为根目录 /。其他目录通过挂载可以将它们添加到树中，通过解除挂载可以移除它们。在开始本教程前我们需要先知道什么是绝对路径与相对路径。绝对路径：路径的写法，由根目录 / 写起，例如：/usr/share/doc 这个目录。相对路径：路径的写法，不是由 / 写起，例如由 /usr/share/doc 要到 /usr/share/man 底下时，可以写成：cd …/man 这就是相对路径的写法啦！处理目录的常用命
2021-01-25 00:10:51
178
原创 【1】Linux系统的基本目录结构
linux中不提示错误就代表操作成功Linux系统开机登录开机会启动许多程序。它们在Windows叫做"服务"（service），在Linux就叫做"守护进程"（daemon）。开机成功后，它会显示一个文本登录界面，这个界面就是我们经常看到的登录界面，在这个登录界面中会提示用户输入用户名，而用户输入的用户将作为参数传给login程序来验证用户的身份，密码是不显示的，输完回车即可！一般来说，用户的登录方式有三种：命令行登录ssh登录图形界面登录最高权限账户为 root，可以操作一切！
2021-01-24 23:36:09
85
原创 【Java】跳跃表的实现以及用例测试
跳跃表思想不再赘述，直接贴代码：SkipListNode.javapackage com.kuber.algorithmtest.skiplist;public class SkipListNode <T>{ private int key; private T value; public SkipListNode<T> up, down, left, right; // 上下左右 四个指针 public static final int
2021-01-04 11:15:17
180
1
原创 java.sql.SQLException: Access denied for user ‘kuber‘@‘localhost‘ (using password: YES)报错的解决方法
在进行spring整合的时候，使用连接池出现这个错误。之所以出现这个错误是因为在db.properties中写了username=xxx所以我会报错：原因是username这个变量好像被jvm环境占用了，所以在applicationContext.xml中${username}取值得到的是jvm中username的值，而不是db.properties中username的值，因此无法访问数据库。将username改为user再次测试成功！...
2020-12-20 00:18:55
320
1
原创 【5】RestFul 风格
5、RestFul 风格5.1、概念Restful就是一个资源定位及资源操作的风格。不是标准也不是协议，只是一种风格。基于这个风格设计的软件可以更简洁，更有层次，更易于实现缓存等机制。5.2、功能资源：互联网所有的事物都可以被抽象为资源资源操作：使用POST、DELETE、PUT、GET，使用不同方法对资源进行操作。分别对应 添加、 删除、修改、查询。5.3、传统方式操作资源通过不同的参数来实现不同的效果！方法单一，post 和 gethttp://127.0.0.1/item/query
2020-12-15 23:27:18
135
原创 【4】控制器Controller
4、控制器Controller4.1、控制器Controller控制器复杂提供访问应用程序的行为，通常通过接口定义或注解定义两种方法实现。控制器负责解析用户的请求并将其转换为一个模型。在Spring MVC中一个控制器类可以包含多个方法在Spring MVC中，对于Controller的配置方式有很多种4.2、实现Controller接口Controller是一个接口，在org.springframework.web.servlet.mvc包下，接口中只有一个方法；//实现该接口的类获得
2020-12-15 23:23:21
368
原创 【3】第一个MVC程序【配置版】【注解版】
3、第一个MVC程序3.1、HelloSpringMVC在上一节中，了解了什么是SpringMVC以及它的执行原理！现在来看看如何快速使用SpringMVC编写我们的程序。3.2、配置版新建一个Moudle ， springmvc-02-hellomvc1 ， 将模块添加web框架支持确定导入了SpringMVC 的依赖！配置web.xml ， 注册DispatcherServlet<?xml version="1.0" encoding="UTF-8"?><
2020-12-10 23:04:29
80
原创 【2】什么是SpringMVC【执行原理过程很重要】
2、什么是SpringMVC2.1、概述Spring MVC是Spring Framework的一部分，是基于Java实现MVC的轻量级Web框架，Spring MVC还是servlet。查看官方文档：https://docs.spring.io/spring/docs/5.2.0.RELEASE/spring-framework-reference/web.html#spring-web我们为什么要学习SpringMVC？Spring MVC的特点：轻量级，简单易学高效 , 基于请求响应
2020-12-10 22:12:09
82
原创 【1】SpringMVC前瞻、回顾MVC
SpringMVC前瞻ssm：myabtis+Spring+SpringMVC MVC三层架构JavaSE：认真学，老师带，入门快JavaWeb：认真学，老师带，入门快SSM框架：研究官方文档，锻炼自学能力，锻炼笔记能力，锻炼项目能力SpringMVC + Vue + SpringBoot + SpringCloud + LinuxSpring：IOC和AOPSpringMVC理论：SpringMVC执行流程SpringMVC操作：SSM框架整合1、回顾MVC1.1、什么是MVC模型
2020-12-10 00:18:21
203
原创 【12】声明式事务
13、声明式事务13.1、回顾事务把一组业务当成一个业务来做，要么都成功，要么都失败事务在项目开发中，十分的重要，涉及到数据的一致性问题，不能马虎确保完整性和一致性事务acid原则：原子性一致性隔离性多个业务可能操作同一个资源，防止数据损坏持久性事务一旦提交，无论系统发生什么问题，结果都不会再被影响，被持久化的写到存储器中。13.2、不符合一致性的例子UserMapper.xml中存在明显错误：实现类中：package com.kuber.mapper;
2020-12-06 14:40:27
87
原创 【11】Spring简单整合Mybatis
12、整合Mybatis步骤：配置maven依赖junitmybatismysql数据库spring相关的aop织入mybatis-spring【new包】编写配置文件测试12.1、回忆mybatis编写实体类StudentMapper.xml<?xml version="1.0" encoding="UTF-8" ?><!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0/
2020-12-06 14:37:29
80
转载 超全的git使用【狂神git】【转】
视频同步笔记：狂神聊Git版本控制！什么是版本控制版本控制（Revision control）是一种在开发的过程中用于管理我们对文件、目录或工程等内容的修改历史，方便查看更改历史记录，备份以便恢复以前的版本的软件工程技术。实现跨区域多人协同开发追踪和记载一个或者多个文件的历史记录组织和保护你的源代码和文档统计工作量并行开发、提高开发效率跟踪记录整个软件的开发过程减轻开发人员的负担，节省时间，同时降低人为错误简单说就是用于管理多人协同开发项目的技术。没有进行版本控制或者版本控制本身
2020-12-03 19:56:52
271
原创 【10】AOP面向切面编程
11、AOP11.1、什么是AOPAOP（Aspect Oriented Programming）意为：面向切面编程，通过预编译方式和运行期动态代理实现程序功能的统一维护的一种技术。AOP是OOP的延续，是软件开发中的一个热点，也是Spring框架中的一个重要内容，是函数式编程的一种衍生范型。利用AOP可以对业务逻辑的各个部分进行隔离，从而使得业务逻辑各部分之间的耦合度降低，提高程序的可重用性，同时提高了开发的效率。11.2、Aop在Spring中的作用提供声明式事务；允许用户自定义切面以下名词
2020-11-29 21:01:49
102
原创 【9】代理模式【更好理解AOP】
10、代理模式为什么学习代理模式？因为这就是SpringAOP的底层，【服务器端开发SpringAOP和SpringMVC面试必问】代理模式的分类：静态代理动态代理10.1、静态代理角色分析：抽象角色：一般会使用接口或者抽象类来解决真实角色：被代理的角色代理角色：代理真实角色，代理真实角色后，我们一般会做一些附属操作客户：访问代理对象的人！步骤：接口public interface Rent { public void rent();}真实角色(房
2020-11-29 20:59:51
81
原创 【8】使用Java的方式配置Spring
9、使用Java的方式配置Spring我们现在要完全不使用Spring的xml配置了，全权交给Java来做！JavaConfig是Spring的一个子项目，在Spring4之后，它成为了一个核心功能pojo包/*这里这个注解的意思，就是说明这个类被Spring接管了，注册到了容器中*/@Componentpublic class User { private String name; public String getName() { return name;
2020-11-29 20:57:49
149
原创 【7】使用注解开发
8、使用注解开发在spring4之后，要使用注解开发，必须要保证aop的包导入了使用注解需要导入context约束，增加注解的支持！bean属性如何注入衍生的注解@Component有几个衍生注解，我们在web开发中，会按照mvc三层架构分层dao【@Repository】service【@Service】controller【@Controller】这四个注解功能都是一样的，都是代表将某个类注册到Spring中，装配Bean自动装配置@Autowired@
2020-11-29 20:56:56
84
原创 【6】Spring5中Bean的自动装配
7、Bean的自动装配自动装配是Spring满足bean依赖的一种方式Spring会在上下文中自动寻找，并自动给bean装配属性在Spring中有三种装配的方式：在xml中显式配置在java中显式配置隐式的自动装配bean【重要】7.1、测试环境搭建：一个人有两个宠物person类，get、set等方法省略public class Person { private String name; private Dog dog; private Cat cat;
2020-11-29 20:55:28
113
原创 【5】依赖注入DI（Dependency Injection）
6、依赖注入概念依赖注入（Dependency Injection,DI）。依赖 : 指Bean对象的创建依赖于容器 . Bean对象的依赖资源 .注入 : 指Bean对象所依赖的资源 , 由容器来设置和装配 .构造器注入之前已经讲过Set 注入 （重点）要求被注入的属性 , 必须有set方法 , set方法的方法名由set + 属性首字母大写 , 如果属性是boolean类型 , 没有set方法 , 是 is .测试pojo类 :Address.javapackage com.k
2020-11-29 20:54:05
472
原创 【4】Spring配置
5、Spring配置别名alias 设置别名 , 为bean设置别名 , 可以设置多个别名<!--设置别名：在获取Bean的时候可以使用别名获取--><alias name="userT" alias="userNew"/>Bean的配置<!-- id:bean的唯一标识符，也就相当于之前的对象名 class：bean对象所对应的全限定名：包名+类型 name：别名，跟alias标签一样，但是name可以同时取多个别名，可以用逗号,分号,空
2020-11-29 20:52:25
140
原创 【3】IOC创建对象的方式
4、IOC创建对象的方式4.1、通过无参构造方法来创建Teacher.javapublic class Teacher { private String name; public Teacher() { System.out.println("Teacher对象默认被创建"); } public String getName() { return name; } public void setName(Strin
2020-11-29 01:02:09
157
原创 【2】Spring入门HelloSpring
3、HelloSpringioc控制反转控制：谁来控制对象的创建，传统应用的对象是由程序本身控制创建的，使用spring后，对象是由spring来创建的。反转：程序本身不创建对象，而是变成被动的接受对象。依赖注入：利用set方法来进行注入。IOC是一种编程思想，由主动的编程变成被动的接收。到了现在，彻底不用在程序中去改动了，要实现不同的操作，只需要在xml配置文件中进行修改，所谓ioc，可理解成一句话：对象由spring来创建、管理、装配。层级关系：<?xml version="1.
2020-11-27 23:56:33
144
1
原创 【1】Spring概述、IoC理论推导
Spring1、Spring概述1.1、简介Spring : 春天 —>给软件行业带来了春天2002年，Rod Jahnson首次推出了Spring框架雏形interface21框架。2004年3月24日，Spring框架以interface21框架为基础，经过重新设计，发布了1.0正式版。很难想象Rod Johnson的学历 , 他是悉尼大学的博士，然而他的专业不是计算机，而是音乐学。Spring理念 : 使现有技术更加实用 . 本身就是一个大杂烩 , 整合现有的框架技术官网 : h
2020-11-09 21:51:20
92
原创 【9】Mybatis一级缓存【一级缓存失效的情况】、二级缓存
14、缓存14.1、简介1、什么是缓存 [ Cache ]？存在内存中的临时数据。将用户经常查询的数据放在缓存（内存）中，用户去查询数据就不用从磁盘上(关系型数据库数据文件)查询，从缓存中查询，从而提高查询效率，解决了高并发系统的性能问题。2、为什么使用缓存？减少和数据库的交互次数，减少系统开销，提高系统效率。3、什么样的数据能使用缓存？经常查询并且不经常改变的数据。14.2、Mybatis缓存MyBatis包含一个非常强大的查询缓存特性，它可以非常方便地定制和配置缓存。
2020-11-08 21:35:17
375
原创 【8】Mybatis动态sql【if、where、set、choose(when,otherwise)】
13、动态SQL什么是动态SQL什么是动态SQL：动态SQL指的是根据不同的查询条件 , 生成不同的Sql语句.官网描述：MyBatis 的强大特性之一便是它的动态 SQL。如果你有使用 JDBC 或其它类似框架的经验，你就能体会到根据不同条件拼接 SQL 语句的痛苦。例如拼接时要确保不能忘记添加必要的空格，还要注意去掉列表最后一个列名的逗号。利用动态 SQL 这一特性可以彻底摆脱这种痛苦。虽然在以前使用动态 SQL 并非一件易事，但正是 MyBatis 提供了可以被用在任意 SQL 映射语句中的
2020-11-08 21:31:18
449
2
原创 【7】Mybatis多对一、一对多处理
11、多对一处理多个员工，对应一个部门对于员工而言，关联：多个员工，关联一个部门【多对一】对于部门而言，集合，一个部门，有很多员工【一对多】测试环境搭建(重要，相当于对之前的总结！！！)导入lombok新建实体类Employee、Departmentimport lombok.*;@Datapublic class Department { private int id; private String dep_name; private String
2020-11-08 21:27:02
78
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人