qq_45769990的博客

原创 Mybatis小练习

建表语句CREATE TABLE category( cid VARCHAR(32) PRIMARY KEY, cname VARCHAR(50), parent_id VARCHAR(32), `desc` VARCHAR(100));INSERT INTO category(cid,cname,parent_id,`desc`) VALUES('c100','童书','0','一级分类');INSERT INTO category(cid,cname,parent_id,`des

原创 node.js+Angular+Vue

nodejs和前端脚手架

原创 Shell总结

Shell基础

原创 阿里云数据库Redis——本地客户端内网网连接

Redis内网连接

原创 阿里云数据库Redis——本地客户端公网连接

阿里云数据库Redis——本地客户端公网连接

原创 阿里大数据平台组件

阿里云计算大数据组件

原创 spark3.x 《自我总结》

spark四种运行模式:local Mode本地模式Standalone集群模式（伪分布式模式）Spark on Yarn 模式：​ 分为两种方式:Spark Client模式和Spark cluster模式mr-jobhistory-daemon.sh start historyserver yarn的历史服务器(HistoryServer)/export/server/spark/sbin/start-history-server.sh spark的历史服务器(JobHistoryServ

原创 Mybatis-Plus

简介 官网 http://mp.baomidou.com/ 参考教程：http://mp.baomidou.com/guide/ [MyBatis-Plus](https://github.com/baomidou/mybatis-plus)（简称 MP）是一个 [MyBatis](http://www.mybatis.org/mybatis-3/) 的增强工具，在 MyBatis 的基础上只做增 强不做改变，为简化开发、提高效率而生。特点无侵入：只做增强不做改变，引入它不会对现有

原创 Nuxt.js(三)

视图自定义布局效果:点击登录页面时 看不到其他模块html模板将不需要进行编译的文件放进static文件夹下

原创 Nuxt.js(二)

路由对比标签名描述<nuxt-link>nuxt.js中切换路由<Nuxt />nuxt.js的路由视图<router-link>vue默认切换路由<router-view/>vue默认路由视图基础路由路径组件位置及其名称规则/pages/index.vue默认文件 index.vue/userpages/user/index.vue默认文件 index.vue/

原创 Nuxt.js（一）

Nuxt.js概述SEO和SSR对比SEO：搜索引擎优化（Search Engine Optimization）, 通过各种技术（手段）来确保，我们的Web内容被搜索引擎最大化收录，最大化提高权重，最终带来更多流量非常明显，SPA程序不利于SEOSEO解决方案：提前将`页面和数据`进行整合* 前端：采用SSR* 后端：页面静态化 （freemarker 、thymeleaf、velocity）* *************************什么是SSR技术服务端渲染（Serv

原创 RabbitMQ(一)

安装部署拉取镜像docker pull rabbitmq:3.8-management创建容器docker run -e RABBITMQ_DEFAULT_USER=root -e RABBITMQ_DEFAULT_PASS=123456 -v mq-plugins:/plugins –name mq –hostname mq -p 15672:15672 -p 5672:5672 -d rabbitmq:3-managementRabbitMQ消息模型代码生产者pack

原创 SpringCloud——Gateway和过滤器和跨域问题的解决

介绍Spring Cloud Gateway 是 Spring Cloud 的一个全新项目，该项目是基于 Spring 5.0，Spring Boot 2.0 和 Project Reactor 等响应式编程和事件流技术开发的网关，它旨在为微服务架构提供一种简单有效的统一的 API 路由管理方式。为什么需要网关Gateway网关是我们服务的守门神，所有微服务的统一入口。网关的核心功能特性：- 请求路由- 权限控制- 限流创建gateway服务，引入依赖导入依赖<!--网关

原创 SpringCloud——Fegin

Feign底层发起http请求，依赖于其它的框架。其底层客户端实现包括：•URLConnection：默认实现，不支持连接池•Apache HttpClient ：支持连接池•OKHttp：支持连接池最佳实践在需要使用远程调用的模块pom中加入:<!--httpClient的依赖 --><dependency> <groupId>io.github.openfeign</groupId> <artifactId&gt

原创 Docker容器安装部署MySQL

Docker官网https://www.docker.com/products/docker-hub拉取镜像docker pull mysql创建目录mkdir /tmp/mysql/datamkdir /tmp/mysql/conf挂载docker run -d --name mysql-test01 -p 3306:3306 --privileged=true -v /tmp/mysql/data:/var/lib/mysql -v /tmp/mysql/conf/hmy.c

原创 Docker的常用命令

镜像地址https://www.docker.com/products/docker-hub查看正在运行的容器状态docker ps查看所有容器的状态docker ps -a拉取镜像docker pull 镜像名称查看拉取到的镜像docker images导出镜像docker save -o [保存的目标文件名称] [镜像名称]例子:docker load -i nginx.tar删除本地镜像docker rmi nginx:latest创建并运行容器 docke

原创 SpringCloud的认知&RestTemplate远程访问&Eureka注册中心

认识微服务SpringCloud优缺点单体架构的优缺点如下：**优点：**- 架构简单- 部署成本低**缺点：**- 耦合度高（维护困难、升级困难）-分布式架构的优缺点：**优点：**- 降低服务耦合- 有利于服务升级和拓展**缺点：**- 服务调用关系错综复杂什么是微服务微服务的架构特征：- 单一职责：微服务拆分粒度更小，每一个服务都对应唯一的业务能力，做到单一职责- 自治：团队独立、技术独立、数据独立，独立部署和交付- 面向服务：服务提供统一标准的

原创 Vue全家桶（前后端完全分离）

前序下载axiosnpm install axios在main.js中引入插件import axios from "axios";前端实例router 路由在main.js中引入Vue.config.productionTip = trueVue.prototype.$http = axiosUser_list<template> <div> <table border="2"> <tr>

原创 NodeJs和Vue安装部署

NodeJs是什么Node.js是一个服务器端的Javascript运行环境(runtime)。Java使用JDK进行编译/运行。 JS使用Node进行编译/运行。 Node.js是一个web服务器Java使用Tomcat提供HTML、CSS、JS等资源访问。前端使用Node.js提供HTML、CSS、JS等资源访问。Node.js是资源管理器Node.js提供npm插件用于管理所有js资源。Java使用Maven管理所有jar资源。结论:Node.js是一款软件，支持JS基本语法，可以

原创 SpringCloud连接的mysql账号密码都对,访问不到的问题

转载 Java数据库编程--mybatis

1. MyBatis入门1.1 概述​ MyBatis是一个优秀的持久层框架，它对jdbc的操作数据库的过程进行封装，使开发者只需要关注 SQL 本身，而不需要花费精力去处理注册驱动、创建Connection、创建Statement、手动设置参数、结果集检索及映射等繁杂的过程代码。历史进程​ MyBatis 本是apache的一个开源项目iBatis, 2010年这个项目由apache software foundation 迁移到了google code，并且改名为MyBatis，实质

原创 Structed Streaming 窗口模式

package cn.itcast.spark.windowimport java.sql.Timestampimport org.apache.spark.sql.streaming.{OutputMode, StreamingQuery, Trigger}import org.apache.spark.sql.{DataFrame, SparkSession}/** * 基于Structured Streaming 读取TCP Socket读取数据，事件时间窗口统计词频，将结果打印到控制

原创 Structed Streaming抽取json数据的某一字段

val resultTable: DataFrame = inputTable .select( get_json_object($"value","$.userID").as("userID") , get_json_object($"value","$.eventType").as("eventType") ) .dropDuplicates("userID","eventType") .groupBy($"userID",$"eventType") .

原创 Structed Streaming 将数据封装成Json数据

val ResultStreamDF = InputStreamDF .selectExpr("CAST(value AS STRING)") .as[String] .filter( line => null != line && line.trim.split(",").length == 6 && "success".equals(line.trim.split(",")(

原创 Structed Streaming写Mysql

Structed Streaming 向mysql写数据 val query: StreamingQuery = ResultStreamDF .writeStream .outputMode(OutputMode.Update()) .queryName("wc_countword") .trigger(Trigger.ProcessingTime("0 seconds")) .foreach(new MySQLForeachWrite())

原创 Structed Streaming集成kafka

读取kafka数据 // 构建SparkSession实例对象，相关配置进行设置 val spark: SparkSession = SparkSession.builder() .appName(this.getClass.getSimpleName.stripSuffix("$")) .master("local[2]") // 设置Shuffle时分区数目 .config("spark.sql.shuffle.partitions", "2"

原创 Spark集成组件

Spark向Hbase写数据package spark.hbaseimport org.apache.hadoop.hbase.HBaseConfigurationimport org.apache.hadoop.hbase.client.Putimport org.apache.hadoop.hbase.io.ImmutableBytesWritableimport org.apache.hadoop.hbase.util.Bytesimport org.apache.spark.rdd

原创 Spark on Yarn(二)

所以Spark Application运行在YARN上时，采用不同DeployMode时架构不一样，企业实际生 产环境还是以cluster模式为主，client模式用于开发测试，两者的区别面试中常问。 1）、Driver在任务提交的本地机器上运行，Driver启动后会和ResourceManager通讯申 请启动 ApplicationMaster； 2）、随后ResourceManager分配Container，在合适的NodeManager上启动 ApplicationMaster.

原创 Spark on Yarn（一）

将spark的jar包放在 hdfs的规定的可以关掉standalone 用yarn可以执行spark jar包Yarn ClientYarn cluster

原创 Spark_standalone集群

standalone集群:主从架构:Master-servers结构Spark应用架构组成:driver Program + Executorsdriver Program:应用管理者;Executors:线程池;一个worker中有一个Executor，每个Executor可以执行多个Job任务，每 个Job任务能被分成多个Task去放到不同 Executor去执行也就是说 task是最小的执行单位Historyserver:无论在哪台节点下开启 都能读取hdfs的日志启动服务进程:

原创 Scala的高阶函数的使用

map函数语法：list.map(A=>B):List[B] final def map[B](f: (A) ⇒ B): List[B] //map函数只有1个参数，这个参数是一个函数类型 f: (A) ⇒ B：f就是参数函数 //f有1个参数：A：代表集合中的每个元素 //f的返回值：B：B是A处理以后的返回值 List[A].map = List[B] A1 -> B1 A2 -> B2 …… 栗子 val list1 = List(1,2,3,4

原创 scala方法和函数

- - 方法：由方法名、参数、方法体构成，一般指的是类中定义的函数即为方法- 函数：由函数名、参数、函数体构成，一般指的是可以独立构建的称为函数方法def funcName(args1:Type1,args2:Type2……):ResultType = { //方法体}def m4(x:Int) = { if(x<= 1) 1 else m4(x-1)*x }函数函数的定义及语法规则(参数) => { //函数体}(x:Int,y:Int) => {

原创 Scala基础语法

变量和常量变量的定义功能：定义一个值可变的变量 var name: String = "CSDN" Scala中大多数场景下可以自动推断类型 var name= "CSDN"常量的定义语法及测试 val aa:String = "csdn"初始值功能：用于构建一个变量时，指定初始值var 变量名称：数据类型 = _var a:string=_惰性赋值lazy val 常量名称：数据类型 = 值- 功能：构建一个常量时不直接赋值，只构建常量对象，当用到数据内容时，再真

原创 Hbase的细节

（1）建表①create 'NS:table','列族'②create 'NS:table',{NAME=>列族名,VERSIONS=>n},{NAME=>列族，VERSIONS=>n}(2)插入数据put 'NS:table','列族:列','值';一次插入一列#（3）Hash分区 create 'MOMO_CHAT:MSG', {NAME => "C1", COMPRESSION => "GZ"}, { NUMREGIONS => 6,

原创 Phoenix的二级索引实现

（一）关于二级索引因为Hbase的rowkey是唯一索引，无法满足大部分的需求，不能走rowkey索引，导致性能较差所以要构建二级索引来代替全表扫描（二）如何实现二级索引Phoenix底层封装了大量的协处理器来实现二级索引的构建- 1.根据数据存储需求 创建原始表 将数据写入表中- 2 根据业务需求 构建二级索引 Phoenix自动创建索引 -create index indexName on tbName(colName); -rowkey:name_id- 3查询数据时，Phoen

原创 Phoenix与Hbase的关系

Phoenix的介绍功能Phoenix是一种专门针对于Hbase 所设计的SQL on Hbase 的一个工具使用SQL对Hbase进行操作使用phoenix自动构建二级索引来进行快速查询和维护原理- 上层提供了SQL接口 - 底层全部通过Hbase Java API来实现，通过构建一系列的Scan和Put来实现数据的读写- 功能非常丰富 - 底层封装了大量的内置的协处理器，可以实现各种复杂的处理需求，例如二级索引等特点- 优点 - 支持SQL接口 - 支持自动维

原创 分布式NoSQL列存储数据库Hbase

(一)数据采集- Flume：实时数据采集：采集文件或者网络端口- Sqoop：离线数据同步：采集数据库的数据(二)数据存储- HDFS：分布式离线文件存储系统- Hive：离线数据仓库- 将HDFS上的文件映射成了表的结构，让用户可以通过数据库和表的形式来管理大数据(三)数据计算- MapReduce+YARN：分布式离线数据计算- Hive：通过SQL进行分布式计算- 将SQL语句转换为MapReduce程序，提交给YARN运行(四）HBASE诞生 随着大数据的发展，大数据

原创 Hbase的Java(DML)

import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hbase.filter.*;import org.apache.hadoop.hbase.util.Bytes;import java.io.IOException;public class HbaseClie

原创 Hbase的JavaAPI（DDL）

客户端和服务端模式的代码开发规则step1：构建连接对象，指定连接服务端地址step2：调用连接对象的方法，实现需求step3：释放连接对象import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.NamespaceDescriptor;import org.apache.hadoop.hbase.T

原创 Hbase的DML命令

DML命令——put插入/更新数据【某一行的某一列】（如果不存在，就插入，如果存在就更新）put NS名称:表的名称,'Rowkey'，'列族:列'，'值'功能及优点==功能==：插入 / 更新数据【某一行的某一列】- SQL - insert：用于插入一条新的数据 - update：用于更新一条数据 - replace：插入更新命令，如果不存在就插入，如果存在就更新 - 原理：先做判断，如果不存在，就直接插入，如果存在，就删除再插入- Hbase：put