自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(36)
  • 收藏
  • 关注

原创 Spring Cloud 2.7.x 环境搭建

微服务2.x的版本。

2024-03-19 11:41:04 819

原创 Springboot动态数据源配置

1. 数据准备create database if not exists `ds1`;create database if not exists `ds3`;ds1/* Navicat Premium Data Transfer Source Server : localhost_3306 Source Server Type : MySQL Source Server Version : 80030 Source Host : local

2024-03-05 16:50:45 580 1

原创 Vagrant Centos 7 环境配置

修改/etc/profile。默认密码:vagrant。

2024-01-05 16:20:28 564

原创 MySQL常见问题

MySQL数据空洞MySQL回表MVCC(多版本控制)聚簇索引和非聚簇索引MySQL日志

2023-12-04 22:41:50 384

原创 前端环境配置

全局配置npm config set prefix "C:\tools\nodejs\node_global"npm config set cache "C:\tools\nodejs\node_cache"系统变量# 新增系统变量NODE_HOME# 系统变量PATH添加%NODE_HOME%\node_global%NODE_HOME%\node_cache#用户变量C:\Users\Administrator\AppData\Roaming\npm改为C:\tools\n

2022-04-02 10:35:59 908

原创 将Hive数据导入到外部表

1. 说明​ 最近接到一个需求,需要将Hive数据导出到ES。根据调研情况,可以在Hive上创建外部表,通过写SQL的形式将数据导出到Es,有个注意事项需要说明的是:写入到Es中的数据是无法覆盖的。根据使用情况,简单总结了一下。2. 环境说明Hive:2.1.1ElasticSearch:7.17.0Hadoop:3.0.0Spark:3.1.23. Es搭建3.1 解压# 解压tar -zxvf elasticsearch-7.17.0-linux-x86_64.tar.gz3

2022-03-17 20:49:18 3095

原创 Flink Tbale缺包引起的异常

Caused by: java.lang.ClassNotFoundException: org.apache.flink.table.planner.delegation.ParserFactory

2022-03-05 19:44:06 3656

原创 Spark3.0.0 环境安装

1. Spark概述1.1 什么是SparkSpark是一种基于内存的快速、通用、可扩展的大数据分析框架。1.2 Hadoop和SparkHadoop:一次性计算框架,基于磁盘,不适合迭代式计算。框架在处理数据的时候,会冲存储设备将数据读取出来,进行逻辑处理,然后将处理结果重新存储到介质中。Spark:基于内存,适合迭代式计算,任务启动快,但内存会有限制。1.3 Spark核心模块Spark Core:提供了丰富的API,供其他模块使用。Spark Streaming:Spar

2021-10-27 20:41:50 813

原创 数仓学习(一)环境搭建

文章目录1. 环境安装1.1 准备三台虚拟机,分别是hadoop102、hadoop103、hadoop1041.1.1 vagrant虚拟机配置1.1.2 虚拟机安装1.2 修改root用户密码1.3 修改host配置文件1.4 新增hadoop用户1.5 配置免密登录1.6 配置xsync脚本1.6 创建工作目录1.6 JDK安装1.7 bash脚本配置路径说明1.8 生成模拟数据1.9 xcall脚本2. 安装分布式群集2.1 安装Hadoop2.1.1 安装2.1.2 配置环境变量2.1.3 分发2

2021-10-23 13:53:01 1991

原创 CDH 6.3.2离线安装包

找资源实在是太麻烦了。我用阿里云盘分享了「CDH 6.3.2」,你可以不限速下载???? 复制这段内容打开「阿里云盘」App 即可获取 链接:https://www.aliyundrive.com/s/MXdocsLsNuT

2021-09-06 10:22:32 635 10

原创 容器内安装CDH 6.3.2

参考CDSN资源https://www.cnblogs.com/runnerjack/p/12693597.html1.环境准备1.1 安装vagrant虚拟机node01Vagrant.configure("2") do |config| config.vm.box = "centos/7" config.vm.hostname = "node01" config.vm.network "private_network", ip: "10.1.100.11" # 虚拟机配置

2021-09-06 10:11:09 847

原创 OpenResty安装Nginx和Lua环境

一、安装Nginx安装依赖yum install -y readline-devel pcre-devel openssl-devel gcc下载并解压OpenRestycd /usr/local/toolswget http://openresty.org/download/ngx_openresty-1.7.7.2.tar.gz tar -xzvf ngx_openresty-1.7.7.2.tar.gz 安装插件cd ngx_openresty-1.7.7.2/bun

2021-04-01 23:57:11 223

原创 centos 7.x 切换到阿里云源

centos 7.x 切换到阿里云源安装wget工具yum install -y wget备份自带源文件mv /etc/yum.repos.d/C* /etc/yum.repos.d/backup/安装阿里云源cd /etc/yum.repos.d/# 下载源文件wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo# 清除旧的缓存yum clean al

2021-03-20 15:38:17 109

原创 MySQL5.7安装,小记录一下吧,每次安装都挺麻烦的

Linux安装MySQL选择版本下载MySQL5.7安装包解压tar -zxvf mysql-5.7.33-el7-x86_64.tar.gz重命名mv mysql-5.7.33-el7-x86_64 mysql-5.7.33创建用户# 创建用户组groupadd mysql# 创建用户useradd -r -g mysql mysql创建MySQL数据文件夹并授权mkdir /data/mysqlchown -R mysql:mysql /

2021-03-19 11:35:02 175

原创 Redis两种持久化方式

Redis两种持久化方式Redis为什么要做持久化?* 容灾,故障恢复* 支持高可用,防止雪崩问题如何做持久化?Redis提供了两种持久化发的方式,RDB和AOF。RDBRedis 会周期性的将数据持久化到RDB文件中,保存的是当前数据快照。会生成多个文件。数据恢复的时候会优先使用RDB的方式来进行数据恢复更快一些,AOF需要执行每一条命令。AOFRedis 会将数据先写入到OS Cache中,然后每隔几秒调用一次fsync函数,将数据持久化到AOF文件中去。数

2021-03-16 17:15:12 91

原创 Redis 6.x安装

Redis 6.x安装安装wgetyum install -y wget下载安装包wget https://download.redis.io/releases/redis-6.2.1.tar.gz解压tar xzf redis-6.2.1.tar.gz编译安装cd redis-6.2.1make测试src/redis-server6. 修改配置/etc/sysctl.conf# 内存分配策略vm.overcommit_memory = 1可

2021-03-15 16:55:36 566

原创 设计模式总结

什么是设计模式设计模是前辈们对代码开发经验的总结,是解决特定问题的一系列套路。它不是语法规定,而是一套用来提高代码可复用性、可维护性、可读性、稳健性以及安全的解决方案。设计模式的本质是面向对象设计原则的实际运用,是对类的封装性、继承性和多态性以及类的关联关系和组合关系的充分理解。有什么好处可以提高程序员的思维能力、编程能力和开发能力。使程序设计更加标准化、代码编制更加工程化,使软件开发效率大大提高,从而缩短软件的开发周期。使设计的代码可重用性高、可读性强、可靠性高、灵活性好、可维护性强。G

2021-03-11 10:05:35 52

原创 Docker容器内安装ping工具

sudo apt-get update && apt-get install iputils-ping

2020-09-11 12:39:29 1821

原创 Linux首次安装Flink初体验

一、安装下载wget https://mirror.bit.edu.cn/apache/flink/flink-1.11.0/flink-1.11.0-bin-scala_2.12.tgz解压tar -zxf flink-1.11.0-bin-scala_2.12.tgzrm -rf flink-1.11.0-bin-scala_2.12.tgz启动./bin/start-cluster.sh验证./bin/flink run examples/streaming/W

2020-07-10 12:32:48 471

原创 ES常用命令

初步检索_catGET _cat/nodes:查看所有节点GET _cat/health:查看es健康状况GET _cat/master 查看主节点GET _cat/indices:查看索引索引一个文档PUT http://10.1.100.10:9200/customer/external/1{ "name": "John Doe"}结果:{ "_index": "customer", "_type": "external", "_id": "1",

2020-07-08 17:14:05 485

原创 Docker安装Es7.x

创建映射路径mkdir -p /mydata/elasticsearch/configmkdir -p /mydata/elasticsearch/data写入配置文件echo "http.host:0.0.0.0" >> /mydata/elasticsearch/config/elasticsearch.yml启动esdocker run --name elasticsearch -p 9200:9200 -p 9300:9300 -e "discovery.ty.

2020-07-06 13:53:37 917

原创 kafka安装使用

安装tar -xzf kafka_2.12-2.5.0.tgzcd kafka_2.12-2.5.0配置broker.id=0listeners=PLAINTEXT://:9092log.dirs=/app/kafka_2.12-2.5.0/kafka-logszookeeper.connect=node-1:2181,node-2:2181,node-3:2181启动需要首先启动zookeeper服务后,在启动kafka服务,这里需要注意的是:我安装的版本是kafka_2..

2020-06-16 10:42:20 139

原创 MongoDB安装到Docker内

安装MongoDBdocker pull mongo启动mongodocker run -p 27017:27017 --name mongo -v /mydata/mongo:/etc/mongo -e MONGO_INITDB_ROOT_USERNAME=mongoadmin -e MONGO_INITDB_ROOT_PASSWORD=root -d mongo --config /etc/mongo/mongod.cnf

2020-06-03 23:17:43 156

原创 使用Idea创建Springboot项目时候总会报错

将代理改为阿里云的即可,访问外网服务是真的困难啊。哭唧唧。网上说的那些去测试https://start.spring.io/或则http://start.spring.io/是真的没什么用,只是在我这里、我这个版本下是行不通的。找了好多都是这样的情况,所以记录一下,改为下方地址即可,亲测有效。https://start.aliyun.com/...

2020-06-03 21:51:02 362

原创 SpringBoot3.x版本修改默认配置文件不起作用

多级目录结构中创建的服务,修改配置文件不起作用,但是重新创建一个模块的话是可以的。之后在application.yml文件之后又重新创建application-dev.yml,并选择dev激活的话,这样是可以生效的。# DataSource Configspring: datasource: username: root password: root url: jdbc:mysql://192.168.56.10:3306/gulimall_sms?useUnicode=tr

2020-06-03 21:45:18 377

原创 Navicat 11执行SQL语句报错

Navicat 11执行SQL语句报错[Err] 1055 - Expression #1 of ORDER BY clause is not in GROUP BY clause and contains nonaggregated column 'information_schema.PROFILING.SEQ' which is not functionally dependent on columns in GROUP BY clause; this is incompatible with sq

2020-06-02 09:29:57 1229

原创 高级开发面试题,朋友给的,怕忘了

基本概念操作系统中 heap 和 stack 的区别什么是基于注解的切面实现什么是 对象/关系 映射集成模块什么是 Java 的反射机制什么是 ACIDBS与CS的联系与区别Cookie 和 Session的区别fail-fast 与 fail-safe 机制有什么区别get 和 post请求的区别Interface 与 abstract 类的区别IOC的优点是什么IO 和 NIO的区别,NIO优点Java 8 / Java 7 为我们提供了什么新功能什么是竞态条件? 举个例子说

2020-05-29 14:22:15 249

原创 docker安装Nginx 填坑

首先你是安装了docker拉取Nginx镜像docker pull nginx配置Nginx文件卷mkdir -p /mydata/nginxtouch /mydata/nginx/nginx.conf配置nginx.confuser nginx;worker_processes 1;error_log /var/log/nginx/error.log warn;pid /var/run/nginx.pid;events { worker.

2020-05-29 14:18:03 305 2

原创 MySQL左连接之后引起的排序问题

最近遇到一个问题,MySQL左连接之后对左连接表中的数据进行修改之后,数据的顺序发生了变化,并没有按照既定顺序进行排列,一番查询之后觉得需要记录一下SELECT * FROM ( SELECT t.tagCode, t.tagName, t.tagLvlCode,

2020-05-28 15:10:43 4353 2

原创 docker-compose安装

安装docker-composesudo curl -L "https://github.com/docker/compose/releases/download/1.25.5/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose授权sudo chmod +x /usr/local/bin/docker-compose创建软连接sudo ln -s /usr/local/bin/docker.

2020-05-28 08:51:01 575 2

原创 Docker安装redis服务

拉取镜像docker pull redis 创建redis配置文件[root@localhost ~]# mkdir -p /mydata/redis/conf[root@localhost ~]# touch /mydata/redis/conf/redis.conf运行redis容器docker run -p 6379:6379 --name redis \-v /mydata/redis/data:/data \-v /mydata/redis/conf/redis.c.

2020-05-27 16:06:00 152

原创 docker中安装MySQL5.7

拉取镜像[root@localhost ~]# docker pull mysql:5.75.7: Pulling from library/mysqlafb6ec6fdc1c: Pull complete 0bdc5971ba40: Pull complete .

2020-05-27 15:27:59 144

原创 Centos7 安装Docker容器,按照官网文档安装

移除老版本Docker[root@localhost ~]# sudo yum remove docker \> docker-client \> docker-client-latest \> docker-common \> docker-latest \> docker-late.

2020-05-27 14:43:55 480

原创 使用Vagrant安装初始化虚拟机

VirsualBox整合Vagrant使用安装VirsualBox和vagrant这没啥好说的,就一直下一步安装Windows软件一样就行了。安装完vagrant之后可以验证是否安装成功vagrant -v打印如下图所示表示安装成功2. 查询vagrant相关镜像地址https://app.vagrantup.com/boxes/search安装Centos 7镜像PS E:\vagrant> vagrant init centos/7A `Vagrantfile` ha

2020-05-27 13:49:19 518 1

原创 JD面试题总结,来源于微信群

JD一面问题1.java开发中的受检异常和非受检异常都是什么,实际开发中应怎样处理这种异常2.常用的数据结构有哪些?(栈,队列,堆,图,树)3.常用的排序方式有哪些(快排,桶排序,冒泡,归并)4.快排的时间复杂度是多少,它是稳定期望的吗?5.Array数组和链表的的构成是什么,区别是什么,实际工作中都起到什么样的作用?6.一个顺序的链表,它如果去做一个查询,期望是多少?7.mysql有哪些索引?京东二面问题1.AOP的原理,cglib和JDK动态代理的区别,为什么不.

2020-05-26 10:55:24 333

原创 MySQL中timestamp查询范围问题

MySQL中timestamp类型日期,比如更新时间是2020-05-26,查询是时 update_time <= 2020-05-26,是查询不到的,需要转为 DATE_FORMAT(info.up_time,'%Y-%m-%d') <= '2020-05-26',具体原因不明,需要深入研究。

2020-05-26 10:48:35 3674

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除