- 博客(36)
- 收藏
- 关注
RSS订阅原创 Springboot动态数据源配置
1. 数据准备create database if not exists `ds1`;create database if not exists `ds3`;ds1/* Navicat Premium Data Transfer Source Server : localhost_3306 Source Server Type : MySQL Source Server Version : 80030 Source Host : local
2024-03-05 16:50:45
580
1
原创 前端环境配置
全局配置npm config set prefix "C:\tools\nodejs\node_global"npm config set cache "C:\tools\nodejs\node_cache"系统变量# 新增系统变量NODE_HOME# 系统变量PATH添加%NODE_HOME%\node_global%NODE_HOME%\node_cache#用户变量C:\Users\Administrator\AppData\Roaming\npm改为C:\tools\n
2022-04-02 10:35:59
908
原创 将Hive数据导入到外部表
1. 说明 最近接到一个需求，需要将Hive数据导出到ES。根据调研情况，可以在Hive上创建外部表，通过写SQL的形式将数据导出到Es，有个注意事项需要说明的是：写入到Es中的数据是无法覆盖的。根据使用情况，简单总结了一下。2. 环境说明Hive：2.1.1ElasticSearch：7.17.0Hadoop：3.0.0Spark：3.1.23. Es搭建3.1 解压# 解压tar -zxvf elasticsearch-7.17.0-linux-x86_64.tar.gz3
2022-03-17 20:49:18
3095
原创 Flink Tbale缺包引起的异常
Caused by: java.lang.ClassNotFoundException: org.apache.flink.table.planner.delegation.ParserFactory
2022-03-05 19:44:06
3656
原创 Spark3.0.0 环境安装
1. Spark概述1.1 什么是SparkSpark是一种基于内存的快速、通用、可扩展的大数据分析框架。1.2 Hadoop和SparkHadoop：一次性计算框架，基于磁盘，不适合迭代式计算。框架在处理数据的时候，会冲存储设备将数据读取出来，进行逻辑处理，然后将处理结果重新存储到介质中。Spark：基于内存，适合迭代式计算，任务启动快，但内存会有限制。1.3 Spark核心模块Spark Core：提供了丰富的API，供其他模块使用。Spark Streaming：Spar
2021-10-27 20:41:50
813
原创 数仓学习（一）环境搭建
文章目录1. 环境安装1.1 准备三台虚拟机，分别是hadoop102、hadoop103、hadoop1041.1.1 vagrant虚拟机配置1.1.2 虚拟机安装1.2 修改root用户密码1.3 修改host配置文件1.4 新增hadoop用户1.5 配置免密登录1.6 配置xsync脚本1.6 创建工作目录1.6 JDK安装1.7 bash脚本配置路径说明1.8 生成模拟数据1.9 xcall脚本2. 安装分布式群集2.1 安装Hadoop2.1.1 安装2.1.2 配置环境变量2.1.3 分发2
2021-10-23 13:53:01
1991
原创 CDH 6.3.2离线安装包
找资源实在是太麻烦了。我用阿里云盘分享了「CDH 6.3.2」，你可以不限速下载???? 复制这段内容打开「阿里云盘」App 即可获取 链接：https://www.aliyundrive.com/s/MXdocsLsNuT
2021-09-06 10:22:32
635
10
原创 容器内安装CDH 6.3.2
参考CDSN资源https://www.cnblogs.com/runnerjack/p/12693597.html1.环境准备1.1 安装vagrant虚拟机node01Vagrant.configure("2") do |config| config.vm.box = "centos/7" config.vm.hostname = "node01" config.vm.network "private_network", ip: "10.1.100.11" # 虚拟机配置
2021-09-06 10:11:09
847
原创 OpenResty安装Nginx和Lua环境
一、安装Nginx安装依赖yum install -y readline-devel pcre-devel openssl-devel gcc下载并解压OpenRestycd /usr/local/toolswget http://openresty.org/download/ngx_openresty-1.7.7.2.tar.gz tar -xzvf ngx_openresty-1.7.7.2.tar.gz 安装插件cd ngx_openresty-1.7.7.2/bun
2021-04-01 23:57:11
223
原创 centos 7.x 切换到阿里云源
centos 7.x 切换到阿里云源安装wget工具yum install -y wget备份自带源文件mv /etc/yum.repos.d/C* /etc/yum.repos.d/backup/安装阿里云源cd /etc/yum.repos.d/# 下载源文件wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo# 清除旧的缓存yum clean al
2021-03-20 15:38:17
109
原创 MySQL5.7安装，小记录一下吧，每次安装都挺麻烦的
Linux安装MySQL选择版本下载MySQL5.7安装包解压tar -zxvf mysql-5.7.33-el7-x86_64.tar.gz重命名mv mysql-5.7.33-el7-x86_64 mysql-5.7.33创建用户# 创建用户组groupadd mysql# 创建用户useradd -r -g mysql mysql创建MySQL数据文件夹并授权mkdir /data/mysqlchown -R mysql:mysql /
2021-03-19 11:35:02
175
原创 Redis两种持久化方式
Redis两种持久化方式Redis为什么要做持久化？* 容灾，故障恢复* 支持高可用，防止雪崩问题如何做持久化？Redis提供了两种持久化发的方式，RDB和AOF。RDBRedis 会周期性的将数据持久化到RDB文件中，保存的是当前数据快照。会生成多个文件。数据恢复的时候会优先使用RDB的方式来进行数据恢复更快一些，AOF需要执行每一条命令。AOFRedis 会将数据先写入到OS Cache中，然后每隔几秒调用一次fsync函数，将数据持久化到AOF文件中去。数
2021-03-16 17:15:12
91
原创 Redis 6.x安装
Redis 6.x安装安装wgetyum install -y wget下载安装包wget https://download.redis.io/releases/redis-6.2.1.tar.gz解压tar xzf redis-6.2.1.tar.gz编译安装cd redis-6.2.1make测试src/redis-server6. 修改配置/etc/sysctl.conf# 内存分配策略vm.overcommit_memory = 1可
2021-03-15 16:55:36
566
原创 设计模式总结
什么是设计模式设计模是前辈们对代码开发经验的总结，是解决特定问题的一系列套路。它不是语法规定，而是一套用来提高代码可复用性、可维护性、可读性、稳健性以及安全的解决方案。设计模式的本质是面向对象设计原则的实际运用，是对类的封装性、继承性和多态性以及类的关联关系和组合关系的充分理解。有什么好处可以提高程序员的思维能力、编程能力和开发能力。使程序设计更加标准化、代码编制更加工程化，使软件开发效率大大提高，从而缩短软件的开发周期。使设计的代码可重用性高、可读性强、可靠性高、灵活性好、可维护性强。G
2021-03-11 10:05:35
52
原创 Linux首次安装Flink初体验
一、安装下载wget https://mirror.bit.edu.cn/apache/flink/flink-1.11.0/flink-1.11.0-bin-scala_2.12.tgz解压tar -zxf flink-1.11.0-bin-scala_2.12.tgzrm -rf flink-1.11.0-bin-scala_2.12.tgz启动./bin/start-cluster.sh验证./bin/flink run examples/streaming/W
2020-07-10 12:32:48
471
原创 ES常用命令
初步检索_catGET _cat/nodes：查看所有节点GET _cat/health：查看es健康状况GET _cat/master 查看主节点GET _cat/indices：查看索引索引一个文档PUT http://10.1.100.10:9200/customer/external/1{ "name": "John Doe"}结果：{ "_index": "customer", "_type": "external", "_id": "1",
2020-07-08 17:14:05
485
原创 Docker安装Es7.x
创建映射路径mkdir -p /mydata/elasticsearch/configmkdir -p /mydata/elasticsearch/data写入配置文件echo "http.host:0.0.0.0" >> /mydata/elasticsearch/config/elasticsearch.yml启动esdocker run --name elasticsearch -p 9200:9200 -p 9300:9300 -e "discovery.ty.
2020-07-06 13:53:37
917
原创 kafka安装使用
安装tar -xzf kafka_2.12-2.5.0.tgzcd kafka_2.12-2.5.0配置broker.id=0listeners=PLAINTEXT://:9092log.dirs=/app/kafka_2.12-2.5.0/kafka-logszookeeper.connect=node-1:2181,node-2:2181,node-3:2181启动需要首先启动zookeeper服务后，在启动kafka服务，这里需要注意的是：我安装的版本是kafka_2..
2020-06-16 10:42:20
139
原创 MongoDB安装到Docker内
安装MongoDBdocker pull mongo启动mongodocker run -p 27017:27017 --name mongo -v /mydata/mongo:/etc/mongo -e MONGO_INITDB_ROOT_USERNAME=mongoadmin -e MONGO_INITDB_ROOT_PASSWORD=root -d mongo --config /etc/mongo/mongod.cnf
2020-06-03 23:17:43
156
原创 使用Idea创建Springboot项目时候总会报错
将代理改为阿里云的即可，访问外网服务是真的困难啊。哭唧唧。网上说的那些去测试https://start.spring.io/或则http://start.spring.io/是真的没什么用，只是在我这里、我这个版本下是行不通的。找了好多都是这样的情况，所以记录一下，改为下方地址即可，亲测有效。https://start.aliyun.com/...
2020-06-03 21:51:02
362
原创 SpringBoot3.x版本修改默认配置文件不起作用
多级目录结构中创建的服务，修改配置文件不起作用，但是重新创建一个模块的话是可以的。之后在application.yml文件之后又重新创建application-dev.yml，并选择dev激活的话，这样是可以生效的。# DataSource Configspring: datasource: username: root password: root url: jdbc:mysql://192.168.56.10:3306/gulimall_sms?useUnicode=tr
2020-06-03 21:45:18
377
原创 Navicat 11执行SQL语句报错
Navicat 11执行SQL语句报错[Err] 1055 - Expression #1 of ORDER BY clause is not in GROUP BY clause and contains nonaggregated column 'information_schema.PROFILING.SEQ' which is not functionally dependent on columns in GROUP BY clause; this is incompatible with sq
2020-06-02 09:29:57
1229
原创 高级开发面试题，朋友给的，怕忘了
基本概念操作系统中 heap 和 stack 的区别什么是基于注解的切面实现什么是 对象/关系 映射集成模块什么是 Java 的反射机制什么是 ACIDBS与CS的联系与区别Cookie 和 Session的区别fail-fast 与 fail-safe 机制有什么区别get 和 post请求的区别Interface 与 abstract 类的区别IOC的优点是什么IO 和 NIO的区别，NIO优点Java 8 / Java 7 为我们提供了什么新功能什么是竞态条件？ 举个例子说
2020-05-29 14:22:15
249
原创 docker安装Nginx 填坑
首先你是安装了docker拉取Nginx镜像docker pull nginx配置Nginx文件卷mkdir -p /mydata/nginxtouch /mydata/nginx/nginx.conf配置nginx.confuser nginx;worker_processes 1;error_log /var/log/nginx/error.log warn;pid /var/run/nginx.pid;events { worker.
2020-05-29 14:18:03
305
2
原创 MySQL左连接之后引起的排序问题
最近遇到一个问题，MySQL左连接之后对左连接表中的数据进行修改之后，数据的顺序发生了变化，并没有按照既定顺序进行排列，一番查询之后觉得需要记录一下SELECT * FROM ( SELECT t.tagCode, t.tagName, t.tagLvlCode,
2020-05-28 15:10:43
4353
2
原创 docker-compose安装
安装docker-composesudo curl -L "https://github.com/docker/compose/releases/download/1.25.5/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose授权sudo chmod +x /usr/local/bin/docker-compose创建软连接sudo ln -s /usr/local/bin/docker.
2020-05-28 08:51:01
575
2
原创 Docker安装redis服务
拉取镜像docker pull redis 创建redis配置文件[root@localhost ~]# mkdir -p /mydata/redis/conf[root@localhost ~]# touch /mydata/redis/conf/redis.conf运行redis容器docker run -p 6379:6379 --name redis \-v /mydata/redis/data:/data \-v /mydata/redis/conf/redis.c.
2020-05-27 16:06:00
152
原创 docker中安装MySQL5.7
拉取镜像[root@localhost ~]# docker pull mysql:5.75.7: Pulling from library/mysqlafb6ec6fdc1c: Pull complete 0bdc5971ba40: Pull complete .
2020-05-27 15:27:59
144
原创 Centos7 安装Docker容器，按照官网文档安装
移除老版本Docker[root@localhost ~]# sudo yum remove docker \> docker-client \> docker-client-latest \> docker-common \> docker-latest \> docker-late.
2020-05-27 14:43:55
480
原创 使用Vagrant安装初始化虚拟机
VirsualBox整合Vagrant使用安装VirsualBox和vagrant这没啥好说的，就一直下一步安装Windows软件一样就行了。安装完vagrant之后可以验证是否安装成功vagrant -v打印如下图所示表示安装成功2. 查询vagrant相关镜像地址https://app.vagrantup.com/boxes/search安装Centos 7镜像PS E:\vagrant> vagrant init centos/7A `Vagrantfile` ha
2020-05-27 13:49:19
518
1
原创 JD面试题总结，来源于微信群
JD一面问题1.java开发中的受检异常和非受检异常都是什么，实际开发中应怎样处理这种异常2.常用的数据结构有哪些？（栈，队列，堆，图，树）3.常用的排序方式有哪些（快排，桶排序，冒泡，归并）4.快排的时间复杂度是多少，它是稳定期望的吗？5.Array数组和链表的的构成是什么，区别是什么，实际工作中都起到什么样的作用？6.一个顺序的链表，它如果去做一个查询，期望是多少？7.mysql有哪些索引？京东二面问题1.AOP的原理，cglib和JDK动态代理的区别，为什么不.
2020-05-26 10:55:24
333
原创 MySQL中timestamp查询范围问题
MySQL中timestamp类型日期，比如更新时间是2020-05-26，查询是时 update_time <= 2020-05-26，是查询不到的，需要转为 DATE_FORMAT(info.up_time,'%Y-%m-%d') <= '2020-05-26',具体原因不明，需要深入研究。
2020-05-26 10:48:35
3674
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人