- 博客(132)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 服务器离线部署docker，镜像迁移，mysql主从搭建等服务
公司项目要上线项目，买了两台云服务器，需进行环境部署（1台接入公网，一台只能局域网访问），主要部署以下内容1、服务器之间配置ssh免密2、离线docker部署3、docker镜像迁移4、redis服务5、minio文件服务6、kkFileView文件预览服务7、mysql主从搭建。
2023-07-12 18:30:00
4609
原创 flume整合数据到kafka，sparkStreaming消费数据，并存储到hbase和redis中
1、获取hbase中存储的偏移量信息2、对应的偏移量，获取对应的value数据信息//拿取到HBASE的存偏移量的表hbase_offset_store的偏移量数据，TopicPartition, Long组成的hashMap集合，Long表示偏移量位置//TopicPartition里面封装的有参构造器封装的 topic 主题和partition分区//如果偏移量数组大于0，则证明是以前被消费过的，所以多传一个参数，传入偏移量的值。
2023-01-17 14:16:08
3197
原创 kafka和sparkStreaming
Kafka采用顺序读写、Page Cache、零拷贝以及分区分段等这些设计，再加上在索引方面做的优化，另外Kafka数据读写也是批量的而不是单条的，使得Kafka具有了高性能、高吞吐、低延时的特点。这样Kafka提供大容量的磁盘存储也变成了一种优点Java的NIO提供了FileChannle，它的transferTo、transferFrom方法就是Zero Copy。
2022-12-28 16:54:28
1694
原创 海康视频回放，rtsp视频接口转换成.m3u8格式文件
3、采用token+redis方式处理视频播放和删除过程，开启视频录像，并将token或者自定义文件夹存入redis，将用户token解析部分（我解析的是jwt的token最后一个点后面内容，作为当前用户的开始视频存放的文件夹A），视频摄像头唯一编码作为下面一个子文件夹B，A+B作为ffmpeg开启的key。6、redis中的token过期，回调方法返回过期的key，对key解析，拿到token最后一个点后面内容，也是就是文件A，对第五步进行操作。
2022-12-09 16:13:52
8772
3
原创 spark（HA）集群安装，算子，及与hive交互
事先搭建好zookeeper和hadoop集群，（启动zk和hadoop）如果spark 运行过程中， 报lzo错误，将一下两项添加进来。在node01上面启动 historyserver。node01执行以下命令分发安装包。#配置history日志信息。#配置java的环境变量。
2022-09-21 13:25:45
774
原创 hue的使用
Hue是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job，执行Hive的SQL语句，浏览HBase数据库等等。...
2022-09-01 11:43:34
3074
原创 SpringDataJPA融合esSearch
（，）1、将MySQL驱动包放到下面2、创建一个.config文件，这里我创建的是执行频率statement ：过滤执行的sql语句，可以根据创建时间去筛选新增数据如我的input{jdbc{# 指定jdbc驱动包位置(不同版本处理不同，此处可直接将mysql驱动包放置logstash-core/lib/jars下，无需配置jdbc_driver_library)# 要使用的驱动包类# mysql数据库的连接信息# mysql用户# mysql密码。
2022-08-23 10:16:23
1740
原创 sqoop ETL工具
Sqoop是apache旗下的一款 ”Hadoop和关系数据库之间传输数据”的工具导入数据：将MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统导出数据：从Hadoop的文件系统中导出数据到关系数据库(mysql中)...
2022-08-03 22:57:23
1294
原创 监听服务器jar运行，及重启脚本
业务需求，服务器要监听停止的jar服务，十分钟一次监听，出现停止就重启服务。如果出现下面错误，则输入命令，转化为unix格式。
2022-07-26 16:02:42
2215
原创 Hbase
Hive和Hbase是两种基于Hadoop的不同技术，Hive是一种类SQL的引擎，并且运行MapReduce任务，Hbase是一种在Hadoop之上的NoSQL的Key/vale数据库。这两种工具是可以同时使用的。就像用Google来搜索，用FaceBook进行社交一样，Hive可以用来进行统计查询，HBase可以用来进行实时查询，数据也可以从Hive写到HBase，或者从HBase写回Hive。...
2022-07-20 14:50:33
381
原创 hive参数传递，hive常用函数
目录1、hive参数传递1、hiveconf使用说明2、 hivevar使用说明2、Hive的常用函数1、系统内置函数2、数值计算3、日期函数3、条件函数（重点）4、字符串函数5、集合统计函数7、复杂类型长度统计函数8、行转列9、列转行2、lateral view、explode练习reflect函数hive自定义函数Json数据解析UDF开发练习Hive的分桶表Hive数据导入Hive数据导出Hive Shell 命令导出export导出到HDFS上Hive的静态分区和动态分区1、 静态分区2、动态分区分
2022-07-06 19:05:01
4709
原创 vue-admin-better前端页面-菜单-权限配置
码云地址：https://gitee.com/chu1204505056/vue-admin-better其登录逻辑为：1、登录拿取到token，分配到vuex中；2、通过token拿取到用户的permission角色名称，用户头像，昵称，并存放到vuex中；3、每次路由时候，调取配置的permission.js ，如果没有角色名称，则返回第二步，如果有，则通过token向后台请求当前用户的权限路由，并对基础路由进行拼接，存放到vuex中进行状态管理；调用 this.$store .dispatch('us
2022-07-05 16:00:09
4116
原创 Hive简单使用
数据库与数据仓库的区别实际讲的是OLTP 与 OLAP 的区别。操作型处理，叫联机事务处理 OLTP（On-Line Transaction Processing），也可以称面向交易的处理系统，它是针对具体业务在数据库联机的日常操作，通常对少数记录进行查询、修改。用户较为关心操作的响应时间、数据的安全性、完整性和并发支持的用户数等问题。传统的数据库系统作为数据管理的主要手段，主要用于操作型处理OLTP。分析型处理，叫联机分析处理 OLAP（On-Line Analytical Processing），一般针
2022-06-28 20:15:08
616
原创 Hadoop集群安装，mysql安装，hive安装
下载安装包安装包第一步：上传压缩包并解压将我们重新编译之后支持snappy压缩的hadoop包上传到第一台服务器并解压第一台机器执行以下命令第二步：查看hadoop支持的压缩方式以及本地库第一台机器执行以下命令如果出现openssl为false，那么所有机器在线安装openssl即可，执行以下命令，虚拟机联网之后就可以在线进行安装了第三步：修改配置文件修改core-site.xml第一台机器执行以下命令修改hdfs-site.xml第一台机器执行以下命令修改hadoop-env.sh第一台机器执
2022-06-26 12:19:05
2538
1
原创 java生成在线验证码
1、maven包2、接口测试一3、接口测试二3、接口测试三（结合redis）验证码数据统一转化为大写 一、配置信息注入容器二、获取当前环境3、获取当前ip地址1、获取本地IP2、获取公网IP.........
2022-06-20 11:41:33
932
原创 分布式计算模型MapReduce的学习
MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上MapReduce是采用一种分而治之的思想设计出来的分布式计算框架那什么是分而治之呢？比如一复杂、计算量大、耗时长的的任务，暂且称为“大任务”；此时使用单台服务器无法计算或较短时间内计算出结果时，可将此大任务切分成一个个小的任务，小任务分别在不同的服务器上并行的执行；最终再汇
2022-06-10 19:27:27
1177
1
原创 hdfs学习
1、hadoop生产环境版本选择 Hadoop三大发行版本：Apache、Cloudera、Hortonworks。 Apache版本最原始（最基础）的版本，对于入门学习最好。 Cloudera在大型互联网企业中用的较多。 Hortonworks文档较好。 mapr Apache Hadoop 官网地址：Apache Hadoop 下载地址：Index of /dist/hadoop/common Cloudera
2022-05-08 17:27:00
3017
原创 Scala基础语法学习
一、变量val/var 变量名称:变量类型 = 初始值注意： val定义的是不可重新赋值的变量(值不可修改) var定义的是可重新赋值的变量(值可以修改) scala中声明变量是变量名称在前，变量类型在后，跟java是正好相反 scala的语句最后不需要添加分号、、 惰性变量 Scala中使用==关键字lazy==来定义惰性变量，实现延迟加载(懒加载)。 惰性变量只能是不可变变量，并且只有在调用惰性变量时，才会去实例化这个变量。 语.
2022-04-24 19:05:12
1576
原创 Java利用itext实现导出PDF文件
因为工作中要用到，导出不同的PDF，所以学习了Itext我两天创建的PDF如下所示，主要是简单的表格类的1、引包 <dependency> <groupId>com.itextpdf</groupId> <artifactId>itextpdf</artifactId> <version>5.5.11</version..
2022-04-07 16:45:49
12208
4
原创 三台机器安装zookeeper集群
1、准备工作（1）、关闭防火墙systemctl stop firewalldsystemctl disable firewalld（2）、三台机器关闭selinux 三台机器在root用户下执行以下命令关闭selinux 三台机器执行以下命令，关闭selinux# vim /etc/selinux/configSELINUX=disabled（3）、同步时间 三台机器执行以下命令定时同步阿里云服务器时间（每一分钟去阿里云上效验时间）yum -y install
2022-03-18 22:20:33
2636
原创 快速构建多台服务器与配置SSH免密（离线安装jdk和MySQL）
1、安装虚拟机（第一台）主要注意点（1）、配置nat模式NAT技术应用在internet网关和路由器上，比如192.168.0.123这个地址要访问internet，它的数据包就要通过一个路由器，而路由器拥有一个能访问internet的ip地址，这样的路由器就要在收发数据包时，对数据包的IP协议层数据进行更改（即 NAT），以使私有网段的主机能够顺利访问internet1、2、选择nat模式，然后点击右下角的更改设置3、4、点击NAT设置（2）、跟改个人...
2022-03-18 15:28:47
2694
原创 uniApp获取用户位置信息两种方法
1、使用uni.chooseLocation获取用户信息 uni.chooseLocation({ success: (res) => { console.log('位置名称：' + res.name); console.log('详细地址：' + res.address); console.log('纬度：' + res.latitude); console.log('经度：' + res.longi
2022-01-12 15:27:27
5119
原创 uniapp 获取openid 实现登录获取用户信息
1、逻辑如下1、通过uni.login获取用户的code2、通过code获取secretKey,用于解码3、调用uni.getUserProfile获取encryptedData ,和iv，将上面的secretKey，一起传到后端用于解码，获取用户的信息。参考文章文章链接2、uni前端方法的设计如下（1）点击登录调用的方法 hasLogin() { let signature = null; let encryptedData = null ..
2022-01-12 15:02:48
3071
原创 SpringCould整合oauth2
1、创建认证微服务端创建mengxuegu-blog-oauth2微服务工程，做认证使用认证服务器表结构默认如下最主要表就是这个oauth_client_details生成 client_sercet密码@RunWith(SpringRunner.class)@SpringBootTestpublic class TestAuthApplication { @Test public void testPwd() { System.out.println(new ...
2022-01-06 20:09:29
3307
2
原创 复杂逻辑SQL
1、分类统计文章总数总共四张表文章表mxg_article文章标签中间表 mxg_article_label标签表mxg_label分类表mxg_category（1）先通过文章表:mxg_article 和 文章标签中间表:mxg_article_label 统计标签对应的合格文章数SELECT m2.label_id, COUNT(m1.id) totalFROM mxg_article m1JOIN mxg_article_label m2 ON m1...
2021-12-27 17:58:41
2804
原创 spring cloud nacos 简单配置
Nacos 是阿里巴巴推出来的开源项目，这是一个更易于构建云原生应用的动态服务发现、配置管理和服务管理平 台。Nacos 致力于帮助您发现、配置和管理微服务。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发 现、服务配置、服务元数据及流量管理。官网：https://nacos.io/zh-cn/源码：https://github.com/alibaba/nacosSpingCloud 与 Nacos 版本说明参考： https://github.com/aliba ba...
2021-12-22 18:23:55
4314
原创 阿里云OSS使用
阿里云OSS购买之后项目加入依赖 <dependency> <groupId>com.aliyun.oss</groupId> <artifactId>aliyun-sdk-oss</artifactId> <version>3.10.2</version> </depe
2021-12-17 18:00:12
2588
原创 docker安装neo4j和部署jar项目
1、查看neo4j镜像docker search neo4j2、拉取指定版本镜像，不指定版本默认最新版docker pull neo4j:3.5.17 docker images3、搭建容器--name 容器名称-p 端口映射-v 目录挂载 ：左边系统目录，右边容器目录sudo docker create -it --name neo4j_container neo4j:3.5.17sudo docker run -it -d -p 7474:7474 .
2021-12-15 16:18:32
1818
原创 多表关联查询两种方法
简单总结一下，方便以后查看A表（mxg_category）B表（mxg_label）B表的category_id 关联A表的ID方法一1、Mapper的接口如下 List<Category> findCategoryAddLabel();2、因为A表查询出来要对应多条B表的数据，所以要在A的实体类中添加B的list集合* * @author jiangHaoJie * @since 2021-12-08 * 一个分类..
2021-12-09 18:01:19
4857
原创 搭建基础后台框架及整合Swagger2及整合mybatisPlus代码器
1、创建父工程管理所有的依赖（1）、删除 src 目录，指定pom（2）导入依赖 <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.2.9.RELEASE</version&g.
2021-12-09 10:09:42
723
原创 基于admin-template模板，实现按钮权限管理
1、创建一个directive文件夹，采用Vue.directive对vue页面节点进行管理2、创建permission.js，导出一个对象（1）采用buttonList.some进行条件过滤。没有使用foreach，询数组中唯一的元素, 用some方法更合适，当查找到相同，后会跳出当前循环，不会再执行内容。（这样就可以节约资源，找到内容了后就不再找了）（2)、采用el.parentNode.removeChild(el)移除vue中的节点 (3)、VueX中状态管理getters...
2021-12-07 15:11:05
1215
原创 基于admin-template模板请求头带上Token
实现逻辑如下1、对于每次请求数据，从cookie中取token并赋值到请求头上（headers.Authorization）2、对后端返回的数据，如果返回401，则通过存储在cookie中的刷新令牌（refreshTokenKey）来刷新token值，（一般而言token有效期7天或者一天，刷新令牌比token存放的久）3、如果刷新令牌存在，则通过刷新令牌，重新获取用户信息，包括，token，userInfo（用户信息），refreshToken（刷新令牌）4、如果刷新令牌不存在，则重新登录
2021-12-06 18:13:53
1381
原创 基于admin-template模板后台管理系统实现单点登录
在permiss.js中配置路由拦截,路由的前置操作router.beforeEach(async (to, from, next) => {})to.path:拿取到当前将要跳转的路由next()：直接跳到To.path的路由next({ path: '/' })：调到当先系统的指定路由windows.location.href="/url" 当前页面打开URL页面。windows.location.href:后面没有等于，拿取到当前页面完整的URL，this.$r..
2021-12-02 19:33:13
655
原创 vue开发时候的注意小点
1、动态绑定style子组件动态绑定颜色:style="{ color: TextColor }"接收父组件传递过来的颜色数据 props: { // #090DEF TextColor: { type: String, default: "#999", },}2、动态绑定Class冒号后面为True，则为true :class="{ boxActive: checkNum == 5 }"3、颜色渐变（向左边渐变）.
2021-12-02 15:23:23
499
原创 Vue 自定义一个自动滚动组件
1、先看结果样式如下2、仅仅自定义滚动组件如下<template> <div class="wrapper" @mouseout="mouseOut" @mouseover="mouseOver"> <div class="head"> <div class="headtext">时间</div> <div class="headtext">预警信息</div>..
2021-11-13 17:00:19
3940
原创 阿里云服务器安装node环境
1、解压安装包# 安装xz命令$ yum install xz -y# 进入安装包所在目录$ cd /opt/soft# 将xz文件解压为tar文件$ xz -dk node-v12.18.1-linux-x64.tar.xz# 解压tar文件$ tar -xf node-v12.18.1-linux-x64.tar2、配置node环境（1）、先备份，养成修改重要文件之前先备份的好习惯cp /etc/profile /etc/profile.bak（2）、修改
2021-10-28 10:58:06
454
原创 Echars简单总结
1、title 标题 title : { show:true,//显示策略，默认值true,可选为：true（显示） | false（隐藏） text: '主标题',//主标题文本，'\n'指定换行 link:'',//主标题文本超链接,默认值true target: null,//指定窗口打开主标题超链接，支持'self' | 'blank'，不指定等同为'blank'（新窗口）
2021-09-22 18:17:32
491
原创 java获取时间（今天，昨天，上周第一天，本周第一天，本周最后一天）
1、获取当前时间（年月日时分秒） Date date = new Date();//获得系统时间. SimpleDateFormat sdf = new SimpleDateFormat(" yyyy-MM-dd HH:mm:ss"); String nowTime = sdf.format(date); Date time = sdf.parse(nowTime);2、获取昨天时间（年月日时分秒） Date dN.
2021-09-03 23:08:13
5551
原创 数据库水平分割，动态表名查询
MySQL本身受单表数据文件大小限制，数据量将成为性能瓶颈。当单表数据量很大，或预计会很大时，将单个大表和单个大表数据文件，拆分成多个小表就是一个简单有效的提升新能的方式由于业务上需要对数据存储六个月，六个月数据将是百万级甚至更多，为了提升性能，所以做了拆分1、通过取模%5，将一张大表拆分成五张小表，并通过取模来存不同的表 我这边是通过人员卡号ID（card）来取模，方便查看也方便存取2、动态拼接查询表简单处理如下我这里动态查询的逻辑如下，查询指定时间间隔的数...
2021-09-02 19:47:54
2753
apache-phoenix-4.14.0-cdh5.14.2-bin.tar.gz安装包
2022-07-19
hive-1.1.0-cdh5.14.2.tar.gz和mysql-connector-java-5.1.38.jar连接包
2022-06-26
Hadoop编译后的hadoop-2.6.0-cdh5.14.2_after_compile.tar
2022-06-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人