- 博客(263)
- 资源 (1)
- 收藏
- 关注
原创 HIVE3.1.2搭建教程
前提是已经搭好hadoop搭建hadoop参考博客:https://blog.csdn.net/pucao_cug/article/details/71698903搭建hive参考博客:https://blog.csdn.net/weixin_41485724/article/details/105840716搭建过程中遇到报错问题。参考博客:https://niuxikun.blog.csdn.net/article/details/119787813...
2021-08-18 19:58:19
348
原创 搭建HIVE3.1.2遇到报错问题
1、guava.jar版本不一致参考博客:https://www.cnblogs.com/jaysonteng/p/13412763.html2、配置文件有特殊字符参考博客:https://blog.csdn.net/zhangvalue/article/details/843131193、配置文件没有找到相对路径参考博客:https://www.cnblogs.com/shun7man/p/11823828.html4、show da
2021-08-18 19:57:54
402
原创 关系型数据库与非关系型数据库区别
参考博客:https://www.cnblogs.com/progor/p/8729798.html常见的关系型数据库:Oracle、DB2、PostgreSQL、Microsoft SQL Server、Microsoft Access、MySQL关系型数据库的特点:安全(因为存储在磁盘中,不会说突然断电数据就没有了)、容易理解(建立在关系模型上)、但不节省空间(因为建立在关系模型上,就要遵循某些规则,好比数据中某字段值即使为空仍要分配空间)什么是非关系型数据库?非关系型数
2021-06-22 11:33:26
380
原创 搭建springboot框架
1、新建springboot模板,可能会多选(比如多选数据库组件)file->new->project点击next(第一个)创建springboot项目(因为连接的国外的网站,next有时会几秒的延迟),将两个值改成自己的配置,Group:com.laowang ,Artifact:sptest,其他可以不用动,点击ok点击next(第二个)选择web-》spring web starter点击next(第三个)不用做修改,直接finish新建sp
2021-06-22 10:43:25
302
原创 redis事务
Redis中的事务(transaction)是⼀组命令的集合。事务同命令⼀样都是 Redis 的最⼩执⾏单位,⼀个事务中的命令要么都执⾏,要么都不执⾏。事务的应⽤⾮常普遍,如银⾏转账过程中A给B汇款,⾸先系统从A的账户中将钱划⾛,然后向B的账户增加相应的⾦额。这两个步骤必须属于同⼀个事务,要么全执⾏,要么全不执⾏。否则只执⾏第⼀步,钱就凭空消失了,这显然让⼈⽆法接受。事务的原理是先将属于⼀个事务的命令发送给Redis,然后再让Redis依次执⾏这些命令。例如:...
2021-06-19 16:14:29
104
原创 Linux命令中Ctrl+z、Ctrl+c
Ctrl+c,Ctrl+z在Linux中意义Ctrl+c和ctrl+z都是中断命令,但是他们的作用却不一样.Ctrl+c是强制中断程序的执行。Ctrl+z的是将任务中断,但是此任务并没有结束,他仍然在进程中他只是维持挂起的状态。...
2021-06-18 09:41:29
180
原创 安装.NET 4.5.1
有两种方式1)离线安装(也称为脱机安装)下载:.NET Framework 4.5.1(脱机安装程序)【链接】https://www.microsoft.com/zh-CN/download/details.aspx?id=407792)在线安装(也称为Web安装)【链接】https://www.microsoft.com/zh-CN/download/details.aspx?id=40773在线安装过程中必须连网!------下载时,请注意看一下网页上的“系统要求”和“安装说明”...
2021-06-15 14:37:51
1248
原创 OLTP与OLAP
参考博客:https://baijiahao.baidu.com/s?id=1611554859260686629&wfr=spider&for=pc
2021-05-27 15:41:37
105
原创 Linux改变文件属性与权限
chgrp :改变文件所属群组 chown :改变文件拥有者 chmod :改变文件的权限, SUID, SGID, SBIT 等等的特性chgrp[root@study ~]# chgrp [-R] dirname/filename ...选项与参数:-R : 进行递归(recursive)的持续变更,亦即连同次目录下的所有文件、目录 都更新成为这个群组之意。常常用在变更某一目录内所有的文件之情况。范例:[root@study ~]# chgrp users initial
2021-05-24 10:19:27
239
原创 Linux文件的类型与权限
第一个字符代表这个文件是『目录、文件或链接文件等等』:o 当为[ d ]则是目录,例如上表档名为『.config』的那一行;o 当为[ - ]则是文件,例如上表档名为『initial-setup-ks.cfg』那一行;o 若是[ l ]则表示为连结档(link file);o 若是[ b ]则表示为装置文件里面的可供储存的接口设备(可随机存取装置);o 若是[ c ]则表示为装置文件里面的串行端口设备,例如键盘、鼠标(一次性读取装置)。接下来的字符中,以三个为一组,且均为『rwx』 ...
2021-05-24 00:19:25
189
原创 子查询和视图
视图并不是用来保存数据的,而是通过保存读取数据的 SELECT 语句的方法来为用户提供便利。反之,子查询就是将用来定义视图的SELECT语句直接用于FROM子句当中。
2021-05-19 23:46:08
108
原创 视图
我们首先要学习的是一个新的工具 —— 视图。视图究竟是什么呢?如果用一句话概述的话,就是“从 SQL 的角度来看视图就是一张表”。实际上,在 SQL 语句中并不需要区分哪些是表,哪些是视图,只需要知道在更新时它们之间存在一些不同就可以了,这一点之后会为大家进行介绍。至少在编写 SELECT 语句时并不需要特别在意表和视图有什么不同。那么视图和表到底有什么不同呢?区别只有一个,那就是“是否保存了实际的数据”。通常,我们在创建表时,会通过 INSERT 语句将数据保存到数据库之中,而数据库中的
2021-05-19 23:16:37
123
1
原创 数据库ACID特性
原子性(Atomicity)原子性是指在事务结束时,其中所包含的更新处理要么全部执行,要么完全不执行,也就是要么占有一切要么一无所有。例如,在之前的例子中,在事务结束时,绝对不可能出现运动 T 恤的价格下降了,而 T 恤衫的价格却没有上涨的情况。该事务的结束状态,要么是两者都执行了(COMMIT),要么是两者都未执行(ROLLBACK)。从事务中途停止的角度去考虑,就能比较容易理解原子性的重要性了。由于用户在一个事务中定义了两条 UPDATE 语句,DBMS 肯定不会只执行其中一条,否则就会
2021-05-18 23:58:12
148
原创 什么是事务
● 事务是需要在同一个处理单元中执行的一系列更新处理的集合。通过使用事务,可以对数据库中的数据更新处理的提交和取消进行管理。● 事务处理的终止指令包括COMMIT(提交处理)和ROLLBACK(取消处理)两种。● DBMS的事务具有原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)和持久性(Durability)四种特性。通常将这四种特性的首字母结合起来,统称为ACID特性。事务就是需要在同一个处理单元中执行的一系列更新处理的集合。.
2021-05-18 23:53:08
160
原创 SQL中TRUNCATE与DELETE区别
删除和舍弃 标准 SQL 中用来从表中删除数据的只有 DELETE 语句。但是,很多数据库产品中还存在另外一种被称为 TRUNCATE 的语句。这些产品主要包括 Oracle、SQLServer、PostgreSQL、MySQL 和 DB2。TRUNCATE 是舍弃的意思,具体的使用方法如下所示。语法4-A 只能删除表中全部数据的TRUNCATE语句TRUNCATE <表名>; 与 DELETE 不同的是,TRUNCATE 只能删除表中的全部数据,...
2021-05-18 21:56:25
564
原创 kafka搭建教程
博客推荐:https://blog.csdn.net/qq_41497111/article/details/89552301
2020-11-05 15:27:47
239
原创 Redis入门
博客:https://www.jianshu.com/p/56999f2b8e3bRedis和MongoDB是当前使用最广泛的NoSQL,而就Redis技术而言,它的性能十分优越,可以支持每秒十几万此的读/写操作,其性能远超数据库,并且还支持集群、分布式、主从同步等配置,原则上可以无限扩展,让更多的数据存储在内存中,更让人欣慰的是它还支持一定的事务能力,这保证了高并发的场景下数据的安全和一致性。Redis 在 Java Web 主要有两个应用场景:存储 缓存 用的数据; 需要高速读..
2020-11-05 15:00:51
164
原创 shell脚本开发、crontab定时任务开启
1.shell脚本开发:A脚本:这个是查询 test.log 日志并把查询结果 写入到 error.log 中# 写入到日志中# 当时日期 - 分钟current_time=`date +"%m-%d %H:%M:%S"`# 日志的路径log_path1=/test/test01.log#log_path2=/test/test02.log# 查询有多少个error字段find_shrink_num1=`grep "error" $log_path1 | wc -l`...
2020-10-23 17:09:52
356
原创 flink官方文档
flink官方文档http://flink.iteblog.com/dev/stream/checkpointing.html
2020-10-20 11:07:07
727
原创 Flink的Checkpointing机制
博客:https://blog.csdn.net/ddxygq/article/details/86601948
2020-10-20 10:52:16
226
原创 flink开发:基本原理与应用场景01
简介:是一种流式计算框架一些特点:架构图:(什么是伪分布式,就是一个节点,没有形成集群,这样就是虚伪分部式)主要yarn用的多:flink基本组件介绍:三大组件第一个:数据源第二个:算子,进行计算第三个:存储到别的存储介质最主要的区别是flink可以设置缓存块的大小来决定数据传输的时机:应用场景分析:...
2020-10-19 23:41:40
269
原创 flink开发心得
1.@Override作用:@Override是伪代码,表示重写(当然不写也可以),不过写上有如下好处: 1、可以当注释用,方便阅读; 2、编译器可以给你验证@Override下面的方法名是否是你父类中所有的,如果没有则报错。例如,你如果没写@Override,而你下面的方法名又写错了,这时你的编译器是可以编译通过的,因为编译器以为这个方法是你的子类中自己增加的方法。 举例:在重写父类的onCreate时,在方法前面加上@Override 系统可以帮你检查方法的正确性。 @Override pub..
2020-10-19 16:18:46
260
原创 Idea快捷键大全(Windows)
博客:https://blog.csdn.net/qq_38963960/article/details/89552704
2020-10-19 09:33:29
115
原创 运行shell脚本报错:Permission denied
报错如下:解决办法:执行下列语句chmod 777 *.sh原因:当shell脚本中含有非法字符时,会出现上述错误。所以在编写shell脚本时,最好不好直接粘帖,想要粘帖,可以用文本的形式粘帖,例如#!/bin/sh在脚本刚开始一行中,粘帖中会吧“!”字符的格式也相应粘帖过来,从而导致上述错误提示,使用vi命令修改后,可以正常运行脚本之后测试,运行成功:...
2020-10-10 14:40:45
11195
原创 storm总体结构01
storm涉及下列术语:storm结构图:(主节点用于分配代码,布置任务,检测故障。工作节点用于监听工作,开始并终止工作进程)注意:work是进程,executor是线程,task是最小处理单元。
2020-09-28 11:51:05
123
原创 grafana教程01
1.grafana开机启动:systemctl enable grafana-server2.查看端口号:(3000端口)netstat -tulnp|grep grafana配置数据源:查看infludb表:show measurements手动插入数据:手动插入一条数据后,开始在grafana配置图形展现,细节:时间间隔1分钟:点击:current开启自动刷新:在infludb插入三条数据:...
2020-09-14 10:01:39
1012
原创 logstash笔记01
先上例子:input { kafka { bootstrap_servers => "172.22.241.162:9092,172.22.241.163:9092,172.22.241.164:9092" topics => ["ngcct_contactlog_20200609"] group_id => "logstash_to_es" decorate_events => true auto_offset_reset
2020-09-11 00:22:23
224
原创 linux查看进程端口号并杀死进程
1.查看文件进程端口号:ps -ef |grep ngcct_contactlog_busi.conf2.杀死进程:kill -9 4138593.让文件内容为空:echo '' > ngcct_contactlog_ly_error.log4.使用vim来新建空文件:(可以带格式)vim test.conf...
2020-09-09 18:43:29
327
原创 Dbus相关官方文档
InfluxDB官方文档:https://docs.influxdata.com/influxdb/Dbus官方文档:https://bridata.github.io/DBus/index.htmlgrafana官方文档:http://docs.grafana.org/
2020-09-09 01:03:04
594
原创 linux搭建Dbus教程
1.在上一篇虚拟机搭建好之后,需要安装一下基本配置文件:参考文档:https://blog.csdn.net/niuxikun/article/details/1078331132.下面开始搭建Dbus平台:在 /home/csap 路径下搭建Dbus平台(输入pwd查看当前目录路径)搭建Dbus需要的组件有注意:还需要额外安装nginx基础组建: zookeeper 3.4.6 (集群都装) kafka 0.10.0.0 (集群都装) stor...
2020-09-06 21:42:39
3047
原创 linux查看端口号
netstat -tunlp|egrep "(2181|9092)"netstat -tunlp|egrep "(2181)"
2020-09-05 12:43:49
404
原创 VMware创建虚拟机
1.创建虚拟机2.典型,下一步3.选择镜像文件:G:\办公\虚拟机及苏老师发的包\CentOS-7-x86_64-Everything-1804.iso下一步:4.虚拟机命名:Dbus1、Dbus2、Dbus3 下一步5.磁盘大小改为60G 下一步下一步 点击完成6.第一个虚拟机已经配置好了,但是这里内存只有1G,改为2G点击:改为2048并确定:结果如下:7.点击 开启此虚拟机:8.如图所示,等待即可...
2020-09-04 22:04:44
304
原创 Dbus中UMS统一消息格式
无论是增量、全量还是日志,最终输出到结果kafka中的消息都是我们约定的统一消息格式,称为UMS(unified message schema)格式。如下图所示:Protocol 数据的类型,被UMS的版本号 schema namespace 由:类型. 数据源名.schema名 .表名.表版本号. 分库号 .分表号 组成,能够描述所有表。 例如:mysql.db1.schema1.testtable.5.0.0 fields是字段名描述 ums_id_ 消息的唯一id,
2020-09-02 16:10:33
834
原创 Dbus中日志类数据源的实现
什么是日志数据?业界日志收集、结构化、分析工具方案很多,例如:Logstash、Filebeat、Flume、Fluentd、Chukwa. scribe、Splunk等,各有所长。在结构化日志这个方面,大多采用配置正则表达式模板:用于提取日志中模式比较固定、通用的部分,例如日志时间、日志类型、行号等。对于真正的和业务比较相关的信息,这边部分是最重要的,称为message部分,我们希望使用可视化的方式来进行结构化。例如:对于下面所示的类log4j的日志:如果用户想将上述数据转换为如下的结构化
2020-09-02 16:00:34
459
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人