大数据
文章平均质量分 56
H.20
路途有点坎坷,但依然勇往直前
展开
-
Flink状态编程学习笔记
Flink状态编程学习笔记简介状态编程为Flink处理机制的核心,状态用来保存信息,辅助计算,以及方便于故障恢复。内容一、有状态和无状态的算子有状态:计算时需要依赖其他数据,例如需要先有下单状态,才能有支付状态(sum…)无状态:计算时不需要依赖其他数据,单独自身数据就足矣(Map,Filter…)二、状态管理传统状态管理:状态保存在数据库中,造成对数据库频繁访问耗费性能。Flink状态管理:将状态保存在内存中,并通过分布式扩展保证高吞吐量,同时需要给状态做个持久化保存,以便于在发生故障原创 2022-05-24 18:08:54 · 399 阅读 · 0 评论 -
MySQL统计GPS时间点相邻两个GPS时间点相差大于5分钟的数据
查询出相邻时间点间隔5分钟以上的数据主要字段:GPS_TIMEIDGPS_TIME12022-01-18 00:07:3922022-01-18 00:13:1232022-01-18 01:16:04……计算1和2的时间间隔,2和3的时间间隔,3和4的时间间隔以此类推,查询时间间隔大于5分钟的数据LEAD()函数是一个窗口函数,允许您向前看多行并从当前行访问行的数据。与LAG()函数类似,LEAD()函数对于计算同一结果集中当前行和后续行之间的差原创 2022-04-22 09:34:05 · 1282 阅读 · 0 评论 -
CDH6.3.1安装指南
CDH安装指南!!!!CDH简介CDH基于Web的用户界面,支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 HBase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。Cloudera Manager的功能:管理:对集群进行管理,如添加、删除节点等操作。监控:监控集群的健康情况,对设置的各种指标和系统运行情况进行全面监控。诊断:对集群出现的问题进行诊断,对出现的问题给出建议解决方案。集成:多组件进行整合《准备工作》CDH安装包网盘原创 2022-04-21 13:43:39 · 2631 阅读 · 1 评论 -
centos7部署flink学习笔记(standalone)
FLink是分布式、高性能的流处理框架。支持高吞吐、低延迟、高性能的流处理部署步骤//下载安装包[root@mini2 ~]# wget https://archive.apache.org/dist/flink/flink-1.5.2/flink-1.5.2-bin-hadoop27-scala_2.11.tgz//解压tar -xvf flink-1.5.2-bin-hadoop27-scala_2.11.tgz//配置(将下面第二行loalhost改为自己内网Ip,我只是测试一下就直.原创 2022-03-22 16:10:31 · 2058 阅读 · 0 评论 -
redis数据库安装
简介redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。安装步骤1.下载依赖# yum -y install centos-release-scl# yum -y install devtoolset-9-gcc devtoolset-9-gcc-c++ devtoolset-9-binutils# scl en原创 2022-01-02 20:40:12 · 694 阅读 · 0 评论