- 博客(298)
- 资源 (3)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 AOF&RDB
序言主要用于查看不同备份模式可以调优的一些方式.RDB: Redis服务器在规定时间内将内存中的数据保存到指定路径的文件中,服务器重启的时候直接将RDB文件读取到内存中 AOF:Redis服务器以日志的形式追加所有的REDIS操作,服务器重启的时候读取AOF文件依次执行一遍.关于RDB最主要的问题是在备份的时候.RDB备份需要fork一个线程处理,所当处理大批量的备份的时候会影响Redis服务的效率.而AOF是可以支持大批量的命令最佳且不影响Redis服务的效率cuiyoanan2000@163
2021-06-24 14:54:20
493
原创 Redis Script
序言redis提供的执行脚本的几个基础命令Redis Eval 命令redis 127.0.0.1:6379> EVAL script numkeys key [key ...] arg [arg ...] script： 参数是一段 Lua 5.1 脚本程序。脚本不必(也不应该)定义为一个 Lua 函数。 numkeys： 用于指定键名参数的个数。------即redis中的key的个数cuiyaonan2000@163.com key [key ...]： 从 EVAL 的
2021-06-23 17:37:39
1860
原创 Lua语法
序言研究一下跟redis整合用.文本格式格式1我们可以将 Lua 程序代码保存到一个以 lua 结尾的文件，并执行，该模式称为脚本式编程，如我们将如下代码存储在名为 hello.lua 的脚本文件中：print("Hello World！")print("www.runoob.com")#执行该文件并显示结果$ lua hello.luaHello World！www.runoob.com格式2我们也可以将代码修改为如下形式来执行脚本（在开头添加：#!/us.
2021-06-23 17:08:00
224
原创 Redis Cluster的问题
序言这里主要讨论解决Redis Cluster集群环境下的高并发问题.问题Redis的命令是串行执行的,但是在集群环境下命令的顺序是不能保证的,不同线程之间对同一个KEY的操作会有嵌套,造成数据不准确.如果是Redis服务器是不是集群,则可以使用Multi,Exec,Watch的命令组合来解决原子性问题.同时也可以根据业务情况独立一个Redis服务器,使用Multi,Exec,Watch来解决该问题(这也不失一种解决方案,毕竟分布式锁更消耗性能cuiyaonan2000@163.c.
2021-06-23 14:48:30
379
原创 漏桶算法与令牌桶算法
序言此两种算法是服务降级的一种实现.常用于限制我们的对外服务的QPS,即控制对外服务在单位时间内所能处理的请求数量.保护我们的服务不会被海量请求给崩盘cuiyaonan2000@163.com漏桶算法(有点像Kafka,大批量的数据吞吐)漏桶算法的主要思路为:在nginx层与controller层加一层(即漏桶层), 用于接收nginx收到的大批量的请求,接收的请求的速度是没有控制的,但是如果超过了漏桶层的最大容量则直接抛弃该请求. 漏桶层将大批量的请求以特定的速度转发给co..
2021-06-21 19:16:18
5440
3
原创 SparkSql On Hive
序言sql 在 hive的使用具体还分为了2种解决方案： spark sql：是hive上的sql语句，spark sql用的是spark 引擎。Spark SQL的前身是Shark，是给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，其对Hive有太多依赖。 hive on spark：是hive上的sql语句，hive on spark是hive借用spark的引擎。 Hive on Spark是由Cloudera发起，将Hive的查询作为Spark的任务提交到.
2021-05-08 11:47:59
933
原创 Spark环境搭建
序言搭建个spark on yarn的环境。官方网址：http://spark.apache.org/downloads.html下载Spark的版本的时，首先选择对应的Hadoop版本，然后注意需要的scala版本Scala环境搭建官方下载网址https://www.scala-lang.org/download/2.12.13.html确保你本地已经安装了 JDK 1.5 以上版本，并且设置了 JAVA_HOME 环境变量及 JDK 的 bin 目录。#下载spa.
2021-04-25 13:25:30
501
1
原创 spark简介
序言Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。Spark 是一种与 Hadoop 相
2021-04-23 14:23:05
13367
2
原创 Hive Description And Launch The Service
序言使用Hive主要是用于离线批量计算，或者称为数据仓储的工具。因为它最主要的特点是，能够将SQL自动转换成MapReduce任务。而MapReduce又是运行在HDFS上的，有YARN管理的多个MapReduce任务的集合。官方网址：https://cwiki.apache.org/confluence/display/Hive/Home概述Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转..
2021-04-22 11:29:25
1069
2
原创 Phoenix语法
序言Phoenix与HBase中的表是独立的，两者之间没有必然的关系。如果要通过Phoenix操作Hbase中的表，则需要在Phoenix的系统表中加入Hbase的相关信息。实际上Phoenix也是通过这种形式来查询Hbase中的表的，这样子看来Phoenix有点像数据表中的Hmaster，cuiyaonan2000@163.comPhoenix创建表时会自动调用HBase客户端创建相应的表（使用hbase client api），创建六张系统表（这些表也是创建在HBase中的表，只是所属对象是
2021-04-19 10:59:24
2397
1
原创 Hbase数据管理工具
序言主要目的就是使用一个可视化的数据管理工具来查看hbase上的表内容。目前绝大多数的工具都是私人制作的，所以直接在工具上进行增删改查可能有点欠缺。工具有很多，持续更新吧，直到遇见一个功能比较全的。HbaseXplorer官方网址：https://github.com/bit-ware/HBaseXplorer/downloads事实证明该工具在2012年就停止更新了，在启动的时候直接报错，就放弃了cuiyaonan2000@163.com~~~~下载版本..
2021-04-16 14:32:53
4408
1
原创 Phoenix简介
序言前文说到Hbase没有类似ORM这类的东西，操作查询全靠java逻辑，很不方便。所以横空出世了Phoenix。官网网址：http://phoenix.apache.org/ 阿里的官方网址：https://help.aliyun.com/document_detail/69105.html?spm=a2c4g.11186623.6.714.4ab149f3b09Zou简介Phoenix是一个开源的HBASE SQL层（即Phoenix是应用层和Hbase的中间件cuiyaon..
2021-04-16 13:54:16
1253
1
原创 Java整合Hbase
序言使用java 整合Hbasespring-boot-starter-hbase使用springboot的封装工具来使用Hbase。org.apache.hbase:hbase-client使用原生的客户端连接Hbase。HBaseConfiguration包名 ： org.apache.hadoop.hbase.HBaseConfiguration作用：对HBase进行配置。使用方法演示样例：HBaseConfiguration hconfig =...
2021-04-13 17:33:38
1898
3
原创 HDFS简介与部署
Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。
2021-04-09 11:41:22
4059
2
原创 Java 8 Stream
Stream这种风格将要处理的元素集合看作一种流， 流在管道中传输， 并且可以在管道的节点上进行处理， 比如筛选， 排序，聚合等。元素流在管道中经过中间操作（intermediate operation）的处理，最后由最终操作(terminal operation)得到前面处理的结果。Stream（流）是一个来自数据源的元素队列并支持聚合操作元素是特定类型的对象，形成一个队列。Java中的Stream并不会存储元素，而是按需计算。数据源流的来源。
2021-03-25 18:27:46
497
2
原创 Hbase&&Hive
序言 大数据绕不开这2个东西。Hbase是大数据技术的实时查询数据库（相对于传统数据库，速度和效率肯定要低，但是它是基于大数据的）。 Hive是数据仓库，查询效率更低，因为它的查询都是基于全表扫描（目前已知的是可以把表进行分区，这样不用进行全表扫描，以进行优化），同时造成Hive慢的原因是，它提供的类SQL类工具可以把，任务拆解成MapReduce任务，在不同的HDFS进行计算，然后收集（MapReduce是一种计算框架，目前Flink也宣称可以帮助Hive进行任务拆解和运算）...
2021-03-25 13:48:39
238
原创 Flink TableAPI Description
序言Flink的版本号为：1.12 根据最新的版本来研究下Flink的批流统一其实我最想解决的就是Flink能否像Hive 一样来处理大批量数据拆分计算，最后合并。虽然我知道Flink跟MapReduce都是运行于Yarn的，Hive是基于MapReduce来做大批量任务分布式计算的。参考网站：https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/table/概览Apache Flink 有两..
2021-03-17 16:57:35
1667
原创 Flink: Kafka source & sink
序言Kafka作为Flink的数据源来进行Demo的制作。参考：https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/connectors/kafka.htmlKafka连接器版本选择连接器JARFlink-kafka-connector用来做什么？Kafka中的partition机制和Flink的并行度机制结合，实现数据恢复Kafka可以作为Flink的source和sink任务失..
2021-03-09 14:06:30
1400
原创 Flink集群搭建
序言Flink 是一个分布式系统，需要有效分配和管理计算资源才能执行流应用程序。（这句话很重要，资源计算，资源的分配不是Flink当前强项cuiyaonan2000@163.com）它集成了所有常见的集群资源管理器，例如Hadoop YARN、Apache Mesos和Kubernetes，但也可以设置作为独立集群甚至库运行。-----------------------Flink推荐YARN，K8S，Mesos的资源管理器，同时自己也提供自己的资源管理器Flink的集群环境根据有三种形式：
2021-03-05 18:08:00
7323
原创 Flink 流数据处理
序言基于官网教程整理的一个教程。基于Flink1.12.0版本。参考资料：https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/try-flink/index.html ------官网安装教程流定义在自然环境中，数据的产生原本就是流式的。无论是来自 Web 服务器的事件数据，证券交易所的交易数据，还是来自工厂车间机器上的传感器数据，其数据都是流式的。但是...
2021-03-04 15:24:28
3721
1
原创 Flink简介
序言大数据运算主要有2个领域：1：流式计算 2：批量计算。在数据操作层面可以看做如下的两类有限数据集：数据大小有限（固定大小，比如固定的文件），用于批处理， 无限数据集：数据持续增长（属于无限大小，比如kafka中的日志数据，总是有新数据进入，并且不知道什么时候结束或者是永远不结束），用于流式处理。（Storm就是流式处理的解决方案）参考文章：https://flink.apache.org/zh/flink-architecture.html ...
2021-03-03 15:44:47
9344
4
原创 Java整合APNS
序言这里主要从代码层面展示下，如何整合APNS。并用该demo进行远程消息的发送参考资料：https://blog.csdn.net/m0_37954663/article/details/106797376 3 https://blog.csdn.net/qq_28483283/article/details/80514161 2 https://www.jianshu.com/p/d...
2021-03-02 15:09:35
3216
原创 JT32960与JT808区别
序言 JT32960是电动汽车远程服务的国家标准。 与808的共同点都是 车载终端（电动汽车中叫做：电动汽车远程服务模块）与管理系统如何进行连接，之间如何进行交互的一个规范。区别32960 比 808 多出了一个 客户端平台（该客户端平台即接收各个车载终端传递数据的系统，且不是硬件直接跟 远程管理系统相连接。而是由客户端平台与远程管理系统连接。----cuiyaonan2000@163.com）32960 相比808 协议更加简单，涉及到的指令更少（cuiyao...
2021-01-20 11:14:26
1855
原创 创建Docker基础镜像
创建基础镜其实也是需要把基础镜像拉下来（最最基本的镜像就是centos，rhel，Ubuntu等不同操作系统的各个版本cuiyaonan2000@163.com），然后创建一个实例，在实例里面做些设置修改，然后在打包成镜像供其它镜像使用，再打包封装成一个新镜像。...
2020-12-25 16:35:28
3915
原创 APP远程推送-------极光
序言因为整合各个厂商的消息服务，是个工作量巨大的工作，所以使用了极光推送。参考文档：http://docs.jiguang.cn/jpush/guideline/intro/极光产品简介消息形式-----这里的SDK只app上的软件包通知：即指在手机的通知栏（状态栏）上会显示的一条通知信息。 通知主要用来达到提示用户的目的，应用于新闻内容、促销活动、产品信息、版本更新提醒、订单状态提醒等多种场景 自定义消息：自定义消息不是通知，所以不会被 SDK 展示到通知栏上。其内容完全...
2020-12-08 14:37:31
602
原创 APP消息推送
序言用户通知分为两类：本地通知：本地通知是由 App 发送到当前设备上，不需要网络支持---------这里说的不需要网络支持指第三方网络。毕竟app收到服务器发送的消息再给ios系统是需要网络的 远程通知：远程通知是由 App 的服务器发送到苹果的 APNS服务器，并由 APNS服务器转发到相应设备(由 App 服务器指定接收通知的设备)。----------相当于不是app直接收到消息，而是IOS直接收到消息告诉APPIOS的推送服务只有一个，因为只有苹果一家公司用IOS系统。但是安卓.
2020-11-30 15:51:23
1175
原创 Mongodb的语法
序言 Mongodb的语法操作其实也没什么难度，但是第一次用还是需要花点时间。特此整理下操作的语法。且该语法针对原生的查询语法，不对应程序中的API。 从使用SQL的角度来学习如何对应到Mongodb上的语法上参考资料：https://www.runoob.com/mongodb/mongodb-insert.html基本语法大于，小于，大于等于，小于等于$gt 大于 > $lt 小于 < $gte 大于或等于 >...
2020-11-30 11:47:45
377
原创 EMQX环境搭建
序言说了懒得搭建EMQ集群环境，正好有点空隙时间，还是要弄一下。参考资料：https://docs.emqx.net/broker/v3/cn/install.html环境搭建单机环境搭建EMQ X消息服务器每个版本会发布 CentOS、Ubuntu、Debian、FreeBSD、macOS、Windows 、openSUSE 平台程序包与 Docker 镜像。----这里我们使用zip解压缩的方式安装EMQ X---cuiyaonan2000@163.com下载地址:h...
2020-11-09 17:06:09
2805
原创 Rancher2.X与K8S
序言搭建完了Rancher2.4.X,整理一下知识点,其中包括了K8S.方便后面我们玩.知识点当然是持续更新K8SK8S是容器编排调度引擎.提供了如下的内容:简化应用部署 提高硬件资源利用率 健康检查和自修复 自动扩容缩容 服务发现和负载均衡K8S内部的元素(从元素上看K8S是很复杂的)k8s集群由Master节点和Node（Worker）节点组成。Master节点Master节点指的是集群控制节点，管理和控制整个集群，基本上k8s的所有控制命令都发给它，它负.
2020-10-30 17:38:39
2956
原创 Rancher2 Guider
目前K8S是大趋所示，对容器的编排管理有一统江湖的意思。基础编排平台从Cattle变成了Kubernetes基于如上的种种原因我们直接从Rancher2.X开始学习，没有必要再去学习一定会被取代的东西和知识点了。-----------api说明----------------------rancher2.X版本总说明页面------------2.4.X版本的安装与2.5.X版本的安装不一样.
2020-10-30 14:55:10
2052
原创 Storm在Java中的应用
序言 Storm 说的是 语言无关性： Storm的topology和消息处理组件(Bolt)可以用任何语言来定义， 这一点使得任何人都可以使用storm.这里将说明下StormI在Java中的使用,java程序是基于Springboot.这最重要的是storm如何拆解任务.其它的都是流程化的东西.(cuiyaonan2000@163.com)参考资料:https://www.cnblogs.com/gouyg/p/storm-springboot.html https://ww...
2020-10-12 19:03:33
780
原创 部标JT808协议处理方案
序言 本来说弄个系列博客,但是在实施的过程中,发现没有想象的复杂.搞清楚下面的,后面的都是体力劳动 现在开始弄交通部808协议解析具体的实施,之前都是在研究框架.今天正式开始实施.本篇主要介绍一些基础知识.另没有源码,cuiyaonan2000@163.com 仅限问题讨论与实施方案的交流.本文使用的参考资料室JTT808-2013协议位运算(一定要搞明白...
2020-10-12 11:50:29
9264
原创 Storm工作原理&集群环境搭建
序言 Storm是Twitter开源的分布式实时大数据处理框架，最早开源于github，从0.9.1版本之后，归于Apache社区，被业界称为实时版Hadoop。 Apache Storm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。参考资料:https://www.cnblogs.com/xuwujing/p/8584684.html https://blog.csdn.net/u011082453/article/...
2020-09-30 15:41:52
1555
原创 XXL分布式任务调度平台
序言 其实用了很多年Spring quartz,突然发现XXL-JOB 这个东西.大概写下搭建的步骤和使用的步骤, 毕竟挨个通看一遍也要花不少时间,所以弄个使用的博客,后面针对性的去找吧. 官方的说明网址:https://www.xuxueli.com/xxl-job/#/ 搭建环境下载源代码 在https://github.com/xuxueli/xxl-job 下载的包结构如下其中的各个目录包的说明如下: xxl-job-ad...
2020-09-23 17:00:21
712
原创 Docker网络模式
序言 我们在创建了Docker镜像后,容器的启动需要设置--net 的值,默认是bridge(可设置成host,这种最省事). 其实这里面有坑,我遇到的问题就是,实例化容器在启动的时候要访问mysql,redis等其它镜像的时候,会显示连接不上的情况.那这种情况就需要了解下Docker的4中网络模式以及相应的系统对应调整.参考资料:https://www.cnblogs.com/zhuochong/p/10069293.html https://blog....
2020-09-16 17:06:45
415
原创 Mongodb理论点
序言 有些鸟,觉得理论没用.我觉得有用.通过理论会去发现它有哪些功能点,并且去搜索对应的问题点,可以事半功倍.在分析问题的时候也能很好的帮助你.参考地址:https://blog.csdn.net/justlpf/article/details/80338904 http://www.ywnds.com/?p=6386&viewuser=33 https://www.runoob.com/mongodb/mongodb-atomic-operations.html htt...
2020-09-14 11:37:25
336
原创 Protocol Buffer在Java中的使用方式
序言Protocol Buffer 和 XML、JSON一样都是结构数据序列化的工具，但它们的数据格式有比较大的区别：首先，Protocol Buffer 序列化之后得到的数据不是可读的字符串，而是二进制流 其次，XML 和 JSON 格式的数据信息都包含在了序列化之后的数据中，不需要任何其它信息就能还原序列化之后的数据；但使用 Protocol Buffer 需要事先定义数据的格式(.proto 协议文件)，还原一个序列化之后的数据需要使用到这个定义好的数据格式（网上很多java的使用方法介绍。
2020-09-09 12:18:46
1449
原创 创建Java工程镜像示例
将SpringBoot的jar包打成一个镜像,并推送到远程Harbor的镜像仓库中.这个示例是以java-jar启动的项目,也可以打包一个tomcat镜像(此镜像的webapp中放有需要war包)
2020-09-08 17:12:20
2049
原创 SpringBoot整合Mqtt
序言 Mqtt就是个Jms的服务协议（我的偏见）。订阅发布，服务器可以使用Emq，官方网址是https://www.emqx.io/ （实在不想在搭建Emq服务器了太求没意思了。故此通过springboot整合Mqtt来倒推Emq的功能cuiyaonan2000@163.com。）参考资料：https://blog.csdn.net/qq_23536449/article/details/89876008Emq的问题808协议是tcp场链接，车载终端根服务器实在一个tcp...
2020-08-27 17:49:34
15066
2
原创 车联网相关知识点整理
序言 在弄过车载终端项目后，涉及到了一个车联网的项目。通过别人的设计文档，整理下车联网相关的知识点。这个是笔记。车联网截图自百度百科车联网的组成主机： 主机主要用于车内的影音娱乐，以及车辆信息显示 汽车T-BOX：主要用于和后台系统/手机APP通信，实现手机APP的车辆信息显示与控制。 手机APP：当用户通过手机端APP发送控制命令后，TSP后台会发出监控请求指令到车载T-BOX，车辆在获取到控制命令后，通过CAN总线发送控制报文并实现对车辆的控制，最后反馈...
2020-08-27 11:20:35
9672
1078解析推流源代码(netty+javacv+spring+maven+rtp+rtmp)
2019-07-18
Apress - Pro JavaScript Techniques (2007).pdf
2010-04-06
jsf valueChangeListener 表间级联
2011-07-11
TA创建的收藏夹 TA关注的收藏夹
TA关注的人