condoleeA的专栏

https://downloads.es.net/pub/iperf/

大数据测试关于的数据的稳定性传输是至关重要的，在保证基本的功能可能之后，良好的稳定性是大数据产品质量的保证之一。我在测试数据采集过程中，其中一种采集方式是http采集方式，这种方式具体是怎么采集的，简单描述一下http数据采集的过程：RD提供了模拟第三方往kafka打数据的jar包，这个jar加6个参数执行后(jar命令具体不列这里了)，数据即可落到kafka。但是，测试过程中，遇到一种情况，就是http采集的服务挂掉了，这样的话，第三方往kafka打的数据全部丢失，总结就是http采集服务

Part V. Streaming版本以2.2的Structured Streaming为主，部分也有后续新版本的说明。Stream Processing Fundamentals1.概念流处理就是不断地整合新数据计算新结果。批量处理是固定输入量计算一次。Structured Stream集合这两个功能并加上交互式查询。实时计算通常用于notifications/alerti...

无论在 OLAP 还是 OLTP 领域，Join 都是业务常会涉及到且优化规则比较复杂的 SQL 语句。对于离线计算而言，经过数据库领域多年的积累，Join 语义以及实现已经十分成熟，然而对于近年来刚兴起的 Streaming SQL 来说 Join 却处于刚起步的状态。其中最为关键的问题在于 Join 的实现依赖于缓存整个数据集，而 Streaming SQL Join 的对象却是无限的数...

一、DML与DDL的含义：1、DML（Data Manipulation Language）数据操作语言-数据库的基本操作，SQL中处理数据等操作统称为数据操纵语言,简而言之就是实现了基本的“增删改查”操作。包括的关键字有：select、update、delete、insert、merge2、DDL（Data Definition Language）数据定义语言-用于定义和管理 SQL ...

application.yml文件配置有问题，仔细检查。

sqoop的产生：关系型数据库的数据与非关系型数据库中(Hadoop的hdfs)大量数据的迁移，sqoop是连接关系型数据库和hadoop的桥梁sqoop原理：sqoop的底层实现是mapreduce，所以sqoop依赖于hadoop，sqoop将导入或导出命令翻译成MapReduce程序来实现，在翻译出的MapReduce 中主要是对InputForma...

canal的工作原理类似mysql主从同步原理先看下mysql主从同步的原理：分成三步：1、master将变更同步到二进制日志(binary log)文件中（这些记录叫做二进制日志事件，binary log events，可以通过show binlog events进行查看）；2、slave将master的binary log events拷贝到它的中继日志(rela...

问题如上图展示，然后发现这里写错了，见下图：将config改成了mapper：引用成功。

401未授权有一个问题，HTTP状态码验证错误。就是这样:它用于身份验证，而不是授权。收到401响应时，服务器会告诉您，“您没有经过身份验证——要么根本没有经过身份验证，要么验证不正确——但是请重新验证并重试。”为了帮助您，它将始终包含一个描述如何进行身份验证的WWW-Authenticate头。这通常是由web服务器而不是web应用程序返回的响应。这也是暂时的;服务器要求您再试一次。...

花了一下午折腾了环境问题，填坑…第一次创建springboot项目，然后搭建好了环境，pom.xml文件就报这个问题：version报红百度了很多方法，根据其中一个解决办法：勾选上图所示，仍然报错：没有找到setting.xml文件，我就创建了setting.xml文件，给了777的权限还是报错，如下：Error:(3) java: 程序包spring...

https://www.cnblogs.com/knowledgesea/p/11208000.html

关于API网关，介绍的很详细：https://cloud.tencent.com/developer/article/1149103

新建离线任务后需要消耗资源，此时分配yarn资源队列，怎么知道该任务使用的是哪个资源队列，下面命令行：yarn application -status application_XXXapplication_XXX 是资源的application_idQueue的值就是正在使用的yarn资源队列...

testNG-xml文件参数化1、首先创建一个类ParameterTest ，方法ParamTest，然后通过注解@Parameters将形参传递到方法里，但是，真正的参数需要从xml文件里传递。2、新建一个xml文件右键运行xml文件就可以运行com.course.testng.parameter.PatameterTest这个类可以看到，参数传递过...

自动化框架设计的分层(类似于开发框架mvc的设计)：显示层(testNG+report)：测试报告，测试中间过程的结果呈现。哪些case执行成功，哪些case执行失败，报错等，测试报告都会体现。控制层(httpclient)：逻辑验证，有哪些请求，请求需要哪些参数，发送请求后，返回应是什么数据，验证预期结果与实际结果是否一致。case有很多情况，根据自己的需求设计不同的cas...

这个问题可能太简单了，但是还是总结一下。质数即素数，即大于1的自然数中，除了1和它本身以外不再有其他因数的自然数，也就是说只有两个因子，1和这个数本身。正常的思路是将这个数模2取余，若为0，则定不是素数还有特殊情况就是，这个数需要大于1实现如下：public static boolean isSuShu(int x){ if (x<0){ ...

单链表反转单链表定义：链式存取的数据结构，用一组地址任意的存储单元存放线性表中的数据，数据以节点来表示，节点由数据和指针(指示后继元素存储位置)组成。如下图。现在要反转这个链表。输入: 1->2->3->4->5->NULL输出: 5->4->3->2->1->NULL具体执行过程见下图：(图引用自htt...

二分查找过程：通过将有序的数组(注意是有序)折半，首先将目标元素与数组中间的数字做比较，如果目标元素值小于中间元素,则将数组前半部分进行折半查找，将前半部分的mid元素与目标元素做比较，如果目标元素小于mid元素，同理将数组再折半在前半部分(此时是数组的1/4部分)二分查找，以此类推；反之，若目标元素值大于数组中间元素，则向后半部分查找。（见下面动图1）线性查找（见动图2）二分查找(折半...

Kafka高吞吐量的分布式消息队列，有生产者消费者功能，可处理动作流数据，收集业务日志(打点或者error日志)官网：http://kafka.apache.org/Logstash数据收集并根据需求过滤特定数据，发送到对应的存储库官网：https://www.elastic.co/cn/products/logstashElasticSearch 分布式的搜索和数据分析引擎，可进...