xiaoxin1024的博客

titlecategoriestagsdateCentos6.7安装ES6.1.3fortest数据开发2019/08/18 19:21:21the life i want，there is not shortcut.0x00前知1，该ES6.1.3需要适配的JDK版本为1.8+2，本文安装前JDK环境已配置好，如无配置，请自行谷歌并配置好JDK环境...

参考--HBase在滴滴的应用场景和最佳实践一是说新增的RS节点的配置最好要和前面的一致在此以后，进行Region的迁移，HBase与Balance的命令，在这里不建议使用自动的balance，因为balance主要的问题是不会根据表来进行balance，HBase的balance只会根据RS的上的region数量来进行balance，所以相同table的数据回集中到一起。--我们使用...

目录HashMapConCurrentHashMap面试中经常会被问道：面试官：有了解HashMap吗，讲一下HashMap吧~我：呃呃呃~是这样的，balabalbala~搜集了网上的一些资料，估计也不全，大致也能说明白这个道理，(仅作为面试参考)：这个事情要从JDK的版本更新说起，话说现在，风云跌宕，大家都讲：我们支持的JDK版本最低为1.8~好，这就是...

目录简介:架构：一、Messaging Concepts(消息概念)Producer模式：压缩：BatchingConsumer模式：client：ack死信主题：topics：namespace订阅模式：独占：故障转移：共享：Key_shared多topic订阅分区主题：路由模式：订购保证：mes...

目录逻辑回归：二项逻辑回归：多项逻辑回归：原文参考Apache Spark官方网站http://spark.apache.org/docs/2.2.0/ml-classification-regression.html#logistic-regression逻辑回归：逻辑回归是预测分类相应的常用方法。广义线性回归的一个特例是预测结果的概率。在spark.ml逻辑回归中，...

目录什么是ClickHouse：OLAP场景得关键属性：ClickHouse的独特功能：1.真正面向列的DBMS，2.数据压缩3，数据磁盘存储4，多个核心的并行处理5，多个服务器上多的分布式处理6，SQL支持7，矢量引擎8，实时数据更新9，索引10，适合在线查询11，支持近似计算12，数据复制和数据完整性支持ClickHouse的...

目录什么是Impala：Impala的优点：Impala的功能：参考Impala-中文文档-http://www.dba.cn/book/impala/IMPALAJiaoCheng/IMPALAGaiShu.html什么是Impala：Impala 是用于存储在Hadoop集群中的大量数据的MPP（大规模并行处理）sql查询引擎。换句话说，Impala是性能最...

目录介绍：基础架构：关于Tablet：Kudu与Impala集成安装Kudu配置Impala支持Kudu：使用案例：创建表：查询Impala中现有的Kudu表使用CREATE TABLE AS SELECT语句查询Impala中的任何其他表或来创建表：不支持Kudu表的Impala关键字：将数据插入Kudu表：参考—Apache-kudu官网-h...

目录概述：Druid有什么作用：Druid如何工作：Druid常见应用领域：什么时候我该使用Druid：构建：Druid的进程和服务器使用:加载数据：使用数据加载器加载数据使用规范加载数据（通过控制台）使用规范加载数据（命令行）不使用脚本加载数据清理：参考：Hortonworks官方文档-https://hortonworks.com/...

目录聚类：K-Means：依赖分析补充知识：关于本地向量(Local Vector)高斯混合-Gaussian mixture聚类：聚类是一种无监督的学习。聚类常用于探索性分析或作为分层监督学习管道的组成部分。我们在画像系统中对用户分群用到了KMeans。K-Means：K-means是最常见的聚类算法之一，它将数据点聚类为预定义数量的聚类。该spar...

目录关系型数据库拉取到Hive：mongo到hiveSqoop存在局限性，只能在关系型数据库到hadoop(Hive)之间导数据，如果有noSql的场景怎么解决？我们用阿里开源的产品DataX来解决。目前开源版本为dataX3。进入阿里github仓库拉取源码进行编译：注意匹配java和python版本问题。我这里快速入门以官方给好的tar为例进行阐述。-->前面的页...

目录状态运行：被Keys化状态和算子状态：算子状态;原始和托管状态：Keys化使用托管状态：状态运行：本文档介绍了在开发应用程序时如何使用Flink的状态抽象。被Keys化状态和算子状态：Flink有两种基本的状态：Keyed State和Operator State。被Keys化状态：被Keys化状态始终与键相关，只能在a上的函数和算子中使用Ke...

目录检查点：启用和配置检查点：相关的配置选项：选择状态后台：迭代作业中的状态检查点：重启策略：检查点：检查点通过允许恢复状态和相应的流位置使Flink中的状态容错，从而为引用程序提供无故障执行相同的语义。--Flink中每个函数和运算符都是有状态的(有关详细信息，请参阅state)。有状态函数在各个元素/事件处理中存储数据，使状态成为任何类型的复杂操作的关...

目录数据存储/接收器迭代：执行参数：容错：控制延迟：数据存储/接收器数据接收器使用DataStream将他们转发到文件，socket，外部系统或者打印他们。Flink带有各种被指的输出格式，这些格式封装再DataStream上的算子操作后面：writeAsText() / TextOutputFormat -按字符串顺序写入数据元。通过调用每个数据元的toStr...

简单的wordCount就不再演示了，可以移步官网-https://ci.apache.org/projects/flink/flink-docs-release-1.8/tutorials/local_setup.htmlFlink的程序每个程序包含相同的基本部分如下：1.获得一个execution environment2.加载/创建初始数据，3.执行此数据的转换，4.指定...

Flink1.7官网文档翻译 -原创-flink.sojb.cn目录任务和算子链TaskManager，JobManager，客户端任务槽和资源状态后台SavePoint任务和算子链对于分布式执行，Flink链算子任务一起放入任务。每个任务由一个线程执行。将算子链接到任务中是一项有用的优化：它可以Reduce线程到线程切换和缓冲多的开销，并在降低延迟的...

一、Flink简介Apache Flink®- Stateful Computations over Data Streams上面是官网的介绍，翻译过来是流数据上的有状态的计算。-Flink执行模型：1.流计算：数据不断产生，一致处于计算状态2.批处理：完成一定时间段的计算任务官网给的有中文网站链接，github上面也有很多开源的翻译~https://flink.apac...

首先，是要安装git的已安装直接掉过本节：1、下载git源码包wget https://github.com/git/git/archive/v2.3.0.zip之后，解压，进入解压目录。在进行下一步操作之前，要思考一个问题，系统安装过git没有，话说yum里面带的是1.7.0的，版本不太符合。首先git --version有1.7则remove 没有接着操作。开始编译–安装在...

网络搜集整理，有些匆忙，未整理出处，请见谅。因作者水平有限，文中不当之处，烦请批评指证~redis宕机如何解决？如果是项目上线的宕机呢？宕机：服务器停止服务如果只有一台redis，肯定会造成数据丢失，无法挽救多台redis或者是redis集群 ，宕机则需要分为在主从模式下区分来看：slave从redis宕机配置主从复制的时候才配置从的redis，从的会从主的redis中读取主的redi...