- 博客(6)
- 收藏
- 关注
RSS订阅原创 新一代MQ：Apache pulsar
1、安装1.1 安装包下载官网下载地址：http://pulsar.apache.org/download/1.2 安装（standalone）上传安装包，解压即可tar xvfz apache-pulsar-2.7.1-bin.tar.gz1.3 启动/停止# 后台启动bin/pulsar-daemon start standalone# 停止bin/pulsar-daemon stop standalone1.4 客户端生产消费消息# 从 my-to
2021-04-27 18:01:40
520
1
原创 flink内存模型
1、详细内存模型Managed Memory：Streaming jobs can use it forRocksDB state backend. （流处理中的RocksDB状态后端） Batch jobscan use it for sorting, hash tables, caching of intermediate results.（批处理排序、分区、中间结果缓存） Both streaming and batch jobs can use it for executi...
2021-03-29 18:00:37
412
原创 spark 集成 kafka
1、spark消费kafka数据 spark从topic的指定偏移量开始消费数据，指定后会覆盖参数设置中的配置 "auto.offset.reset" -> "earliest"val kafkaParams = Map[String, Object]( "bootstrap.servers" -> "localhost:9092", "key.deserializer" -> classOf[StringDese...
2021-03-19 16:16:37
292
原创 动态规划
1.1 基本概念动态规划过程是：每次决策依赖于当前状态，又随即引起状态的转移。一个决策序列就是在变化的状态中产生出来的，所以，这种多阶段最优化决策解决问题的过程就称为动态规划。1.2、基本思想与策略基本思想与分治法类似，也是将待求解的问题分解为若干个子问题（阶段），按顺序求解子阶段，前一子问题的解，为后一子问题的求解提供了有用的信息。在求解任一子问题时，列出各种可能的局部解，通过决策保留那些有可能达到最优的局部解，丢弃其他局部解。依次解决各子问题，最后一个子问题就是初始问题的解。由于动态规划
2021-02-22 14:34:15
133
原创 元数据管理 Apache Atlas
1、Atlas是什么？Atlas是Hadoop的数据治理和元数据框架。Atlas是一组可扩展和可扩展的核心基础治理服务，使企业能够有效，高效地满足Hadoop中的合规性要求，并允许与整个企业数据生态系统集成。Apache Atlas为组织提供了开放的元数据管理和治理功能，以建立其数据资产的目录，对这些资产进行分类和治理，并为数据科学家，分析师和数据治理团队提供围绕这些数据资产的协作功能。2、主要特性支持各种Hadoop和非Hadoop元数据管理数据分类数据血缘可以支持字段级别
2020-12-17 10:02:38
441
1
原创 shell并发执行命令
shell并发执行：1、通过后台执行，无法控制并行度。forjin$cut_path/*;do{echo$jawk-F"|"'{printsubstr($1,1,3)"|"substr($2,1,15)'$j>$j".txt"}&donewait2、xargs 可以控制并行度foriin$week_path/'csv_'$day/*doecho$ip=`echo$i|awk...
2020-12-17 09:35:45
628
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人