- 博客(7)
- 收藏
- 关注
RSS订阅原创 No package telnet available. Error: Nothing to do
百度了半天也没解决，找了一个运维老哥马上解决了wget http://mirrors.aliyun.com/repo/Centos-7.repo -O /etc/yum.repos.d/Centos7.repoyum clean allyum install telnet
2021-06-27 23:35:46
1960
1
翻译 PDDL
从 Pddl 开始#f03c15 注意：这项工作正在进行中，每周更新一次。欢迎来到学习PDDL，一个简短的指南，开始使用PDDL。本指南专为首次阅读的读者、需要复习的人以及像我这样的有时需要一些语法理智检查的其他人而设计。如果你在这里读到任何你认为需要改进的东西，请在GitHub上为它做贡献。介绍PDDL 是少数为创建人工智能 （AI） 规划标准而设计的语言之一。它于1998年开发，并在ICAPS推出，经过多年的改进和扩展[1]。目前最流行的PDDL是PDDL2.1，它是PDDL的扩展，用于表
2021-03-23 04:39:55
975
2
原创 HIVE常用日期函数
常用日期函数unix_timestamp:返回当前或指定时间的时间戳 select unix_timestamp();select unix_timestamp(“2020-10-28”,‘yyyy-MM-dd’);from_unixtime：将时间戳转为日期格式select from_unixtime(1603843200);current_date：当前日期select current_date;current_timestamp：当前的日期加时间select current_time
2021-03-19 06:19:35
548
原创 常见的ETL工具
如下结构化数据ETL工具SqoopKettleDatastageInformaticaKafka非|半结构化数据ETL工具FlumeLogstash
2021-03-18 05:52:21
291
原创 ETL流程
ETL流程数据抽取（Extraction）1.抽取的数据源类型可以分为结构化数据、非结构化数据、半结构化数据2.数据源可以来自爬虫数据、日志数据、第三方数据、HBASE、关系型数据库3.结构化数据一般采用JDBC、数据库日志方式（例如WAL），非|半结构化数据监听文件变动Tips：1.一般结构化的数据采用JDBC对数据库直连，消耗数据库的IO，增加数据库的负载，影响正常业务的运行，所以时间段一般在凌晨，业务量较少的一个时间段。此外，对于金融行业，一般不建议对数据库对库抽取，先是出于安全考虑，防止
2021-03-18 05:46:48
516
原创 MPP架构 && 分布式架构
MPP架构 && 分布式架构MPP1.传统数仓中常见的技术架构，将单机数据库组成集群，提高整体性能2.节点间为非共享架构（Sharing Nothing），每个节点都有独立的磁盘存储系统和内存系统（独立存储+独立计算），独立运行时不需要关心其他节点的情况和数据，如果需要用到其他节点的数据，各个节点之间通过专用网络或者商用网络，进行点对点交换，完成协同运算的过程3.设计上先考虑C(一致性)，其次考虑A（可用性），尽量做好p（分区容错性）架构优点1.运算方式精细，延迟低，吞吐量低2
2021-03-17 05:26:44
1429
原创 数据仓库入门
1.数据仓库诞生原因历史数据积存：历史数据使用频率低（冷数据），堆积在业务库中，导致性能下降，因此需要讲这些冷数据转移到数据仓库中，如果需要历史数据做一些分析的话再从数据仓库中获取，从而做到热数据就近计算，冷数据集中储存热数据：需要被计算节点频繁访问的在线类数据e.g 当前地点，限时秒杀，商品库存信息，账户密码温数据：具有一定时效性的行为数据e.g 近期活跃应用、近期去过的地方等冷数据：是对于离线类不经常访问的数据，比如企业备份数据、业务与操作日志数据、话单与统计数据e.g 性别、兴趣、常住地
2021-03-16 03:29:52
425
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人