数据仓库
文章平均质量分 81
边城cn
专注于分布式数据库架构部署、管理、开发、运维。
数据库:MYSQL,MONGODB,ORACLE.
语言:PYTHON,shell
展开
-
MYSQL 多实例数据同步到ES
mysql 多实例数据同步到ES原创 2023-07-31 14:36:42 · 328 阅读 · 0 评论 -
MySQL -> ES 数据同步 配置步骤
部署 MySQL -> ES 数据同步 (mysql 同步到 ES 是支持 多表查询 后把结果同步到ES 中的同一个索引中的) 1.服务器: 内网ip:192.168.0.60 登录name+key 实现功能: canal、kafka、es7;canal同步预生产polardb数据到es7 2.ES7 kafka服务 es web 管理url: http://[internet ip]:9800 es: 公网: [internet ip] 9201 内网: 192.168.0.60 9201 kaf原创 2021-09-27 09:21:08 · 797 阅读 · 0 评论 -
几篇关于Hadoop+Hive数据仓库的入门文章
Hadoop计算平台和Hadoop数据仓库的区别 http://datasearch.ruc.edu.cn/~boliangfeng/blog/?tag=%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93 Hive 随谈(三)– Hive 和数据库的异同 http://www.tbdata.org/archives/551 Hadoop Ecosystem解决转载 2012-11-12 09:38:45 · 792 阅读 · 0 评论 -
KUDU--秒级查询的数据仓库
Kudu 是什么 Kudu是Todd Lipcon@Cloudera带头开发的存储系统,其整体应用模式和HBase比较接近,即支持行级别的随机读写,并支持批量顺序检索功能。 那既然有了HBase,为什么还需要Kudu呢,简单的说,就是嫌弃HBase在OLAP场合,SQL/MR类的批量检索场景中,性能不够好。通常这种海量数据OLAP场景,要不走预处理的路,比如像EBA...转载 2017-06-28 14:16:10 · 37277 阅读 · 5 评论 -
【用户行为即时分析查询】 数据仓库实现 案例分享
在使用HIVE 数据仓库中的大数据查询时,有一个通病,就是查询慢,无法给于用户快速的进行数据分析查询。 对于决策层,怎样能秒级获取用户行为分析的数据,是一个课题, 之前的做法是,把数据导入到HIVE,进行分析统计后,再回到其它数据库(比如MongoDB), 用户可以在此数据库的基础上进行一个数据查询。 但这样已经过了一个数据处理的时间,(ETL 数据处理过程)我们的做法是每天晚原创 2017-06-28 10:38:48 · 3356 阅读 · 0 评论