- 博客(10)
- 资源 (8)
- 收藏
- 关注
RSS订阅转载 HBase原理|HBase内存管理之MemStore进化论
Java工程中内存管理总是一个绕不过去的知识模块，无论HBase、Flink还是Spark等，如果使用的JVM堆比较大同时对读写延迟等性能有较高要求，一般都会选择自己管理内存，而且一般都会选择使用部分堆外内存。HBase系统中有两块大的内存管理模块，一块是MemStore ，一块是BlockCache，这两块内存的管理在HBase的版本迭代过程中不断进行过各种优化，接下来笔者结合自己...
2019-10-23 14:47:04
834
转载 如何在 1 秒内做到大数据精准去重？
去重计数在企业日常分析中应用广泛，如用户留存、销售统计、广告营销等。海量数据下的去重计数十分消耗资源，动辄几分钟，甚至几小时，Apache Kylin 如何做到秒级的低延迟精确去重呢？
2019-10-18 11:47:36
807
转载 Kylin 精确去重在用户行为分析中的妙用
示例 先从一个简单的例子说起吧。现在有一个 app 的用户访问记录表 access_log，它包含三个字段：DT (访问日期），User ID（用户标示）和 Page（访问页）： DT User ID Page 20190101 100 index.html ...
2019-10-18 11:44:56
854
原创 基于HDFS搭建单机Alluxio
一、下载wget https://downloads.alluxio.io/downloads/files/2.0.1/alluxio-2.0.1-bin.tar.gz二、配置1）对本机用户免密码登录2）修改alluxio-site.prepertiesalluxio.master.hostname=localhostalluxio.master.mount.tab...
2019-10-17 14:51:50
276
原创 Keepalived + Mysql双主模式 搭建高可用集群
一、mysql安装 https://blog.csdn.net/qq_23160237/article/details/102467487二、mysql配置双主模式1）修改/etc/my.cnf# 增加以下参数# server-id 主备机子不能相同# auto-increment-offset 自增长主键起始点不能相同，防止主键冲突# 主serve...
2019-10-17 11:55:50
350
原创 KYLIN使用spark构建引擎（HDP2.6.5.0环境）
一、搭建环境kylin版本: 2.6.4 hdp版本：2.6.5.0 spark版本：2.3.2二、配置1）配置HADOOP_CONF_DIRexport HADOOP_CONF_DIR=/usr/hdp/2.6.5.0-292/hadoop/conf2）配置SPARK_HOME# sparkexport SPARK_HOME=/usr/hdp/2.6.5.0...
2019-10-14 17:47:28
1082
原创 mysql8.X安装
一、官网 https://dev.mysql.com/downloads/mysql/8.0.html#downloads二、安装下载wget https://dev.mysql.com/get/Downloads/MySQL-8.0/mysql-8.0.17-1.el7.x86_64.rpm-bundle.tar解压并安装# 解...
2019-10-10 14:03:21
152
原创 mysql5.7安装
一、官网 https://dev.mysql.com/downloads/mysql/5.7.html#downloads二、安装下载wgethttps://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar解压并安装tar...
2019-10-09 18:55:57
359
原创 KYLIN元数据迁移（测试环境配置迁移至生产环境）
一般项目开发都会有测试环境和生产环境，在上线之际，如果要将测试环境的cube信息导入生产环境，该怎么办呢？通过curl请求？太low了吧，其实，官网提供了元数据迁移方案，让我们一起看看吧！
2019-10-09 11:54:52
751
原创 如何正确访问 redis 中的海量数据？避免事故产生（keys * VS scan）
事故产生 因为我们的用户token缓存是采用了【user_token:userid】格式的key，保存用户的token的值。我们运维为了帮助开发小伙伴们查一下线上现在有多少登录用户。 直接用了keys user_token*方式进行查询，事故就此发生了。导致redis不可用，假死。分析原因 我们线上的登录用户有几百万，数据量比较多；keys算...
2019-10-07 17:21:02
387
推荐系统算法工程师——从入门到就业.txt
2019-11-26
flink on yarn 缺少依赖NoClassDefFoundError: com/sun/jersey
2019-06-06
apache-kylin-2.6.2-bin-hadoop3.tar.gz
2019-05-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人