帆了个帆的专栏

排序：
默认
按更新时间
按访问量
RSS订阅

原 presto sql优化

distinct 与approx_distinct distinct这种操作会把所有计算集中在一个节点上，速度慢可想而知；如果不是精准计算的话可以考虑使用approx_distinct(x)代替count(distinct x),速度大概能够提升3倍左右，但缺点是approx_distinct有2...

2019-08-14 16:33:22

阅读数 17

评论数 0

原 presto on yarn生产实践

presto on yarn方案缺点 hadoop集群的jdk版本过低无法满足prestoserver需求 配置文件不易维护，特别是如果涉及多个hadoop集群，这点在大公司很常见 hadoop集群单独团队维护，自己没有权限创建目录之类的，这个也很常见 指定coordinator节点需要使用ya...

2019-08-07 15:35:20

阅读数 23

评论数 0

原 ClickHouse高可用集群

和一些在使用clickhouse的同学聊了下，有不少中小型公司使用的还是单机版，这点还是出乎意料；可能真的是因为clickhouse秒天秒地的性能，加上数据量不大，数据恢复成本不高，才出此策略； 入正题：今天尝试搭建了一个2*2的clickhouse集群，两个分片，每个分片有两个副本，共四个节点，...

2019-07-29 17:22:14

阅读数 53

评论数 0

原 clickhouse可视化Tabix,添加用户密码

Tabix安装 官方提供了五种安装方式，这里我们介绍下Embedded和Local这两种方式 Embedded 这种方式使用的clickhouse内置的服务，直接打开config.xml中http_server_default_response标签的注释就行 <http_server...

2019-07-26 14:55:02

阅读数 25

评论数 0

原 clickhouse install on centos

下载clickhouse repo curl -s https://packagecloud.io/install/repositories/altinity/clickhouse/script.rpm.sh | sudo bash 查看clickhouse rpm包 [root@ipa cli...

2019-07-16 10:59:44

阅读数 44

评论数 0

原 kudu异常：Server connection negotiation failed: server connection

异常信息：W0708 10:36:45.122157 16043 negotiation.cc:320] Unauthorized connection attempt: Server connection negotiation failed: server connection from x....

2019-07-15 10:17:44

阅读数 24

评论数 0

原 实时数仓设计之mysql binlog

maxwell启动的时候指定需要同步的表，因为并不是所有的表都需要同步到实时数仓，指定表可以大大的减少发送到kafka的数据量，启动命令例子： ./bin/maxwell --user=root --password=123456 --host=127.0.0.1 --producer=stdou...

2019-06-13 14:14:40

阅读数 123

评论数 0

原 hadoop集成kerberos后，报org.apache.hadoop.security.AccessControlException

报错信息： [root@hadoop001 qun]# hdfs dfs -ls / 19/05/29 18:06:15 WARN ipc.Client: Exception encountered while connecting to the server : org.apache.hadoo...

2019-05-29 18:14:23

阅读数 100

评论数 0

原 kerberos集成ldap

注意：在安装过程中一定要注意目录/var/lib/ldap和/etc/openldap/slapd.d这两个目录权限，集成过程中很多问题都是因为这两个目录权限设置错误引起的；因为安装的时候需要使用root账户，生成的配置文件不经意间就被改成了root；所以出现问题第一步就检查这两个目录权限 cho...

2019-05-29 13:12:00

阅读数 126

评论数 0

原 Zeppelin集成Ldap(FreeIPA)

软件版本： zeppelin：zeppelin-0.8.1-bin-all FreeIPA：4.6.4，安装请参照：https://blog.csdn.net/woloqun/article/details/89980646 Zeppelin配置 mv zeppelin-site.xml.temp...

2019-05-20 11:21:53

阅读数 102

评论数 0

原 presto-0.219集成LDAP

presto 对jdk的版本比较高这里我使用的是1.8.0_181，LDAP服务我这里使用的是ApacheDS，ApacheDS的安装参照：ApacheDS 安装以及LDAPS配置（图文）；需要注意的是presto集成Ldap只需要配置coordinator节点，worker节点和coordina...

2019-05-15 18:06:34

阅读数 114

评论数 0

原 java 连接ldaps

证书怎么生成的可以参考文章：https://blog.csdn.net/woloqun/article/details/90212376 将ldaps服务器的证书复制到client端，并将证书导入到本地环境 keytool -import -file apacheds.cer -alias ...

2019-05-14 18:51:30

阅读数 123

评论数 0

原 ApacheDS 安装以及LDAPS配置（图文）

服务器：阿里云 centos 7.6 64位 hostname hhz.apacheds ip 39.106.164.213 环境：jdk-1.6及以上 vi /etc/profile export J...

2019-05-14 18:23:06

阅读数 569

评论数 4

原 阿里云上安装FreeIPA（ipa-server && ipa-client）

执行 ipa-server-install ipapython.admintool: ERROR IPv6 stack is enabled in the kernel but there is no interface that has ::1 address assigned. Add...

2019-05-08 23:17:20

阅读数 145

评论数 0

原 配置kudu-1.9.0软件源

安装httpd，createrepo yum -y install httpd createrepo 启动httpd systemctl start httpd.service 创建kudu软件源存放目录 mkdir -p /var/www/html/kudu 下载kudu rpm包，地址：...

2019-05-05 15:53:24

阅读数 85

评论数 0

原 数据质量监控实现

在数据生成过程中，我们通常会以脚本执行成功与否来判断数据是否生成；但是这种判断逻辑会有一个问题：只能判断是否有数据，而不能对数据质量进行监控。举个简单例子：我们有一个脚本生成每日流量数据，20190410这一天生成了100w数据，20190411这一天只有50w数据，这明显不正常，出现这种情况必须...

2019-04-19 13:36:54

阅读数 103

评论数 0

原 Centos7.6搭建openldap+phpldapadmin

关闭selinux和防火墙【很重要】 sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config && setenforce 0&& systemctl disable fi...

2019-04-11 17:33:09

阅读数 408

评论数 0

原 kerberos主从同步

host ip kdcmaster 172.16.242.108 kdcslave 172.16.16.82 在kdcmaster上快速安装kerberos，可参考https://blog.csdn.net/woloqun/article/details/76560173 yum ...

2019-04-08 17:04:52

阅读数 111

评论数 0

原 presto-jdbc二次开发基础环境配置

背景：为了集成权限系统以便对请求用户进行鉴权以及对请求进行加密解密，所以对presto-jdbc客户端进行改造 git：https://github.com/prestodb/presto.git 下载presto源码 git clone https://github.com/prestodb/p...

2019-03-27 15:10:13

阅读数 159

评论数 0

原 docker 快速安装Maven仓库

搜索镜像 [root@x-test1 nexus-data]# docker search nexus NAME DESCRIPTION ST...

2019-03-26 17:53:08

阅读数 153

评论数 0

提示
确定要删除当前文章？
取消 删除