impala
文章平均质量分 92
我要去学习了
搞过java、弄过数仓、写过实时。还需快速成长
展开
-
impala三大组件
impala启动的时候就会吧hive的源数据信息抽取到catalog中,中间hive如果有跟新源数据,这时候impala是没有去获取的所以是无感知的。然后impala跟新源数据信息后会广播到其他impala中,所以其他impala知道,并且还会跟新到hive的源数据信息,所以hive也知道...原创 2020-09-21 15:33:23 · 705 阅读 · 0 评论 -
Impala配置负载均衡后启动出现cannot bind socket [0.0.0.0:25003]
1.HAProxy⽅案安装haproxyyum install haproxy -y配置⽂件vim /etc/haproxy/haproxy.cfg具体配置内容listen impalashellbind 0.0.0.0:25003#ha作为proxy所绑定的IP和端⼝mode tcp#以4层⽅式代理,重要option tcplogbalance roundrobin#调度算法 ‘leastconn’ 最少连接数分配,或者 ‘roundrobin’,轮询分server impalash原创 2020-09-21 15:29:59 · 1163 阅读 · 1 评论 -
现有收集到用户的页面点击行为日志数据 对用户的日志数据打上会话内序号
业务背景现有收集到用户的页面点击行为日志数据,数据格式如下:user_id click_timeA,2020-05-15 01:30:00A,2020-05-15 01:35:00A,2020-05-15 02:00:00A,2020-05-15 03:00:10A,2020-05-15 03:05:00B,2020-05-15 02:03:00B,2020-05-15 02:29:40B,2020-05-15 04:00:00会话概念:用户的一次会话含义是指用户进入系统开始到用户离原创 2020-09-13 18:45:24 · 156 阅读 · 0 评论 -
hadoop启动后没有DataNode节点启动
在学习impala时候配置了HDFS集群的短路读取后重启hdfs发现DataNode未启动,一直处于安全模式中查看DataNode日志java.io.IOException: The path component: '/var/lib/hadoop-hdfs' in '/var/lib/hadoop-hdfs/dn_socket' has permissions 0755 uid 993 and gid 991. It is not protected because it is owned by a原创 2020-09-07 23:10:01 · 981 阅读 · 0 评论