大数据
wangzhpwang
<--Wechat
展开
-
maxwell sparkstream to hbase cdc
maxwell 读取binlog发送消息到kafka源表要求有id主键sqoop导入后,启动stream对update delete insert进行cdc到hbasesqoop import -D sqoop.hbase.add.row.key=true --connect "jdbc:sqlserver://192.168.10.1xx:1433;database=tupdw" --username usertest--password **** --table t_mkt_item...原创 2020-06-02 10:58:35 · 311 阅读 · 0 评论 -
sqoop 1.4.7 导入hive
sqoop import --driver com.microsoft.sqlserver.jdbc.SQLServerDriver --connect "jdbc:sqlserver://192.168.10.128:1433;database=kylin" \ --username user01 --password #### --table=sqoop_test ...原创 2018-09-05 11:14:44 · 595 阅读 · 0 评论 -
superset连接kylin2.4 坑!pykylin与kylinpy
解决办法只安装官方介绍的kylinpy不要自行安装pykylinsuperset连接kylin2.4 uri成功:kylin://ADMIN:XXXXXXXXXX@192.168.10.200:7070/learn_kylin?prefix=/kylin/api&version=v1失败kylin://ADMIN:XXXXXXXXXX@192.168.10.20...原创 2018-09-06 11:53:51 · 2015 阅读 · 1 评论 -
大数据笔记-01、hdp2.6整合kylin2.4.1注意
在hdp hive的config中添加下列项,否则kylin无法启动hive.security.authorization.sqlstd.confwhitelist.append=dfs.replication|hive.input.format..*|tez.queue.name| mapreduce..*|mapreduce.job.split.metainfo.maxsize|hive...原创 2018-09-18 09:20:54 · 1094 阅读 · 1 评论 -
k8s centos7新增节点
swapoff -a sed -i 's/.*swap.*/#&/' /etc/fstabcat <<EOF > /etc/sysctl.d/k8s.confnet.bridge.bridge-nf-call-ip6tables = 1net.bridge.bridge-nf-call-iptables = 1EOFsysctl --systemyum ...原创 2018-09-19 10:12:02 · 726 阅读 · 0 评论 -
HDP 2.6.4 kettle 7.1 spark-submit配置
Kettle 提交spark sql 作业到 spark2!Kettle 7.1 HDP 2.6.4kettle 7.1自带hdp2.5插件,测试spark-submit到hdp2.6.4正常运行参考官方资料https://help.pentaho.com/Documentation/8.0/Products/Data_Integration/Job_Entry_Referen...原创 2019-04-22 16:08:26 · 1458 阅读 · 0 评论