kafka集群开启SASL/Kerberos安全认证 Kafka使用JAAS(Java认证和授权服务)进行SASL(基于网络连接的安全认证机制)配置。通过三个步骤即可实现JAAS安全认证:(1) 配置jaas相关信息(2) 开启SASL/Kerberos认证(3) 通过脚本将配置信息传递给java虚拟机,这样java的JAAS服务才能根据配置进行认证和授权服务。不论是zookeeper集群还是kafka集群都是如此。.........
使用relocation解决包冲突导致的java.lang.LinkageError: loader constraint violation 自行编码jar后报错,看网上类似问题都是jar冲突,解决一般就是删除冲突的jar包对比正常版本和这次编译的版本发现pom.xml缺少了relocations相关内容。relocations是将制定目录的class移动到一个新的目录下面,从而避免冲突。 原来的包名 新的包名.........
NoSuchMethodError: org.apache.http.HttpHost.create(Ljava/lang/String;)Lorg/apache/http/HttpHost; 报错NoSuchMethodError: org.apache.http.HttpHost.create(Ljava/lang/String;)Lorg/apache/http/HttpHost;查看依赖jar中的class的确没有create方法,查看网上有人说是jar版本太低导致的, 增加下面的高版本依赖后解决:
windows平台上krb5.conf的位置 windows上需要把krb5.conf改为krb5.ini, 寻找krb5.ini的位置按优先级如下:1.由 java.security.krb5.conf 引用的文件2.%java.home%/lib/security/krb5.conf3. c:\winnt\krb5.ini推荐还是在jvm参数里设置-Djava.security.krb5.conf=d:/test/krb5.ini这个亲测有效其次是在jdk的lib/security下放置krb5.ini......
机器学习实战-python和numpy安装 开始机器学习第一步安装python和numpy库yum install pythonyum install numpypythonfrom numpy import *randMat = mat(random.rand(4,4))invRandMat = randMat.IrandMat * invRandMat
Jedis连接redis集群并可在主从切换后自动恢复连接 redis cluster集群会在主节点不可达超时之后自动将从节点切换为主节点。连接到故障节点连接对象将无法使用,必须对连接对象进行检查并重新建立到新节点的连接, 连接池的poolConfig.setTestOnBorrow(true);可以在使用前做这种检查,在集群的主从切换完成后,会自动建立新连接到新的主节点。.........
hive启动HiveServer2服务用于beeline连接 beeline需要被连接的hive启动metastore服务(默认9083端口,保存hive表定义)hiveserver2服务(默认10000端口),本文介绍其启动命令及测试示例。
clickhouse2分片2副本高可用集群搭建及chproxy代理配置使用 clickhouse集群是表级别的,在节点层面上clickhouse每个节点都是独立的, 即使组成集群了也是独立的,所以永远只能连接到clickhouse的单节点上。可以类比redis,有点像是积木,可以按配置文件随意组装。只要各节点上安装clickhouse单机之后再配置config.xml和/etc/metrika.xml将其他节点的连接信息以及分片和副本情况配置好就可以了。
clickhouse建表异常 DB::Exception: No macro ‘shard‘ in config clickhouse的config.xml配置文件的macro标签中没有配置shard,配置下就可以了。<macros> <!-- 这里的shard只是一个变量 --> <shard>01</shard> <replica>stress1019988</replica></macros>如果macros是配置在metrika.xml中的,需要在config.xml中使用incl引用才行<in
批量写入tidb提高写入效率 在url中增加allowMultiQueries=true&rewriteBatchedStatements=true&useConfigs=maxPerformance&useServerPrepStmts=true开启批量提交sql,并在代码中使用批量提交的方式提高写入效率; ps.addBatch(); if (i % batchSize == 0) { ps.executeBatch(); ......
hive启动HiveServer2服务用于beeline连接 1.安装hive#解压#设置环境变量#修改配置2.启动metastore和hiveserver2服务修改hive-site.xmlbin/schematool -dbType mysql -initSchemahive --service metastore 9083&nohup hiveserver2 &beeline -u jdbc:hive2://192.168.128.130:10000 -n hive
linux没有ifconfig命令 #查看path下是否有/usr/sbinecho $PATH#如果path中没有/usr/sbin增加下就好了export PATH=$PATH:/usr/sbin#/usr/sbin/ifconfig 如果不存在就要安装了/usr/sbin/ifconfig#查询安装包yum list | grep net-tool*#安装yum install -y net-tools.x86_64...