shy_snow的专栏

Kafka使用JAAS（Java认证和授权服务）进行SASL(基于网络连接的安全认证机制)配置。通过三个步骤即可实现JAAS安全认证:(1) 配置jaas相关信息(2) 开启SASL/Kerberos认证(3) 通过脚本将配置信息传递给java虚拟机,这样java的JAAS服务才能根据配置进行认证和授权服务。不论是zookeeper集群还是kafka集群都是如此。.........

自行编码jar后报错,看网上类似问题都是jar冲突,解决一般就是删除冲突的jar包对比正常版本和这次编译的版本发现pom.xml缺少了relocations相关内容。relocations是将制定目录的class移动到一个新的目录下面,从而避免冲突。 原来的包名 新的包名.........

org.apache.flink flink-connector-elasticsearch6_2.11 1.13.6

报错NoSuchMethodError: org.apache.http.HttpHost.create(Ljava/lang/String;)Lorg/apache/http/HttpHost;查看依赖jar中的class的确没有create方法,查看网上有人说是jar版本太低导致的, 增加下面的高版本依赖后解决:

windows上需要把krb5.conf改为krb5.ini, 寻找krb5.ini的位置按优先级如下:1.由 java.security.krb5.conf 引用的文件2.%java.home%/lib/security/krb5.conf3. c:\winnt\krb5.ini推荐还是在jvm参数里设置-Djava.security.krb5.conf=d:/test/krb5.ini这个亲测有效其次是在jdk的lib/security下放置krb5.ini......

开始机器学习第一步安装python和numpy库yum install pythonyum install numpypythonfrom numpy import *randMat = mat(random.rand(4,4))invRandMat = randMat.IrandMat * invRandMat

redis cluster集群会在主节点不可达超时之后自动将从节点切换为主节点。连接到故障节点连接对象将无法使用，必须对连接对象进行检查并重新建立到新节点的连接， 连接池的poolConfig.setTestOnBorrow(true);可以在使用前做这种检查，在集群的主从切换完成后，会自动建立新连接到新的主节点。.........

beeline需要被连接的hive启动metastore服务(默认9083端口,保存hive表定义)hiveserver2服务(默认10000端口),本文介绍其启动命令及测试示例。

top命令查看全部进程 top -bcn1

clickhouse集群是表级别的，在节点层面上clickhouse每个节点都是独立的, 即使组成集群了也是独立的，所以永远只能连接到clickhouse的单节点上。可以类比redis，有点像是积木，可以按配置文件随意组装。只要各节点上安装clickhouse单机之后再配置config.xml和/etc/metrika.xml将其他节点的连接信息以及分片和副本情况配置好就可以了。

clickhouse的config.xml配置文件的macro标签中没有配置shard,配置下就可以了。<macros> <!-- 这里的shard只是一个变量 --> <shard>01</shard> <replica>stress1019988</replica></macros>如果macros是配置在metrika.xml中的,需要在config.xml中使用incl引用才行<in

在url中增加allowMultiQueries=true&rewriteBatchedStatements=true&useConfigs=maxPerformance&useServerPrepStmts=true开启批量提交sql,并在代码中使用批量提交的方式提高写入效率; ps.addBatch(); if (i % batchSize == 0) { ps.executeBatch(); ......

echo -e “Hello
world”

1.安装hive#解压#设置环境变量#修改配置2.启动metastore和hiveserver2服务修改hive-site.xmlbin/schematool -dbType mysql -initSchemahive --service metastore 9083&nohup hiveserver2 &beeline -u jdbc:hive2://192.168.128.130:10000 -n hive

#查看path下是否有/usr/sbinecho $PATH#如果path中没有/usr/sbin增加下就好了export PATH=$PATH:/usr/sbin#/usr/sbin/ifconfig 如果不存在就要安装了/usr/sbin/ifconfig#查询安装包yum list | grep net-tool*#安装yum install -y net-tools.x86_64...

yum -y install lrzszsc 上传的本地文件名rz 要下载的远程文件名