qq_25617289的博客

impala:create function fuzzyMatch(string,string) returns double location '/user/hive/udf/common_project-1.0-SNAPSHOT.jar' symbol='utils.FuzzyMatch';create function getDistance(double,double,double,double) returns double location '/user/hive/udf/common_p

Query Hints in Impala SELECT Statements | 5.11.x | Cloudera Documentation使用Impala hint加速SQL查询_skyyws的博客-CSDN博客_impala中强制使用shuffle

参考博客:https://blog.csdn.net/liyyzz33/article/details/84333230https://blog.csdn.net/liyyzz33/article/details/84333230第一步：使用lvdisplay来获得VG Name。lvdisplay第二步：使用fdisk来生产新的一个空间。fdisk /dev/sda...

一:在客户端节点上安装 yum install openldap openldap-clients -y(hadoop01,hadoop02,hadoop03) 在 hadoop02 vi /etc/openldap/ldap.confscp -r /etc/openldap/ldap.conf root@hadoop03:/etc/openldap/...

一:服务端安装ldapyum install db4 db4-utils db4-devel cyrus-sasl* krb5-server-ldap -yyum install openldap openldap-servers openldap-clients openldap-devel compat-openldap -ycd /usr/share/openldap-serv...

1：在hadoop01机器上添加其他节点的3个认证t添加对hdfs的认证:kadmin.local -q "addprinc -randkey yarn/hadoop01@HADOOP.COM"kadmin.local -q "addprinc -randkey yarn/hadoop02@HADOOP.COM"kadmin.local -q "addprinc -randk...

1：profileexport JAVA_HOME=/usr/java/jdk1.8.0_181-clouderaexport PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar2：网络设置TYPE=EthernetPROXY_METHOD=none...

1：mysql-5.7.16-1.el6.x86_64.rpm-bundle.tar下载这个包顺便提醒，安装环境是CentOS6.5，所以应该选用el6的安装包；CentOS7应该选用el7安装包。2：查看MySQLrpm -qa|grep mysqlrpm -qa|grep mariadb3、卸载MySQLrpm -e --nodeps mysql-5.1.73-7...

1：修改hpsql文件#!/bin/bashCDH_HOME=/opt/cloudera/parcels/CDH/libJAVA_HOME=/usr/java/jdk1.8.0_192-amd6export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/libexport "HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$CDH_...

1：在hadoop01机器上添加其他节点的3个认证t添加对hdfs的认证:kadmin.local -q "addprinc -randkey hdfs/hadoop01@DYLAN.COM"kadmin.local -q "addprinc -randkey hdfs/hadoop02@DYLAN.COM"kadmin.local -q "addprinc -randkey...

1:服务端安装yum install krb5-server krb5-libs krb5-auth-dialogkrb5-workstationkrb5-devel -y2 在 slave端安装yum installkrb5-devel krb5-workstation -y3:修改配置文件 (1):vi /etc/krb5.conf[loggin...

1:首先安装mysql组件yum -y install mysql-devel安装GCCC插件:yum install gcc-c++ python-devel.x86_64 cyrus-sasl-devel.x86_64 2：创建软连接ln -s /root/anaconda2/bin/python /usr/bin/pythonln -s/root/ana...

CentOS7编译安装MySQL5.7之后安装mysql-devel出错解决方案[root@localhost liuyuantao]# yum -y install mysql-develLoaded plugins: fastestmirror, langpacks Loading mirror speeds from cached hostfile * base: mirrors....

Redis缓存穿透+缓存雪崩解决方案一．缓存穿透：缓存穿透是指查询一个一定不存在的数据，由于缓存是不命中时需要从数据库查询，查不到数据则不写入缓存，这将导致这个不存在的数据每次请求都要到数据库去查询，造成缓存穿透。解决办法：1.布隆过滤对所有可能查询的参数以hash形式存储，在控制层先进行校验，不符合则丢弃。还有最常见的则是采用布隆过滤器，将所...

ITransactionalSpout<T>普通事务Spout ITransactionalSpout<T>：普通事务Spout -- ITransactionalSpout.Coordinator<X> --initializeTransaction(BigInteger txid, X prevMetadata) ： 创建一个新的...

1. 同时修改文件的修改时间和访问时间touch -d "2010-05-31 08:10:30" install.log2. 只修改文件的修改时间touch -m -d "2010-05-31 08:10:30" install.log3. 只修改文件的访问时间touch -a -d "2010-05-31 08:10:30" install.log...

#!/bin/bashPROCESS_NUM=`ps -aux|grep xxl-job-executor-sample-springboot.jar|grep -v grep|wc -l`echo $PROCESS_NUMtime=`date "+%Y-%m-%d %H:%M:%S"`source /etc/profileif [ $PROCESS_NUM -eq 1...

在HBase读写时，相同Cell(RowKey/ColumnFamily/Column相同)并不保证在一起，甚至删除一个Cell也只是写入一个新的Cell，它含有Delete标记，而不一定将一个Cell真正删除了，因而这就引起了一个问题，如何实现读的问题？要解决这个问题，我们先来分析一下相同的Cell可能存在的位置：首先对新写入的Cell，它会存在于MemStore中；然后对之前已经F...

这个方案的实现思路，跟大家解析一下：其实关键之处在于，将发生数据倾斜的key，单独拉出来，放到一个RDD中去；就用这个原本会倾斜的key RDD跟其他RDD，单独去join一下，这个时候，key对应的数据，可能就会分散到多个task中去进行join操作。 就不至于说是，这个key跟之前其他的key混合在一个RDD中时，肯定是会导致一个key对应的所有数据，都到一个task中去，就会导致数据倾斜...

reduce join转换为map join，适合在什么样的情况下，可以来使用？ 如果两个RDD要进行join，其中一个RDD是比较小的。一个RDD是100万数据，一个RDD是1万数据。（一个RDD是1亿数据，一个RDD是100万数据） 其中一个RDD必须是比较小的，broadcast出去那个小RDD的数据以后，就会在每个executor的block manager中都驻留一份。要确保你的内存...