qm5132的博客

远程服务器拷贝（本地服务器A文件拷贝到远程服务器B）：scp -r ./clean -P 63305  remote_user_name@192.168.**.**:remote_server_path创建impala数据表create table company_info(_id varchar(100), _name varchar(100), _scope string) r...

Kudu使用了一段时间，记录下中间踩过的坑（基础用法跳过）1、Kudu创建表时，PK字段一定要写在表结构的最前面。2、Hash分区只能在创建表时修改，而Range分区可以在使用过程中动态改变。3、Range分区在动态改变时，通过python api新增一个Range分区（key代表字段名称，ymd代表"yyyy-MM-DD"）示例代码如下：kudu_tbl = kudu_clie...

最近在kudu开发时候，遇到一个奇怪问题：kudu原本正常，重启之后再也无法正常启动，报错信息如下：E0514 10:27:54.910121 16072 webserver_options.cc:111] --webserver_private_key_password_cmd may not be set without --webserver_private_key_fileE051...

在不影响线上数据库服务情况下，如何删除数据库中的大表：分析：数据库中表涉及到db和os两个层面：（1）db层面删表涉及到table_cache的全局唯一锁，一旦数据表过大，会长时间占用全局为一锁，导致db卡死。（2）os层面涉及到数据表物理文件的存储，包括时间的数据block和元数据inode；在ext3中，大文件非连续存储，甚至会嵌套存储，但是如果是ext5则是连续存储，不会存在这个问题。...

在windows下使用CMake编译C++源码产生的是Visual Studio工程文件，而不是Makefiles（linux默认是这种编译文件）。现在需要在windows下使用cmake直接编译产生Makefile，继而使用make命令执行build、link等步骤形成target可执行exe文件。1、安装minGW和CMake2、在windows配置minGW和CMake的bin环境变...

使用注意点：1、读取hbase，设置prefixFilter过滤器时候，必须使用setStartRow（或者直接使用setRowPrefixFilter过滤器），否则每次scan会遍历hbase全量数据，而不是hbase的分区数据。2、scala的函数式编程，两个变量组合操作时候，需要注意有些操作要用括号包起来，否则会出错。3、对hive静态分区（static partition）使用...