- 博客(9)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 在mysql中创建函数实现统一社会信用代码的核验
网上的资源大多是sql server和oracle的算法，根据大佬们的方法，用mysql的语法实现了一个：create function checkCode(cinput VARCHAR(20)) returns varchar(20)BEGIN DECLARE i INT DEFAULT 1; DECLARE isum INT default 0; DECLARE checkTemp INT default 0; DECLARE coutput VARCHAR(20); WHILE i
2022-05-30 15:31:39
571
原创 64位环境下的python，打包32位系统能够运行的exe
最近碰到的一个奇葩需求，开发环境都是64位的，偏偏运行环境需要在32位的win下，一时半会找不着一台32位的开发机，也懒得去搞虚拟机搭环境，在网上搜了半天，很多方法都没球用，最后找到一个稍微靠谱的博主的文章，连猜带蒙搞对了方法，记录一下。首先需要说明我自己的环境，win10 64位，安装了conda，python39，但是只有conda配到了系统环境变量。开发ide用的pycharm，并在pycharm里基于系统的conda创建了项目的虚拟环境，用到的包也很简单：xlrd，xlwt，都是直接在p
2022-03-22 11:24:16
3516
原创 Impala创建的Kudu表主键数据修改迁移方法探索
最近在生产环境遇到一件棘手的事情，需要将impala中创建的kudu内部表中的某些字段做修改，众所周知，kudu表的主键可以由很多列组成，但是kudu组成主键的列在写入之后就不可修改了，碰到这种必须要修改的情况，唯一的办法就是通过数据导出再写入的方法进行迁移。第一种方案：导出需要修改的记录，然后写程序一条条读取修改之后再通过kuduAPI写入原表。这样做的好处是不容易出错，而且全程可控，通过良好的日志设计可以记录写入失败的条目，将数据丢失的风险降到最低。缺点是需要开发时间，并且效率较低，整个过程存在数据
2022-01-25 16:59:32
1131
原创 impala查询kudu中的数据的时候报master has no leader
分析：这种情况首先考虑重启之后kudu的某个master节点启动失败了，结果只注册了两个节点到集群中，两个节点无法选举出leader，就算后期手动拉起那个启动失败的master也不会增加注册到集群，这应该是kudu的一个bug。解决方法：整个重启kudu，再在impala中invalidate metadata一般就能解决问题。注：还有一种极为少见的情况，集群节点的hostname配置错误，一般不会出现这个问题，注意核对一下各个节点的host那么即可，centoshost那么文件地址：/etc/ho
2021-06-07 14:21:29
565
原创 为hdfs增加磁盘扩容
到服务器中对每台服务器进行添加磁盘操作：因为在Linux中，常用2种分区表：MBR分区表（即主引导记录）所支持的最大分区：2T，而且对分区有限制：最多4个主分区或3个主分区加一个扩展分区 [fdisk命令操作] GPT分区表（即GUID分区表）是源自EFI标准的一种较新的磁盘分区表结构的标准，与MBR分区方式相比，具有如下优点：突破MBR 4个主分区限制，每个磁盘最多支持128个分区。支持大于2T的分区，最大可达18EB。 [parted命令操作]使用 parted 建立大小超过2T的分区p
2020-06-10 16:27:14
861
原创 kudu重装后，impala中的kudu表无法删除——Impala与Hive和Kudu之间的一个小bug
最近又玩了一个新CDH集群，安装过程中手贱重新装了一遍kudu，然后发现在impala中创建的两张kudu表无法进行任何操作，无法CRUD，不能drop，仔细分析impala跑出来的日志，一直报RPC远程调用的错误，说无法连接kudu的master。在impala中，基于新的kudu建立的表又可以正常读写，不会报那两个错误，这到底是怎么回事呢？搞了大半天，看遍了kudu和impala的日志，发现我重装kudu的时候把kudu的master换了节点，但是因为impala没有重装，但是也没有同步新装的k
2020-05-27 15:58:48
1553
原创 在impala中建立外部表关联并管理kudu API生成的表
在impala中建立外部表关联并管理kudu API生成的表话不多说，直接上代码：话不多说，直接上代码： create EXTERNAL TABLE impala_kudu_test STORED AS KUDU TBLPROPERTIES ('kudu.table_name' = 'kudu_table')上面的代码中，impala_kudu_t...
2019-02-24 13:59:00
1617
原创 impala建Kudu表语句中的PARTITION BY的作用
impala建Kudu表语句中的PARTITION BY的作用在impala中创建kudu表的时候有一个PARTITION BY的参数选项，这个参数是啥意思呢?在impala中创建kudu表的时候有一个PARTITION BY的参数选项，这个参数是啥意思呢?各位苦逼大数据DBA在impala shell中建kudu表的时候一定用过这个PARTITION BY参数，像我这样不学无术的兄弟肯定是一...
2019-02-21 16:33:23
3583
原创 Cloudera集群意外断电之后KUDU组件tserver无法重启的问题
Cloudera集群意外断电之后KUDU组件tserver无法重启的问题故障原因分析：故障原因分析：测试用的5节点CDH集群因为机房意外断电，很多组件重启失败，手动将agent一个个kill掉重启之后，发现有一个节点上的kudu组件tserver实例无法启动，查看角色日志信息发现报了metadata的偏移量和data文件实际偏移量不匹配的错误。查阅kudu的官方文档初步确定是由于突然断电导致磁...
2019-02-21 16:13:37
1151
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人