起早贪黑写bug

java.sql.BatchUpdateException：Batch entry 0 INSERT INTO主要说的就是SQL有异常导致插入为0条。

突然发现好久没有输出了，由于前段时间换了新工作，这段时间也没有接触到新的内容所以遇到的问题比较少，最近这段时间呢，主要是用mysql+excel做数据分析，接下来呢就将这段时间遇到的问题做个记录与君共勉1.mysql排名的实现，由于mysql没有开窗函数，不能像hive那样用row_number很方便的实现...

在执行hive sql的过程中发现报错如下Ended Job = job_1617789732059_139915 with errorsError during job, obtaining debugging information...Examining task ID: task_1617789732059_139915_m_000000 (and more) from job job_1617789732059_139915Task with the most failures(4):

前言：之前一直都是用hive处理数据，因为项目变动要改为oracle+kettle之前写的SQL在oracle上会有很多报错比如oracle 没有split 函数等需求1：计算某个表每个月多少条占用多少空间直接运行一下语句，该语句会算出每个表占用多少存储空间select table_name,blocks*8192/1024/1024 size_m from user_tables这里的blocks大小为8byte所以乘以8192https://blog.csdn.net/haiross/art

业务上遇到了一个问题，原来的列名变为现在的新列的值，原来列的值变为新的列问题模型如下而我想实现的样子是这样的其实笨一点的方法的用连表查询或者用union的方法都可以实现，但是我的实际业务列比这个多很多，而且当数据量大的时候连表效率就会很低于是去寻找了更简洁的方式实现方式如下代码如下：select a.id,b.label,b.valuefrom test0912_wkl aLATERAL VIEW explode (map(‘yuwen’, yuwen,‘shuxue’, sh

声明：sqoop1.4.7oracle 11g测试命令 ：sqoop list-databases --connect jdbc:oracle:thin:@ip地址:1521/orcl --username scott --password tiger1.如果连接报错 ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: Could not load db driver class: oracle.jdb

记录一下最近用kettle 8.3 导入CSV格式的数据到mysql数据库中所遇到的问题，以及解决的思路，希望对遇到同样问题的老铁有所帮助。先说明一点数据在excel中是可查看的没有乱码也没有任何问题1.文件之前的分割符为 $ 入下图2.我用UE 做了分隔符替换为 ，1.新建转换过程CSV文件输入中的修改...