- 博客(12)
- 收藏
- 关注
RSS订阅原创 sqoop从hive同步数据到mysql出错！Can't parse input data: '0'
此次踩坑背景：工作中使用sqoop同步工具从hive同步数据到mysql中时，遇到报错信息如下。前提：本次出错由于一个字段是用户输入的文本数据，可能包含未知的特殊字符导致本次同步时出错。Error: java.io.IOException: Can't export data, please check failed map task logsCaused by: java.lang.Ru...
2019-10-29 16:24:20
2316
2
原创 hive之——lateral view与UDTF
UDTF是什么：表生成UDF，接收一个数据行，然后返回多个数据行（一个表作为输出）。UDTF函数语法：只允许单独、使用一个UDTF进行操作。eg：select explode(array('A','B','C'));输出：ABC错误示例：eg：select col1, explode(array('a','b','c'));eg：select explode(array(...
2018-12-12 20:40:19
1043
原创 hive中 不等号 的用法
背景：A表中uuid 字段存在三种情况。第一种为空的情况（即为null），第二种为字符串‘null’，第三种正常情况。要求：给出规则，过滤出是为字符串’null’的异常数据量？解决思路：第一种：字符串null有一定的长度，长度为4，正常情况都是长度在20以上 规则：length(uuid) <> 4;结果：过滤出来的数据除了有字符串’null’的情况，其中还包含了为空的情况...
2018-12-10 20:34:11
3721
原创 mysql数据库面试——事务
第一大点！事务的四大特性： 要是ACID是什么意思都不知道，兄die，这会面试估计就要凉凉了。 那ACID到底是什么呢？让我们通过例子理解我们的ACID到底是何方神圣。A 代表—— 原子性：事务的操作要么完全成功，要么回滚。 例如：事务开启，购物车添加一件商品，商家库存减一，用户点击结算，并付款。此次事务完成。最终就是商家库存减一，并且钱包加money。设想：假如库存减一 和 钱...
2018-08-23 17:41:36
914
原创 elastic search报错——“failed to obtain node locks”
启动时报错信息： 寻找主要信息：failed to obtain node locks 简单理解为：绑定节点失败！！！百度后，好多人同样遇到了这个问题，导致的原因可能是因为之前运行的es还没有正常关闭。第一步：通过命令：ps aux | grep ‘elastic’ 进行查看。如下图： 第二步：通过命令： kill -9 进程号 关闭此进程。第三步：重新启动es。....
2018-06-05 13:53:32
39015
3
原创 深入理解java虚拟机----类加载机制
概述虚拟机把描述一个类的数据从Class文件加载到内存，并对数据进行校验、转换解析和初始化，最终形成可以被虚拟机使用的Java类型，这就是虚拟机的类加载机制。类加载的时机类加载的整个生命周期包括：加载、验证、准备、解析、初始化、使用、卸载7个过程，其中验证、准备和解析统称为连接。 虚拟机没有对什么时候进行类的加载有强制约束，但是对于初始化阶段，虚拟机规范则是严格规定了有且只有5种...
2018-03-14 20:33:54
178
原创 java线程池（2）---常见线程池
线程池的创建和使用 生成线程池采用了工具类Executors的静态方法，一下是几种常见的线程池。SingleThreadExecutor：单个后台线程（其缓冲队列是无界的）public static ExecutorService newSingleThreadExecutor(){ return new FinalizableDelegatedExecutorService...
2018-03-08 20:45:02
228
原创 java线程池（1）----初识线程池
线程池的技术背景 在面向兑现编程中，创建和销毁对象是很费时间的，因为创建一个对象要获得内存资源或资源。在java中更是如此，虚拟机将试图跟踪每一个对象，以便能够在对象销毁后进行垃圾回收。 所以提高服务器程序效率的一个手段就是尽可能减少创建和销毁对象的次数，特别是一些很耗资源的对象创建和销毁。如何利用已有对象来服务就是一个需要解决的关键问题，其实这就是一些“池化资...
2018-02-27 14:39:58
164
原创 TCP的建立与拆除连接
TCP建立连接时三次握手的过程 图示： 文字说明 1.第一次握手：建立连接时，客户端发送SYN包（seq=x）到服务器，并进入SYN_SEND状态，等待服务器确认； 2.第二次握手：服务器收到SYN包，必须确认客户的SYN（ack=j+1）,同时自己也发送一个SYN包（seq=y），即SYN+ACK包，此时服务器进入SYN_RECV状态； 3.第三次握手：客户...
2018-02-27 03:45:20
2039
原创 地址解析协议ARP和反向地址解析协议RARP
从IP地址找到对应的MAC地址的映射过程称为“正向地址协议”，相应的协议称为“地址解析协议”ARP。 从已知MAC地址找出对应的IP地址的映射过程称为“反向地址解析协议”RARP。地址解析协议ARP： 1.地址解析协议将动态映射和静态映射的方法相结合，本地主机建立一个高速缓存，用来存储部分IP地址与MAC地址的映射关系。主机A给主机B发送IP分组，首先根据主机B的IP地址在本主机缓存中查找...
2018-02-26 19:48:43
2795
原创 java的等待/通知机制
场景： 一个线程修改了一个对象的值，而另一个线程感知到了变化，然后进行响应的操作，整个过程开始于一个线程，而最终执行又是另一个线程。前者是生产者，后者是消费者，这种模式隔离了“做什么”和“怎么做”，在功能层面上实现了解耦，体系结构上具备了良好的伸缩性，但是在java语言中如何实现类似的功能呢？实现： 简单的办法是让消费者不断地循环检查是否符合预期，如下代码： while(value!=d...
2018-02-26 15:26:59
832
原创 HuffmanCode---数组实现
#include <stdio.h>#inlucde <stlib.h>//定义结构体数组类型typedef struct{ char word;//字符域; int weight;//字符对应的权值域; int left,right,parent;//分别是左子女，右子女，双亲结点域; int * code;//编码域;}HuffNode;//CreateHuffma
2017-09-18 09:27:29
542
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人