- 博客(26)
- 收藏
- 关注
RSS订阅转载 Hive正则表达式
正则表达式基本语法用圆括号将所有选择项括起来，相邻的选择项之间用|分隔。但用圆括号会有一个副作用，使相关的匹配会被缓存，此时可用?:放在第一个选项前来消除这种副作用。其中 ?: 是非捕获元之一，还有两个非捕获元是 ?= 和 ?!，这两个还有更多的含义，前者为正向预查，在任何开始匹配圆括号内的正则表达式模式的位置来匹配搜索字符串，后者为负向预查，在任何开始不匹配该正则表达式模式...
2019-06-11 14:34:00
380
转载 troubleshooting-Container 'PHYSICAL' memory limit
原因分析CDH 集群环境没有对 Container分配足够的运行环境（内存）解决办法需要修改的配置文件，将具体的配置项修改匹配集群环境资源。如下：配置文件配置设置解释计算值（参考）yarn-site.xmlyarn.nodemanager.resource.memory-mb...
2018-12-03 21:43:00
508
转载 Hive-查询结果导入到 MySQL
step1:add jar /home/chenweidong/lib/hive-contrib-2.1.1-cdh6.0.0.jar;add jar /home/chenweidong/lib/mysql-connector-java.jar;step2:CREATE TEMPORARY FUNCTION dboutput AS 'org.apache.hadoop.hive.co...
2018-10-10 18:24:00
441
转载 Hive-复制表
非分区表复制复制一张非分区表，使用CREATE TABLE IF NOT EXISTS AS SELECT * FROM tb_name;只复制表结构，CREATE TABLE IF NOT EXISTS AS SELECT *** FROM tb_name WHERE 1=2;PS：分区表如果采用这种"CREATE TABLE IF NOT EXISTS AS"的方法复制，表结...
2018-10-10 18:12:00
495
转载 troubleshooting-执行导数shell脚本抛异常error=2, No such file or directory
Cannot run program "order_log.sh" (in directory "/data/yarn/nm/usercache/chenweidong/appcache/application_1536202736675_0048/container_1536202736675_0048_01_000001"): error=2, No such file or dir...
2018-09-23 18:06:00
494
转载 troubleshooting-sqoop mysql导入hive 报：GC overhead limit exceeded
Halting due to Out Of Memory Error...18/09/13 21:42:17 INFO mapreduce.Job: Task Id : attempt_1536756558194_0031_m_000001_0, Status : FAILEDError: Java heap space18/09/13 21:43:26 INFO mapreduce.J...
2018-09-23 17:56:00
604
转载 troubleshooting-When importing query results in parallel, you must specify --split-by.
原因分析-m 4 \ 导数命令中map task number=4，当-m 设置的值大于1时，split-by必须设置字段（需要是 int 类型的字段），如果不是 int类型的字段，则需要加上参数-Dorg.apache.sqoop.splitter.allow_text_splitter=true例子：sqoop import -Dorg.apache.sqoop.splitter...
2018-09-23 17:50:00
1976
转载 troubleshooting-windows 在 CDH集群环境读取 Hive 表 KrbException: Cannot locate default realm
KrbException: Cannot locate default realm解决办法1）拷贝需要组件的配置文件到项目中的 /resources/目录。如hadoop，目录/etc/hadoop/conf/2）代码中写入如下代码System.setProperty("java.security.krb5.conf", "D:\\work\\conf\\k...
2018-09-23 17:46:00
15597
转载 troubleshooting-Kerberos 鉴权异常
ERROR transport.TSaslTransport: SASL negotiation failurejavax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to f...
2018-09-23 17:35:00
3111
转载 troubleshooting-执行Oozie调度Hive导数脚本抛java.io.IOException: output.properties data exceeds its limit [204...
执行Oozie调度Hive导数脚本抛java.io.IOException: output.properties data exceeds its limit [2048]原因分析shell脚本中一次提交的hql-mr作业量太大，其中包含的信息超过oozie launcher一次容许的最大值2K（2K是默认值）解决办法1）修改oozie-site.xml：<p...
2018-09-23 17:29:00
211
转载 Kerberos 常用命令
最近项目组用CDH搭建数据开发环境，有用到Kerberos安全组件。如下是相关命令，请参考：进入kadminkadmin.local / kadmin创建数据库kdb5_util create -rHADOOP.COM -s 启动kdc服务service krb5kdc start...
2018-09-20 12:00:00
1753
转载 MySQL "tinyInt1isBit or tinyint(1)" 相关问题解析
问题描述tinyInt 的数据类型，在JAVA数据类型 和 MySQL的数据类型转换，要注意存储长度为 1 的情况。查询时，该字段对应的Java类型为Boolean源数据：读取后数据：问题分析MySQL官方的JDBC文档定义转换规则如下：如果tinyInt1isBit=true（默认），且tinyInt存储长度为1，则转为java.lang.Bo...
2018-08-30 21:09:00
2008
转载 MySQL "java.lang.IllegalArgumentException: HOUR_OF_DAY: 2 -> 3" 问题解析
抛出异常截图：异常原因系统时区原因。解决办法在数据库连接串加上&serverTimezone=Asia/Shanghai即可~conn_str="jdbc:mysql://${hostname}/${db_name}?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavio...
2018-08-24 11:36:00
6209
转载 MySQL "Zero date value prohibited" 问题解析
问题起因之前一直使用Oracle数据，对MySQL数据库使用不多，因此搞不懂MySQL的日期“0000-00-00 00:00:00”对程序会产生怎样的影响。费了我一下午的时间 -_-^^。首先：Google “Zero date value prohibited”一番，发现问题的原因是表中日期的字段中有值为 0 的数据。SELECT * FROM shop_info_sub ...
2018-08-23 21:28:00
24510
转载 Spark 任务提交脚本
说明该脚本是根据输入起始日期-结束日期，执行从数据库拉取日期间隔数据到HDFS。日期间隔中的日期就是每一年的自然日。日期格式可以是以下几种：2018-01-01 2018-12-31 [-][/][.]['']2018/01/01 2018/12/31 [-][/][.]['']20180101 20181231 [-][/][.]['']代码片段...
2018-08-22 16:58:00
395
转载 Ubuntu安装 Spark2.3.0 报错原因及解决
Ubuntu 安装Spark出现的问题及解决最近在搭建Hadoop集群环境和Spark集群环境，出现的问题可能不太复杂，纯粹记录安装步骤和问题解决办法。集群环境使用的是（2台）阿里云主机，操作系统是Ubuntu 16.04.9版本运行环境Linux 操作系统：Ubuntu 16.04.9Spark 安装版本（红色箭头的是下图安装报错的版本）报错信息：原因：没有...
2018-08-07 10:33:00
278
转载 Ubuntu安装 jdk.rpm 报错问题解决
报错问题出现原因第一次使用Ubuntu操作系统，很多命令及软件安装方式与以往使用的Linux操作系统（CentOS）有很大区别。现在总结使用Ubuntu在安装JDK中，遇到的问题及解决方法。root@slave1:~/hadoop# rpm -i jdk-7u80-linux-x64.rpm rpm: RPM should not be used directly install...
2018-08-03 18:46:00
862
转载 Github 上传代码的两种方式
上传本地代码/文件->Github折腾了半天时间。。。Github前期准备部分1）登录github，新建一个 repository2）repository 命名3）Github是一个托管平台，相当于一台服务器，如果想对其进行操作，还必须安装Git客户端，使用相应的git指令对其进行操作Github客户端下载&安装github...
2018-08-01 00:16:00
238
转载 JAVA面试题整理（7）-Redis
Redis面试题汇总1、Redis用过哪些类型数据，以及Redis底层怎么实现分析：是不是觉得这个问题很基础，其实我也这么觉得。然而根据面试经验发现，至少百分八十的人答不上这个问题。建议，在项目中用到后，再类比记忆，体会更深，不要硬记。基本上一个合格的程序员，五种类型都会用到。回答：一共五种(一)String这个其实没啥好说的，最常规的set/get操作，value可以...
2018-07-29 16:28:00
110
转载 JAVA面试题整理（6）-JVM
JVM1、详细jvm内存模型2、讲讲什么情况下回出现内存溢出，内存泄漏？ 3、说说Java线程栈4、JVM 年轻代到年老代的晋升过程的判断条件是什么呢？ 5、JVM 出现 fullGC 很频繁，怎么去线上排查问题？ 6、类加载为什么要使用双亲委派模式，有没有什么场景是打破了这个模式？ 7、类的实例化顺序 8、JVM垃圾回收机制，何时触发MinorGC...
2018-07-29 16:26:00
91
转载 JAVA面试题整理（5）-数据库
数据库1、Oracle/mysql分页有什么优化2、悲观锁、乐观锁悲观锁（Pessimistic Concurrency Control，PCC）：假定会发生并发冲突，屏蔽一切可能违反数据完整性的操作。（至于怎么加锁，加锁的范围也没讲）乐观锁（Optimistic Concurrency Control，OCC）：假设不会发生并发冲突，只在提交操作时检查是否违反数据完整性。（...
2018-07-29 16:23:00
84
转载 JAVA面试题整理（4）-Netty
1、BIO、NIO和AIO 2、Netty 的各大组件 3、Netty的线程模型 4、TCP 粘包/拆包的原因及解决方法 5、了解哪几种序列化协议？包括使用场景和如何去选择 6、Netty的零拷贝实现 7、Netty的高性能表现在哪些方面答案待补充... ...转载于:https://www.cnblogs.com/chwilliam85...
2018-07-29 16:17:00
253
转载 JAVA面试题整理（3）-Spring
1、BeanFactory 和 FactoryBean？ 2、Spring IOC 的理解，其初始化过程？ 3、BeanFactory 和 ApplicationContext？ 4、Spring Bean 的生命周期，如何被管理的？ 5、Spring Bean 的加载过程是怎样的？6、如果要你实现Spring AOP，请问怎么实现？ 7、如果要你实现Spring...
2018-07-29 15:59:00
85
转载 JAVA面试题整理（2）-多线程/并发
1、synchronized 的实现原理以及锁优化？ 在JDK 5之前Java语言是靠synchronized关键字保证同步的。使用synchronized 关键字定义同步方法，或者在方法中使用synchronized关键字定义同步块。但是这会导致有锁，锁机制存在以下问题：（1）在多线程竞争下，加锁、释放锁会导致比较多的上下文切换和调度延时，引起性能问题。（2）一个线程持有锁会导致其...
2018-07-29 15:48:00
134
转载 JAVA面试题整理（1）-基础
1、List 和 Set 的区别共同点：它们都是Collection的子接口区别：List：这个接口能够精准的记录每一个元素的插入位置（换句话说就是这个接口内容所有元素是按照顺序去保存的），使用者可以通过索引的方式去取得某个元素的值，这个跟java中数组有点类似，List中保存的所有数据允许重复。Set：这个接口无法记录每一个元素的具体位置，整个集合中所有元素是无序排列的，...
2018-07-29 14:31:00
95
转载 中文字符与编码格式占位问题
最近面试，碰到的面试题。Q：中文字符在UTF-8占几个字节？UTF-8是固定字长编码还是动态字长编码的？A：UTF-8编码下一个中文所占字节也是不确定的。可能是2个、3个、4个字节。因此可见UTF-8是变长的编码格式的。扩展讲解先从字符编码讲起1、美国人首先对其英文字符进行了编码，也就是最早的ASCII码，用一个字节的低7位来表示英文的128个字符，高1位统一为...
2018-07-26 11:48:00
1517
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人