Oracle 去除或拼接字段内空格、换行符

1、问题原因 数据文本中部分字段包含换行符(\r\n),导致入仓后数据异常 2、解决思路 将包含换行符的字段,使用函数Replace或Oreplace进行去除 首先引入换行符的概念: 0x0d => \r, carrige return, 指打字头归位的动作(回车),对应A...

2019-05-13 14:42:39

阅读数 91

评论数 0

org.apache.hadoop.hbase.exceptions.ConnectionClosingException

问题:         利用HQL语句创建hbase 表时,出现异常。 # Hive中的表名test_tb CREATE TABLE test_tb(key int, value string) # 指定存储处理器 STORED BY 'org.apache.hadoop.hive.hba...

2018-10-29 15:42:54

阅读数 708

评论数 0

hive-2.1.1整合hbase-2.1.0

一、环境准备 1、软件版本 hadoop-2.7.4 hbase-2.1.0 hive-2.1.1 2、hbase与hive的版本兼容 hive0.90 与 hbase0.92是兼容的,早期的hive版本与hbase0.89/0.90兼容 hive1.x 与 hbase0.98.x或更...

2018-10-29 15:14:20

阅读数 187

评论数 0

Hive优化总结

一、hive表优化 1、分区(不同文件夹) 分区是以字段的形式在表结构中存在,通过desc table命令可以查看到字段存在, 但是该字段不存放实际的数据内容,仅仅是分区的表示(伪列) create table if not exists table_name(id int,name st...

2018-10-24 16:56:59

阅读数 166

评论数 0

flume拦截器

摘要: 拦截器是简单的插件式组件,设置在source和channel之间。source接收到的时间,在写入channel之前,拦截器都可以进行转换或者删除这些事件。每个拦截器只处理同一个source接收到的事件。可以自定义拦截器。 flume内置了很多拦截器,并且会定期的添加一些拦截器,在这里...

2018-09-11 03:02:32

阅读数 2978

评论数 1

Flume NG高可用集群搭建

软件版本: CentOS 6.7 hadoop-2.7.4 apache-flume-1.6.0 一、Flume NG简述 Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。 Flume将采集到的文件,socket数据包等各种形式的...

2018-09-10 23:15:44

阅读数 215

评论数 0

栈与队列的区别及自定义实现

第一部分的总结主要转载:https://blog.csdn.net/bbc955625132551/article/details/72773285 一、栈(Stack)和队列(Queue)的特点 栈(Stack)和队列(Queue)是两种基于数组实现、操作受限的线性表,即栈和队列都是数组的子...

2018-09-08 16:40:59

阅读数 65

评论数 0

自定义数组及简单时间复杂度分析

前言: 作为java的一种容器,数组的优缺点同样明显 优点:使用简单 ,查询效率高,内存为连续的区域  缺点:大小固定,不适合动态存储,不方便动态添加 一、自定义实现数组 1、Java中定义数组的三种形式 // 第一种:数组格式 类型[] 数组名 = new 类型[数组长度]...

2018-09-05 02:10:19

阅读数 484

评论数 0

Linux下Hive的安装部署

软件版本: CentOS 6.7 hive-1.2.1 hadoop-2.7.4 一、yum安装MySQL 1、查看系统之前是否已安装MySQL rpm -qa | grep mysql 2、卸载MySQL:rpm -e --nodeps mysql-libs-5.1.71-1...

2018-09-03 13:49:13

阅读数 136

评论数 0

Hadoop集群实现HA

软件版本: CentOS 6.7 jdk-8u171-linux-x64.tar.gz zookeeper-3.4.12.tar.gz hadoop-2.7.4-with-centos-6.7.tar.gz 一、集群部署节点角色的规划 1、集群部署节点角色的规划(7节点)     no...

2018-08-27 22:47:58

阅读数 117

评论数 0

master.HMasterCommandLine: Master exiting

2018-08-20 00:59:33,382 ERROR [main] master.HMasterCommandLine: Master exiting java.io.IOException: Could not start ZK at requested port of 2181. Z...

2018-08-27 22:10:12

阅读数 1067

评论数 0

Zookeeper集群搭建

软件版本: CentOS 6.7 jdk-8u171-linux-x64.tar.gz zookeeper-3.4.12.tar.gz 一、Zookeeper完全分布式集群搭建 1、安装JDK 1.1、解压JDK:tar -zxvf jdk-8u171-linux-x64.tar.gz ...

2018-08-27 21:47:30

阅读数 79

评论数 0

Collection集合总结

Collection接口继承体系图  Collection接口常用方法 返回值类型 方法     解释 boolean add(E e) 向列表的尾部添加指定的元素(可选操作) boolean addAll(Collection<...

2018-08-09 22:20:41

阅读数 260

评论数 0

通过漫画轻松掌握HDFS工作原理

转 通过漫画轻松掌握HDFS工作原理 <div class="ar...

2018-08-08 23:35:00

阅读数 71

评论数 0

Hadoop中分片split的原理解析

一、定义 1、block:block是物理切块,在文件上传到HDFS文件系统后,对大文将以每128MB的大小切分若干,存放在不同的DataNode上; 2、split:split是逻辑切片,在mapreduce中的map task开始之前,将文件按照指定的大小切割成若干个部分,每一部分称为一个...

2018-08-06 19:53:33

阅读数 1442

评论数 0

Hadoop2.7.4完全分布式环境搭建

软件版本 虚拟机管理软件:VMware WorkStation Pro 12.0 操作系统:CentOS 6.7 Hadoop:Hadoop 2.7.4 JDK:jdk-8u65-linux-x64.tar.gz 一、环境准备 1、 修改各个节点主机名:vi /etc/sysconfig...

2018-08-03 01:29:52

阅读数 496

评论数 0

Error: Exception thrown by the agent : java.net.MalformedURLException: Local host name unknown: java

一、MyCat安装版本 Linux版本:CentOS 6.7 Mycat-server-1.4-release-20151019230038-linux.tar.gz Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz 最终选择版...

2018-07-16 02:22:43

阅读数 597

评论数 0

java.net.ConnectException: Connection refused: connect(无法连接redis服务器)

提示:出现问题版本为redis-3.2.1.tar.gz 使用其他版本不需要做如下配置,idea、eclipse均连接正常,如: redis-3.0.0.tar.gz redis-4.0.11.tar.gz redis.clients.jedis.exceptions.JedisConne...

2018-07-09 20:38:31

阅读数 1298

评论数 0

Maven私服地址

一、问题现在maven项目非常流行,因为我们可以在pom.xml文件中配置项目所需要的jar包对应的坐标,maven就会自动管理jar包,但如果使用maven的中央仓库,因为其仓库服务器在国外,因此jar下载的速度非常慢,这时希望可以提高效率就需要配置国内的私服。其实方法很简单:maven是支持镜...

2018-06-10 02:53:39

阅读数 376

评论数 0

MySQL卸载重装后出现apply security settings问题

环境: MySQL:mysql-5.5.59-winx64.msi SQLyog:SQLyog-12.5.0-0_setup.exe 操作系统:WIN10x64 一、卸载MySQL 1、windows+R 输入services.msc打开服务器管理窗口,关闭MySQL服务 ...

2018-06-10 02:27:04

阅读数 1967

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭