自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

转载 logstash常见数据清洗配置

ogstash通过插件的形式来配置input,filter,output,在消费数据后,如果需要对数据做处理,需要用到filter的很多功能。最近使用logstash传递kafka数据到es时,了解了一些logstash处理数据的方式,以下logstash的config做个简单分享: input ...

2020-06-29 11:53:45 104 0

转载 阿里新一代实时计算引擎 Blink,每秒支持数十亿次计算

原文地址https://mp.weixin.qq.com/s/S3FfkHYTr3kICFngA_Htpg?spm=a2c4e.11153940.blogcont90243.11.68826711iwPLU8 作者介绍 王峰,淘宝花名”莫问",2006年毕业后即加入阿里巴巴集团,长期...

2018-08-30 17:23:16 1035 0

转载 Python相关学习资料汇总(转自http://www.cnblogs.com/maybe2030/p/4552833.html)

是一种面向对象的解释性的计算机程序设计语言,也是一种功能强大且完善的通用型语言,已经有十多年的发展历史,成熟且稳定。Python 具有脚本语言中最丰富和强大的类库,足以支持绝大多数日常应用。 Python语言有非常简捷、清晰的语法特点,适合完成各种高层任务,可以在所有操作系统中运行。目前,基于这种...

2018-07-31 14:47:40 170 0

转载 Pycharm专业版破解

https://blog.csdn.net/px41834/article/details/79256024/

2018-07-31 14:25:34 141 0

转载 Pycharm专业版破解

https://blog.csdn.net/px41834/article/details/79256024/

2018-07-31 14:25:31 213 0

原创 Hadoop HA集群中主备切换问题

   一次意外断电,Hadoop集群全部关机,重启后两个NameNode节点均是standby状态, 出现以下问题Operation category READ is not supported in state standby。解决方法:( 切换命令) hdfs haadmin -transit...

2018-03-28 16:25:10 2407 0

原创 使用Echarts3.0做图表

主要包含以下几个步骤: 1、第一步要引入  2、第二步在body中添加一个dom: div id="main" style="width: 600px;height: 400px;">div> 123 3、第三步初始...

2017-11-11 19:53:48 238 0

转载 MyEclipse安装JS代码提示(Spket插件)

原文地址: http://blog.csdn.net/zhshulin/article/details/25635883 近期需要大量使用JS来开发,但是MyEclipse2014自带的JS编辑器没有代码提示的功能,开发效率有点低,所以安装了一个Spket的插件,过程非常简单,S...

2017-11-04 09:34:26 159 0

原创 Oracle数据库创建新用户并授予DBA权限

很多时候我们用拥有DBA权限的用户 从oracle数据库导出数据,那么再导入新的数据库时就还得需要DBA权限的用户,下面是如何创建一个新用户并授予DBA权限命令。 1.用有dba权限的用户登录:sys用户 2.创建一个新用户:create user abc identified by 1234...

2017-07-07 10:44:58 29768 1

原创 使用MapReduce从HBase中读取数据存入HDFS路径问题

使用MR读取HBases数据进行计算,然后输出到HDFS,在输出到HDFS时遇到了路径问题,让我纠结了好久,今天终于理解解决了,记录一下,希望对遇到同样问题的人有所帮助。        原始代码如下,出现了下面的异常,开始我百思不解,HDFS的路径怎么会和window本地路径有冲突呢?怎么会读取的...

2017-06-08 11:17:52 1226 0

原创 通过Sqoop工具将Oracle数据导入到HBase

通过Sqoop工具可以将关系型数据库Oracle的数据导入HBase中,具体的操作步骤如下: 1、在HBase中创建一个表,表名称为ecard,表的列簇为ic_info, 2、写Sqoop命令来导入数据 sqoop import --append --connect jdbc:oracle:t...

2017-05-31 10:25:34 460 0

转载 Hbase 统计表行数的3种方式总结

有些时候需要我们去统计某一个Hbase表的行数,由于hbase本身不支持SQL语言,只能通过其他方式实现。可以通过一下几种方式实现hbase表的行数统计工作: 1.count命令 最直接的方式是在hbase shell中执行count的命令可以统计行数。 ...

2017-05-10 14:27:06 307 0

转载 oracle中的trim函数使用介绍

trim一般都是用在删除字符串两边的空格。实际上,trim也可以用来删除字符串两边的指定字符。并且trim指定删除的字符串只能是单个字符 Oracle TRIM函数是很常见的函数,下面对Oracle TRIM函数的语法作了详尽的阐述说明,希望可以让您对Oracle TRIM函...

2017-05-07 20:04:44 3405 0

转载 Java常见异常和解决办法

1、java.lang.ArithmeticException 算术运算异常,因为除数为0,所以引发了算数异常 2、Java.lang.StringIndexOutOfBoundsException: String index out of range: -1 这是截取字符串sub...

2017-04-27 21:12:09 1125 0

原创 通过Sqoop将Oracle中表导入到HDFS时报错Error during import: No primary key could be found

我的Sqoop版本是1.4.6,在利用Sqoop将Oracle数据导入到HDFS时候回出现一些异常,因此我们我们要注意以下几点:       sqoop import --connect jdbc:oracle:thin:@192.168.8.110:1521:orcl --table TRANS...

2017-04-27 15:15:58 3100 1

原创 启动HBase抛出org.apache.hadoop.hbase.ClockOutOfSyncException异常

有一段时间没有启动过Hbase,重新启动HBase数据库时候,发现有一个节点没有启动,查看其启动日志,可以看到它抛出了ClockOutOfSyncException异常,具体的异常如下所示: 2017-04-23 20:18:28,975 FATAL [regionserver/node2/192...

2017-04-26 11:04:07 2723 1

原创 HBase运行中抛出异常org.apache.hadoop.hbase.client.ScannerTimeoutException

我的HBase版本是1.1.3,在进行scan时候抛出ScannerTimeoutException异常,具体如下: Exceptioninthread”main”java.lang.RuntimeException:org.apache.hadoop.hbase.client.Scan...

2017-04-25 19:52:04 1367 0

转载 java性能优化之for循环

http://www.cnblogs.com/liushuijinger/p/4126928.html

2017-04-10 21:57:40 156 0

原创 通过JDBC来连接Hive

在大数据分析中,Hive作为历史数据挖掘分析工具,用到的很多,我们可以通过Hive的命令行来很方便地操作Hive中的数据,但是很多时候我们都需要将Hive的操作融入到编程环境中去,而Hive提供了JDBC接口,因而我们可以很方便地通过JDBC来操作Hive。下面就记录一下通过JDBC来连接Hive...

2017-04-10 15:22:31 633 0

原创 通过Sqoop工具将Oracle数据库中的表数据导入到Hive的过程

Sqoop是一款开源的工具主要用于在Hadoop(Hive,HBasw)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关...

2017-04-10 15:05:58 3732 0

原创 Sqoop将Oracle数据导入Hive时出现异常 running import job: java.io.IOException: Hive exited with status 1

[root@node2 sqoop-1.4.6]# sqoop import --connect jdbc:oracle:thin:@192.168.8.110:1521:orcl --username SKY --password 123456 --table GJJY20150613 -m 8...

2017-03-30 10:13:05 4795 1

原创 通过sqoop导入Oracle数据到Hive时异常.IOException: Cannot run program "hive": error=2, No such file or directory

刚开始遇见这个异常的时候百思不得其解,Sqoop和HIve的环境配置绝对是没有问题的,最后在一个篇英文的解释中看到了解决方法,才恍然大悟。 这个异常 Cannot run program "hive": error=2, No such file or directory是说S...

2017-03-30 09:59:08 2866 0

原创 Eclipse错误:找不到或无法加载主类 解决办法

今天在撸代码,又遇到了找不到或者无法加载主类的情况,同一个项目,其他的类都可以照常运行,但是唯独只有这一个类出现这种情况。从网上百度了一下,说是jar包缺失,无法完成编译,可是我看了一下项目的Build Path,没发现少包。这里记录一下解决方法,防止以后遇到这种情况忘了如何解决。 解决方法:在...

2017-03-24 10:52:57 1836 0

转载 Oracle去除重复数据的方法

在网上看到这篇文章,感觉很不多,就记录下来 ,希望对大家能有些帮助!http://www.cnblogs.com/mq0036/p/3701602.html

2017-03-17 20:12:18 561 0

原创 Hbase 查询某一列的所有时间版本的数据

shell 命令 scan '表名称',{FILTER => "PrefixFilter ('rowkey')",RAW => true, VERSIONS => 10}

2017-03-17 09:50:18 3962 0

原创 Oracle查询某一列的重复部分

Oracle 查询某一列的重复部分

2017-03-17 09:46:36 4539 0

原创 启动ArcGIS Serer 端口冲突问题解决方法

启动ArcGIS Server (10.1)时提示端口冲突,好多功能启动不了,如下图所示: 解决方法: 1、在cmd命令中输入命令 netstat -ano|findstr "4000",找出端口4000被占用的进程; 2、任务管理器的进程中找到PID为1696的进程,...

2016-11-13 08:59:01 2052 0

提示
确定要删除当前文章?
取消 删除