- 博客(27)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 logstash常见数据清洗配置
ogstash通过插件的形式来配置input，filter，output，在消费数据后，如果需要对数据做处理,需要用到filter的很多功能。最近使用logstash传递kafka数据到es时，了解了一些logstash处理数据的方式，以下logstash的config做个简单分享:input { kafka { bootstrap_servers => "xxx.xxx.xxx.xx:9092,yyy.yyy.yyy.yy:9092," ##kafka地址，可以是集群...
2020-06-29 11:53:45
2150
1
转载 阿里新一代实时计算引擎 Blink，每秒支持数十亿次计算
原文地址https://mp.weixin.qq.com/s/S3FfkHYTr3kICFngA_Htpg?spm=a2c4e.11153940.blogcont90243.11.68826711iwPLU8作者介绍王峰，淘宝花名”莫问"，2006年毕业后即加入阿里巴巴集团，长期从事搜索和大数据基础技术研发工作，目前在计算平台事业部，负责实时计算北京研发团队。 在阿里巴巴的11年工...
2018-08-30 17:23:16
1902
转载 Python相关学习资料汇总（转自http://www.cnblogs.com/maybe2030/p/4552833.html）
是一种面向对象的解释性的计算机程序设计语言，也是一种功能强大且完善的通用型语言，已经有十多年的发展历史，成熟且稳定。Python 具有脚本语言中最丰富和强大的类库，足以支持绝大多数日常应用。Python语言有非常简捷、清晰的语法特点，适合完成各种高层任务，可以在所有操作系统中运行。目前，基于这种语言的相关技术正在飞速的发展，用户数量急剧扩大，相关的资源非常多。Python的创始人为Guido ...
2018-07-31 14:47:40
422
原创 Hadoop HA集群中主备切换问题
一次意外断电，Hadoop集群全部关机，重启后两个NameNode节点均是standby状态， 出现以下问题Operation category READ is not supported in state standby。解决方法：（ 切换命令） hdfs haadmin -transitionToActive --forcemanual nn1 再打开就ok了。...
2018-03-28 16:25:10
3939
原创 使用Echarts3.0做图表
主要包含以下几个步骤：1、第一步要引入 2、第二步在body中添加一个dom： div id="main" style="width: 600px;height: 400px;">div>1233、第三步初始化一个实例echarts.init()。 4、第四步指定图表的配置项和数据。 5、第五步显示图表 // 使用刚指定的配置项和数据显示图表
2017-11-11 19:53:48
353
转载 MyEclipse安装JS代码提示（Spket插件）
原文地址： http://blog.csdn.net/zhshulin/article/details/25635883近期需要大量使用JS来开发，但是MyEclipse2014自带的JS编辑器没有代码提示的功能，开发效率有点低，所以安装了一个Spket的插件，过程非常简单，SVN插件的安装比这个更简单。 Spket插件的安装：
2017-11-04 09:34:26
255
原创 Oracle数据库创建新用户并授予DBA权限
很多时候我们用拥有DBA权限的用户 从oracle数据库导出数据，那么再导入新的数据库时就还得需要DBA权限的用户，下面是如何创建一个新用户并授予DBA权限命令。1.用有dba权限的用户登录：sys用户2.创建一个新用户：create user abc identified by 123456;3.授予DBA权限： grant connect,resource,dba to abc;
2017-07-07 10:44:58
33627
1
原创 使用MapReduce从HBase中读取数据存入HDFS路径问题
使用MR读取HBases数据进行计算，然后输出到HDFS，在输出到HDFS时遇到了路径问题，让我纠结了好久，今天终于理解解决了，记录一下，希望对遇到同样问题的人有所帮助。 原始代码如下，出现了下面的异常，开始我百思不解，HDFS的路径怎么会和window本地路径有冲突呢？怎么会读取的是本地的路径？最后从网上查找资料和HBase源码发现HBSAE的TableMapReduceUtil
2017-06-08 11:17:52
1958
原创 通过Sqoop工具将Oracle数据导入到HBase
通过Sqoop工具可以将关系型数据库Oracle的数据导入HBase中，具体的操作步骤如下:1、在HBase中创建一个表，表名称为ecard，表的列簇为ic_info,2、写Sqoop命令来导入数据 sqoop import --append --connect jdbc:oracle:thin:@192.168.8.110:1521:orcl --username sky --p
2017-05-31 10:25:34
739
转载 Hbase 统计表行数的3种方式总结
有些时候需要我们去统计某一个Hbase表的行数，由于hbase本身不支持SQL语言，只能通过其他方式实现。可以通过一下几种方式实现hbase表的行数统计工作：1.count命令最直接的方式是在hbase shell中执行count的命令可以统计行数。[html] view plain copyhbase
2017-05-10 14:27:06
673
转载 oracle中的trim函数使用介绍
trim一般都是用在删除字符串两边的空格。实际上，trim也可以用来删除字符串两边的指定字符。并且trim指定删除的字符串只能是单个字符Oracle TRIM函数是很常见的函数，下面对Oracle TRIM函数的语法作了详尽的阐述说明，希望可以让您对Oracle TRIM函数有更深的认识。如果提到Oracle TRIM函数，最简单的功能就是使用它来去除字符串的行首和
2017-05-07 20:04:44
13007
转载 Java常见异常和解决办法
1、java.lang.ArithmeticException算术运算异常,因为除数为0，所以引发了算数异常2、Java.lang.StringIndexOutOfBoundsException: String index out of range: -1这是截取字符串substring()产生的下标越界异常。原因是可能是字符串为空，或长度不足1
2017-04-27 21:12:09
1387
原创 通过Sqoop将Oracle中表导入到HDFS时报错Error during import: No primary key could be found
我的Sqoop版本是1.4.6，在利用Sqoop将Oracle数据导入到HDFS时候回出现一些异常，因此我们我们要注意以下几点： sqoop import --connect jdbc:oracle:thin:@192.168.8.110:1521:orcl --table TRANS_GJJY02 --username sky --password 123456 -m 8 --ta
2017-04-27 15:15:58
4552
1
原创 启动HBase抛出org.apache.hadoop.hbase.ClockOutOfSyncException异常
有一段时间没有启动过Hbase,重新启动HBase数据库时候，发现有一个节点没有启动，查看其启动日志，可以看到它抛出了ClockOutOfSyncException异常，具体的异常如下所示：2017-04-23 20:18:28,975 FATAL [regionserver/node2/192.168.8.119:16020] regionserver.HRegionServer: Mast
2017-04-26 11:04:07
3517
1
原创 HBase运行中抛出异常org.apache.hadoop.hbase.client.ScannerTimeoutException
我的HBase版本是1.1.3,在进行scan时候抛出ScannerTimeoutException异常，具体如下： Exceptioninthread”main”java.lang.RuntimeException:org.apache.hadoop.hbase.client.ScannerTimeoutException: 143538ms passed since the last
2017-04-25 19:52:04
2282
原创 通过JDBC来连接Hive
在大数据分析中，Hive作为历史数据挖掘分析工具，用到的很多，我们可以通过Hive的命令行来很方便地操作Hive中的数据,但是很多时候我们都需要将Hive的操作融入到编程环境中去，而Hive提供了JDBC接口，因而我们可以很方便地通过JDBC来操作Hive。下面就记录一下通过JDBC来连接Hive的过程： 第一步：启动集群中的Mysql服务（在安装mysql的那个节点上）
2017-04-10 15:22:31
1231
原创 通过Sqoop工具将Oracle数据库中的表数据导入到Hive的过程
Sqoop是一款开源的工具主要用于在Hadoop(Hive，HBasw)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。将各种关系型数据导入Hive中，其实大同小异，这里就以Oracle数据为例
2017-04-10 15:05:58
4713
原创 Sqoop将Oracle数据导入Hive时出现异常 running import job: java.io.IOException: Hive exited with status 1
[root@node2 sqoop-1.4.6]# sqoop import --connect jdbc:oracle:thin:@192.168.8.110:1521:orcl --username SKY --password 123456 --table GJJY20150613 -m 8 --hive-importWarning: /home/sqoop-1.4.6//../hcat
2017-03-30 10:13:05
6998
1
原创 通过sqoop导入Oracle数据到Hive时异常.IOException: Cannot run program "hive": error=2, No such file or directory
刚开始遇见这个异常的时候百思不得其解，Sqoop和HIve的环境配置绝对是没有问题的，最后在一个篇英文的解释中看到了解决方法，才恍然大悟。这个异常 Cannot run program "hive": error=2, No such file or directory是说Sqoop没有找到Hive，我才想到我是将Sqoop部署在node1节点上。而Hive则是部署在了node2节点上，而
2017-03-30 09:59:08
3773
原创 Eclipse错误：找不到或无法加载主类 解决办法
今天在撸代码，又遇到了找不到或者无法加载主类的情况，同一个项目，其他的类都可以照常运行，但是唯独只有这一个类出现这种情况。从网上百度了一下，说是jar包缺失，无法完成编译，可是我看了一下项目的Build Path,没发现少包。这里记录一下解决方法，防止以后遇到这种情况忘了如何解决。解决方法：在src文件夹上右键Build Path-use as Source Folder,重新进行编译，一切就
2017-03-24 10:52:57
4452
1
转载 Oracle去除重复数据的方法
在网上看到这篇文章，感觉很不多，就记录下来 ，希望对大家能有些帮助！http://www.cnblogs.com/mq0036/p/3701602.html
2017-03-17 20:12:18
977
原创 Hbase 查询某一列的所有时间版本的数据
shell 命令scan '表名称',{FILTER => "PrefixFilter ('rowkey')",RAW => true, VERSIONS => 10}
2017-03-17 09:50:18
6224
原创 启动ArcGIS Serer 端口冲突问题解决方法
启动ArcGIS Server （10.1）时提示端口冲突，好多功能启动不了，如下图所示：解决方法：1、在cmd命令中输入命令 netstat -ano|findstr "4000",找出端口4000被占用的进程；2、任务管理器的进程中找到PID为1696的进程，然后点击结束任务就可以了3、重启启动 ArcGIS Server，就会发现 启动成功！
2016-11-13 08:59:01
2716
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人