大数据
77ai宝贝
这个作者很懒,什么都没留下…
展开
-
Kettle使用命名参数读取目录下多个dbf文件
Kettle命名参数的使用最近遇到一个项目,需要将一个文件夹下dbf文件中的数据输出到数据库。发现可以通过kettle中的Xbase文件输入读取dbf文件,Xbase文件输入只能读取一个文件,且无法通过获取文件名打开多个文件(会提示报错)最后通过使用命名参数的方式实现了该功能。作业整个作业包括:转换1:获取文件名步骤一:获取文件名通过正则表达式获取文件夹下所有d开头.dbf结尾的文件步骤二:字段选择选择需要的字段步骤三:复制记录到结果有了这一步就可以在作业中的下一个转换获得该原创 2020-06-06 11:40:42 · 1746 阅读 · 0 评论 -
yarn一直自动生成用户为dr.who的application
之前用三台云服务器搭建完集群后发现任务运行的特别慢 yarn:8088页面后发现有很多奇怪的任务在跑而且这些任务怎么都完不成还一直在生成,查看各种log日志怎么也没有exception。后来看了https://www.cnblogs.com/daxiangfei/p/9198856.html 才发现原来是被攻击了。查看进程发现cup占用异常的高应该是黑客用机器去挖矿了。。。。。解决方法:...原创 2019-03-02 11:35:18 · 3032 阅读 · 0 评论 -
配置hbase+zookeeper时遇到的问题
今天在配置hbase+zookeeper时遇到了问题,使用list和create语句时没有问题,但是使用put语句一直报错:put ‘students’, ‘stud003’, ‘info:name’, ‘Tom’2019-03-09 13:39:08,238 ERROR [main] client.AsyncProcess: Failed to get region locationorg...原创 2019-03-09 14:42:40 · 1472 阅读 · 0 评论 -
MapReduce自定义对象的排序
当我们在使用MapReduce自定义对象时会遇到需要对其进行排序的问题,这时我们就可以通过实现MapReduce的WritableComparable接口实现自定义排序的功能。这里举一个对员工对象排序的例子。 1. 首先我们创建一个员工对象:public class Emp implements Writable { private int empno; private String...原创 2019-03-04 11:56:28 · 675 阅读 · 0 评论 -
大数据相关Maven依赖总结
1、Zookeeper<dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <version>3.4.10</version></dependency>2、JUn...原创 2019-03-19 16:47:39 · 325 阅读 · 0 评论 -
在云服务器上配置elasticsearch集群
最近在学习elasticsearch,准备在之前的三台云服务器上搭建elasticsearch集群,可是集群直接连接总是连接不通org.elasticsearch.transport.ConnectTransportException: [node-1][172.21.0.8:9300] connect_timeout[30s] at org.elasticsearch.transport.T...原创 2019-03-19 17:04:26 · 1028 阅读 · 1 评论 -
elasticsearch启动过程中被自动killed
elasticsearch无法正常启动,启动过程中被自动killed配置完elassearch后,发现elassearch无法和hadoop集群同时启动,已启动hadoop集群elassearch就会自动被killed,在启动elassearch时刚一开始就会被killed掉[admin@bigdata111 elasticsearch-6.1.1]$ bin/elasticsearch [...原创 2019-03-20 11:32:11 · 7279 阅读 · 0 评论