kettle写入hadoop中——AccessControlException

本文主要介绍如何通过kettle写入到hdfs中,同时提供一个简单的demo。 好,下面上货。 1、新建一个转换,如下图: 2、执行转换,查看结果:   uuid;uuid2 a2d5022e-0ace-4978-bc01-82a46025078f;515n2b280cij7 5c...

2018-12-04 08:10:14

阅读数 122

评论数 0

kettle连接cdh——读取hdfs中的数据

目前pentaho——kettle已经到了8.1的版本了,本文主要介绍如何利用kettle进行大数据处理。 好,下面上货。 1、下载shims,简单的说这个shim可以理解成针对不同cdh的版本的插件,具体下载地址在这里: 我用的是cdh510. https://sourceforge.n...

2018-12-03 00:16:55

阅读数 103

评论数 0

spark学习(五)——分区数据

spark在处理的数据在内部是分partition的。 除非是在本地新建的list数组才需要使用parallelize。保存在hdfs中的文件,在使用spark处理的时候是默认分partition的。 我们可以使用getNumPartitions()获取当前rdd的partition的信息。 ...

2018-12-01 10:12:34

阅读数 1175

评论数 0

spark1.6学习(四)——计算pv和uv的例子

本文主要介绍如何通过spark进行pv和uv的计算。一般我们经常会计算pv和uv,那么我们计算pv和uv的时候是不是性能最优的呢?   好,我们开始看例子: 首先看一下数据: {"flag":"sendTemplateMessage&...

2018-11-29 01:56:39

阅读数 108

评论数 0

spark1.6学习(三)——spark-submit问题INFO yarn.Client: Application report for application_1540605321820_0009

spark-submit 当换成yarn-client方式运行的时候会一直出现提示: 18/10/27 02:06:50 INFO yarn.Client: Application report for application_1540605321820_0009 (state: ACCEPTE...

2018-11-28 22:37:04

阅读数 205

评论数 0

spark1.6学习(三)——spark-submit

参考: http://spark.apache.org/docs/1.6.0/submitting-applications.html#master-urls 这里详细介绍了一下spark-submit的参数使用和功能,需要看一下。 这里遇到问题,当换成yarn-client方式运行的时候会一...

2018-11-28 00:10:59

阅读数 63

评论数 0

spark1.6学习(二)——独立的python程序运行pyspark

本篇文章主要介绍如何使用独立的python程序运行pyspark。 一般,我们在测试的时候可以使用pyspark进行简单的交互,但是在线上具体使用的程序,我们需要使用一个完整的pyspark程序的。 主要参考:http://spark.apache.org/docs/1.6.0/quick-s...

2018-11-28 00:08:37

阅读数 126

评论数 0

spark1.6学习(一)——shell端简单使用demo

本文主要介绍spark的基本操作,以shell端的操作为主,介绍通过pyspark在shell端操作时需要注意的一些点。 主要参考:http://spark.apache.org/docs/1.6.0/quick-start.html 1、首先创建文件 aa:bb:cc:dd ee:ff:...

2018-11-28 00:04:52

阅读数 83

评论数 0

pentaho8.1安装

本文主要介绍pentaho8.1的安装过程,重点介绍pentaho-server的安装。 针对pentaho在线上使用必须使用mysql作为数据源,我们本次就以mysql作为数据源。 下载地址:https://community.hitachivantara.com/docs/DOC-1009...

2018-11-03 18:10:47

阅读数 471

评论数 0

pentaho隐藏登录按钮下的“Login as an evaluator”

<login-show-sample-users-hint>false</login-show-sample-users-hint> 在pentaho的配置文件中 pentaho-server/pentah...

2018-11-03 17:48:13

阅读数 117

评论数 0

pig基本语法——order by limit

主要参考: https://book.itxueyuan.com/3b7D/XDBe   基础数据: ============================================== [root@cdh1 data]# cat demodata xiaoxiao,12,12...

2018-09-16 19:25:05

阅读数 187

评论数 0

pig基本语法——filter distinct foreach

1、主要参考: https://book.itxueyuan.com/3b7D/9PxP   filter主要用户过滤数据,根据条件查询 基础数据: ============================================== [root@cdh1 data]# cat...

2018-09-16 19:24:41

阅读数 153

评论数 0

pig基本语法——union和split

union用于连接结构相同的表,split可以根据条件拆分表。 1、基础数据: ============================================== [root@cdh1 data]# cat demodata xiaoxiao,12,12.1f aaa,13,1...

2018-09-16 19:23:56

阅读数 124

评论数 0

pig基本语法——cross

主要参考: https://book.itxueyuan.com/3b7D/w5wQ   1、基础数据: ============================================== [root@cdh1 data]# cat demodata xiaoxiao,12,...

2018-09-16 19:23:12

阅读数 104

评论数 0

pig基本语法——join

主要参考: https://book.itxueyuan.com/3b7D/PDLO 1、基础数据: ============================================== [root@cdh1 data]# cat demodata xiaoxiao,12,12....

2018-09-16 19:22:43

阅读数 190

评论数 0

pig基本语法——group cogroup

主要参考: https://book.itxueyuan.com/3b7D/open https://book.itxueyuan.com/3b7D/6AGg 基础数据 # cat /root/xytest/pig/data/demodata xiaoxiao,12,12.1 aaa,...

2018-09-16 19:22:08

阅读数 80

评论数 0

pig基本语法——输入输出存储查看结构

参考官网地址: http://pig.apache.org/docs/r0.17.0/basic.html   基础数据 # cat /root/xytest/pig/data/demodata xiaoxiao,12,12.1 aaa,13,1.1 kjkj,12,12.1 dd...

2018-09-16 19:21:17

阅读数 82

评论数 0

pig入门 基本的Hello-world

1、pig能够使用很多种方式,本地交互方式和集群mapreduce方式等。具体可以在官网上查看,网址:http://pig.apache.org/docs/r0.17.0/start.html   2、我们先使用本地文件方式。这种方式一般是在开发的时候使用的,因为开发的时候需要速度快一些,使用...

2018-09-15 11:19:31

阅读数 96

评论数 0

spring boot定时任务中新建线程如何做到可控终止

最近遇到这样的需求,要求是定时的执行任务,但是这些任务能够根据控制及时的停止。 首先定时任务可以直接使用spring中的schedule注解方式实现。那么如何控制已经启动的任务及时停止呢?   下面说一下思路。首先利用spring的schedule注解方式进行定时任务的执行。然后,在每个定时...

2018-09-14 23:35:10

阅读数 830

评论数 0

python 添加日志

python使用logging配置日志,方式如下: 1、添加日志配置文件 [loggers] keys=root,simpleExample,app,generateImg [handlers] keys=fileHandler,consoleHandler [formatters] k...

2018-09-09 22:24:10

阅读数 199

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭