UniqueChunBlog

大数据学习随笔!

Streaming黑名单过滤(transform算子的使用)

原始数据: 20180808,zs 20180808,ls 20180808,ww 黑名单列表: zs ls 思路: 1、原始日志可以通过Streaming直接读取成一个DStream 2、名单通过RDD来模拟一份 逻辑实现: 1、将DStream转成(黑名单只有名字) (zs,(201808...

2019-01-10 16:23:41

阅读数 117

评论数 0

UpdateStateByKey算子

具体用法参考官网UpdateStateByKey Operation updateStateByKey操作允许您在使用新信息不断更新时保持任意状态。 要使用它,您必须执行两个步骤。 定义状态 - 这个状态可以是任意的数据类型 定义状态update函数 - 用这个函数指定如何使用先前状态和新输入流...

2019-01-10 16:06:25

阅读数 72

评论数 0

SparkSQL groupBy的使用

数据格式(消费者ID 消费时间 消费金额) 1 12:01 100 1 12:02 200 1 12:50 100 2 12:50 100 3 13:01 200 需求:统计每个小时,每个用户的消费总额 思路步骤: 1、id加上时间的小时部分(前两位)作为key 2、使用sparkSQl里面的 ...

2019-01-08 11:12:52

阅读数 564

评论数 0

Flink MongoDBSink

MongoUtils package com.soul.utils; import com.mongodb.MongoClient; import com.mongodb.MongoCredential; import com.mongodb.ServerAddress; import jav...

2018-12-24 15:45:03

阅读数 290

评论数 0

Spark迁移Hive数据到MongoDB(UpdateSave|UpsertSave)

Hive emp表数据 hive (soul)> select * from emp; OK emp.empno emp.ename emp.job emp.age emp.deptno 7369 SMITH CLERK 24 10 7499 ALLEN SA...

2018-12-20 19:39:58

阅读数 67

评论数 0

Flink清洗Kafka数据存入MySQL测试

版本信息: Flink Version:1.6.2 Kafka Version:0.9.0.0 MySQL Version:5.6.21 Kafka 消息样例及格式: 1.74.103.143 2018-12-20 18:12:00 "GET /class/...

2018-12-20 18:40:38

阅读数 729

评论数 0

MongoDB的安装及简单使用

本文讲述的是在Mac上如何安装,如果与本文环境不同可以百度自行安装(MongoDB支持Windows、Linux、OS)。 一、安装&启动 进入 /usr/local cd /usr/local 下载 sudo curl -O https://fastdl.mongodb...

2018-12-18 21:44:25

阅读数 92

评论数 0

Mac 安装Hadoop-2.6.0-cdh5.7.0伪分布式

下载Hadoop-2.6.0-cdh5.7.0 单机下载自己需要的版本,我下载的是hadoop-2.6.0-cdh5.7.0 一. 解压 tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C xxxxxxxx(自己想放的路径) 二 . 配置 进入etc/had...

2018-09-24 20:52:30

阅读数 205

评论数 0

JAR_PARM

JAR_PARM=find ./lib -name *.jar | grep jar | xargs | sed's //,/g'

2018-06-14 20:40:47

阅读数 65

评论数 0

Hive配置显示当前数据库及表字段

hive-site.xml添加以下参数: <property> <name>hive.cli.print.current.db</name> ...

2018-06-08 21:57:41

阅读数 727

评论数 0

从输入的SQL参数中获取表名及字段名

工具类 package com.isoft.mongo;/* * @Author: Create by Achun *@Time: 2018/6/3 23:20 * */ import java.util.ArrayList; import java.util.List; publi...

2018-06-03 23:42:25

阅读数 667

评论数 0

Spark读取mongoDB数据写入Hive普通表和分区表

版本: spark 2.2.0 hive 1.1.0 scala 2.11.8 hadoop-2.6.0-cdh5.7.0 jdk 1.8 MongoDB 3.6.4 一 原始数据及Hive表 MongoDB数据格式 { "_...

2018-06-03 23:18:15

阅读数 655

评论数 0

Spark RDD、DataFrame和DataSet的区别

在spark中,RDD、DataFrame、Dataset是最常用的数据类型,今天谈谈他们的区别! 一 、共性 1、RDD、DataFrame、Dataset全都是spark平台下的分布式弹性数据集,为处理超大型数据提供便利 2、三者都有惰性机制,在进行创建、转换,如map方法时,不会立即执...

2018-05-18 21:41:02

阅读数 132

评论数 0

Spark History Server Web UI配置

1.进入spark目录和配置文件 [root@hadoop01 ~]# cd /opt/app/spark/conf [root@hadoop01 conf]# cp spark-defaults.conf.template spark-defaults.conf 2.创建spark-hi...

2018-03-12 19:20:40

阅读数 356

评论数 0

kafka eagle安装与使用

一、概述 在开发工作当中,在使用 Kafka 集群进行消息的生产和消费时,数据的变动以及topic的管理是我们所关心的内容,这就要求一套行之有效的监控管理体系。常见的kafka监控软件有4种如下所示 Kafka Web Conslole :监控功能较为全面,可以预览消息,监控Offset、...

2018-03-12 19:10:58

阅读数 950

评论数 0

Caused by: java.lang.NoSuchMethodError: com.fasterxml.jackson.core.JsonFactory.requiresPropertyOrder

maven中添加 dependency> groupId>com.fasterxml.jackson.coregroupId> artifactId>jackson-coreartifactId> ...

2018-01-31 17:13:58

阅读数 1274

评论数 0

DN日志--Flume--Kafka

一、Flume收集的DN日志作为Kafka的生产数据,exec-memory-kafka.conf如下 a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = com.onlinelog.analysis.Exec...

2018-01-18 17:27:07

阅读数 103

评论数 0

DN日志--Flume--HDFS

Flume收集DataNode日志到HDFS之上 一、查看DN日志内容(已经将日志格式改造成了JSON),具体改造方法参考DN日志改造输出为JSON {"time":"2018-01-16 12:07:10,846","logtype"...

2018-01-16 12:15:45

阅读数 148

评论数 0

Flume编译报错: Failed to execute goal on project flume-ng-morphline-solr-sink: Could not resolve depende

Windows编译Flume源码时报以下错误: [ERROR] Failed to execute goal on project flume-ng-morphline-solr-sink: Could not resolve dependencies for project org.apach...

2018-01-15 18:12:41

阅读数 372

评论数 0

修改CDH进程NN、DN日志输出为JSON格式

我们知道SparkSQL是可以直接读取JSON数据的,如果我们要通过Flume采集日志通过Spark处理后进行可视化。那么将日志改造成JSON后在Spark处理阶段就非常方便了。 本文主要讲解如何将CDH中HDFS两个进程NN、DN日志改成JSON格式。 一、查看DN原始日志格式 201...

2018-01-15 12:06:42

阅读数 306

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭