大数据
微瞰技术
java
展开
-
Flume基础学习
Flume是一款非常优秀的日志采集工具。支持多种形式的日志采集,作为apache的顶级开源项目,Flume再大数据方面具有广泛的应用首先需要在Flume的解压目录中conf文件夹中将flume-env.sh.templete更改未flume.env.sh并修改jdk的位置Source我们可以从Avro,NetCat。Http,TailDir。我们在Java开发中通常都是使用的log4j等日...原创 2020-02-13 09:55:00 · 772 阅读 · 0 评论 -
Yarn部署以及可能出现的问题
Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处Hadoop内置了Yarn管理工具,我们只需要进行一定的配置就行了编辑mapred-site.xmlha...原创 2019-07-08 07:36:36 · 792 阅读 · 0 评论 -
第一个Spark程序之Spark本地程序
程序和源数据均为本地源数据和程序代码{"name":"Michael"}{"name":"Andy", "age":30}{"name":"Justin", "age":19}import org.apache.spark.sql.SQLContextimport org.apache.spark.{SparkConf, SparkContext}object SQLContex...原创 2019-07-16 08:05:09 · 284 阅读 · 0 评论 -
Scala基础
scala基础变量定义val定义不可变变量var 定义可变变量自动推断类型定义数组时写入类型def main(args: Array[String]): Unit = { val intArr = new Array[Int](3) intArr(0) =12 intArr(1) =13 intArr(2) =14 for(i<-0 to 2){ pr...原创 2019-07-29 07:09:08 · 221 阅读 · 0 评论 -
Flink入门(一)(Java和scala)
Flink批处理从文件中读取单词,计算频次Scala版本import org.apache.flink.api.scala.ExecutionEnvironmentobject BatchWordCountJob { def main(args: Array[String]) { val env = ExecutionEnvironment.getExecutionEnvi...原创 2019-09-10 06:59:12 · 3734 阅读 · 0 评论 -
Flink入门(二)(使用kafka作为sink和source)
在Mac电脑上安装使用kafka使用kafka需要先安装zookeeper作为注册中心,在Mac上可以先安装homebrew然后再使用homebrew作为工具安装kafka和zookeeperbrew install kafkabrew install zookeeper进入 /usr/local/Cellar下分别启动kafka和zookeeper启动命令为zookeeper命令...原创 2019-09-10 07:19:09 · 3251 阅读 · 0 评论 -
spark连接mysql(scala)版本
最近在了解学习大数据相关的内容,然后一般来说。连接数据库或者Hive等数据源是比较重要的部分,所以在这里先尝试了使用mysql作为数据源来连接并在控制台展示数据 val conf = new SparkConf().setAppName("SparkMysql").setMaster("local") val sc = new SparkContext(conf) val ...原创 2019-09-24 22:13:24 · 839 阅读 · 0 评论 -
基于mysql binlog实现的增量数据抽取
前几篇文章介绍了关于一些大数据的相关内容。但是实际生产中数据往往都是数仓的构建都是基于数据库的改变做的。Oracle和Sql server都有基于CDC的数据仓库构建方案。而mysql目前已知的方案就是基于binlog来构建数仓。也可以结合binlog和前文所讲的flink做一些实时计算代码binlogDtopackage com.example.demo.dto;public clas...转载 2019-09-26 21:55:53 · 2415 阅读 · 0 评论