Azkaban集群配置

1、Azkaban下载 官方下载地址,gradle项目需要自己编译打包。下载以下三个: (1)Azkaban-web-server:azkaban-web-server-3.10.0.tar.gz (2)Azkaban-executor-server:azkaban-exec-server-...

2019-01-08 10:05:00

阅读数 183

评论数 1

win10安装ElasticSearch6.3.2+Kibana6.3.2

1、ElasticSearch和Kibana下载:https://www.elastic.co/downloads,版本要保持一致。 2、ElasticSearch的配置 (1)修改配置文件config/elasticsearch.yml a、文件末尾添加 http.cors.enabl...

2018-12-29 14:39:17

阅读数 166

评论数 0

Springboot动态定时任务

1、动态定时任务 重点在于Trigger。采用Cron格式设置时间,时间存在redis中。比如key为crontime,value设置为10分钟, 即crontime = "0 0/10 * * * ?"。在redis中人为修改时间,任务会在下个定时周期生效...

2018-12-29 13:56:23

阅读数 54

评论数 0

ElasticSearch的Client创建方式

1、Elasticsearch 创建Client有几种方式 (1)方式一 import static org.elasticsearch.node.NodeBuilder.*; //节点方式创建。 Node node = nodeBuilder().clusterName(&quot...

2018-12-27 10:21:17

阅读数 129

评论数 0

微软Windows 10更新十月版17763 MSDN官方ISO镜像正式版下载大全

今天微软正式发布了2018 Windows 10更新十月版正式版。用户可以通过易升更新助手和Windows更新进行升级到最新的Win10 Build 17763,微软也将发布2018 Windows 10更新十月版17763正式版MSDN官方原版ISO镜像下载,IT之家将关注更新。 Window...

2018-12-15 19:31:18

阅读数 624

评论数 0

Spring + Hbase整合

1、版本说明 (1)spring版本:4.3.9.RELEASE (2)Hbase版本:1.1.2 (3)Hadoop版本:2.7.1 Hbase和hadoop的版本一定要与集群上的版本一致,不然程序会报方法不存在的各种异常! 2、Hbase和Hadoop的pom &am...

2018-12-09 12:16:41

阅读数 329

评论数 0

Scala下foreachPartition + Hbase快速写

介绍 工作中常常会遇到这种情形,需要将hdfs中的大批量数据导入HBase。本文使用Spark+HBase的方式将RDD中的数据导入HBase中。没有使用官网提供的newAPIHadoopRDD接口的方式。使用本文的方式将数据导入HBase, 7000W条数据,花费时间大概20分钟左右,本文Sp...

2018-11-19 18:23:11

阅读数 226

评论数 0

Idea搭建mybatis-generator

1、springboot 2.0 + mybatis+web + mysql +jdbc 搭建项目 2、pom.xml中引入mybatis-generator-maven-plugin,只需配置第二个plugin。之后会在Maven Projects的Plugins下自动生成一个mybatis-...

2018-11-17 18:49:04

阅读数 71

评论数 0

Sprigboot mvc配置及war包部署

1、项目中新建目录webapp/WEB-INF/jsp,并配置依赖 2、application.yml中添加mvc配置 spring: mvc: view: prefix: /WEB-INF/jsp/ suffix: .jsp stat...

2018-11-16 17:44:37

阅读数 50

评论数 0

Springboot中使用logback分类输出日志

1、logback配置  Springboot2.0默认集成了logback,无需再引入logback包。springboot会自动启用resources下的logback-spring.xml,无需在application.yml中特意指定其路径。日志具体配置如下: 官方配置的日志输出格式:...

2018-11-15 14:36:35

阅读数 79

评论数 0

Elasticsearch5.6.11+Ik分词器和自定义词库的配置与使用

1、Ik分词器下载 在https://github.com/medcl/elasticsearch-analysis-ik中下载对应版本的IK分词器elasticsearch-analysis-ik-5.6.11.zip。 2、Ik分词器配置 在elasticsearch-5.6.11根目录...

2018-10-09 18:02:43

阅读数 719

评论数 0

SpringBoot+ElasticSearch整合

1、在使用SpringBoot整合Elasticsearch 之前,了解下它们之间的版本对应关系: Spring Boot Version (x) Spring Data Elasticsearch Version (y) Elasticsearch Version (z) x ...

2018-10-08 16:16:34

阅读数 781

评论数 0

win10安装ElasticSearch6.3.0+Head插件

1、Elasticsearch简介 (1)ElasticSearch是一个基于Lucene的搜索服务器,其实就是对Lucene进行封装,提供了 REST API 的操作接口,作为一个高度可拓展的开源全文搜索和分析引擎,可用于快速地对大数据进行存储,搜索和分析。 (2)ElasticSearch主...

2018-09-28 17:27:52

阅读数 701

评论数 0

Spark算子:RDD分区中的元素和数量统计

1、分区逻辑 Spark RDD是被分区的,在生成RDD时候,一般可以指定分区的数量,如果不指定分区数量,当RDD从集合创建时候,则默认为该程序所分配到的资源的CPU核数,如果是从HDFS文件创建,默认为文件的Block数。 2、分区元素统计 可以利用RDD的mapPartitionsWit...

2018-09-27 10:47:26

阅读数 64

评论数 0

Spark算子:RDD创建的方式

创建RDD大体分为两类方式:(1)通过集合创建;(2)通过外部存储创建。 1、通过集合方式 (1)parallelize:def parallelize[T](seq: Seq[T], numSlices: Int = defaultParallelism)(implicit arg0: Cl...

2018-09-21 10:28:53

阅读数 63

评论数 0

Spark算子:transformation之键值转换partitionBy、mapValues、flatMapValues

1、partitionBy:def partitionBy(partitioner: Partitioner): RDD[(K, V)] 该函数根据partitioner函数生成新的ShuffleRDD,将原RDD重新分区。 scala> var rdd1 = sc.m...

2018-09-21 10:16:24

阅读数 39

评论数 0

Spark算子:transformation之键值转换leftOuterJoin、rightOuterJoin、subtractByKey

1、leftOuterJoin 1)def leftOuterJoin[W](other: RDD[(K, W)]): RDD[(K, (V, Option[W]))] 2)def leftOuterJoin[W](other: RDD[(K, W)], numPartitions: Int):...

2018-09-21 10:12:05

阅读数 37

评论数 0

Spark算子:transformation之键值转换join、cogroup

1、join 1)def join[W](other: RDD[(K, W)]): RDD[(K, (V, W))] 2)def join[W](other: RDD[(K, W)], numPartitions: Int): RDD[(K, (V, W))] 3)def join[W](oth...

2018-09-21 10:03:51

阅读数 32

评论数 0

Spark算子:transformation之键值转换combineByKey、foldByKey

1、combineByKey 1)def combineByKey[C](createCombiner: (V) => C, mergeValue: (C, V) => C, mergeCombiners: (C, C) => C...

2018-09-21 09:51:42

阅读数 29

评论数 0

Spark算子:transformation之键值转换groupByKey、reduceByKey、reduceByKeyLocally

1、groupByKey 1)def groupByKey(): RDD[(K, Iterable[V])] 2)def groupByKey(numPartitions: Int): RDD[(K, Iterable[V])] 3)def groupByKey(partitioner: Par...

2018-09-21 09:42:38

阅读数 80

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭