sparkstreaming向mysql写数据

注意最后为什么使用了 rdd 的foreachPartition() package day5.KafkaSource import java.sql.{Connection, PreparedStatement} import kafka.serializer.StringDecode...

2019-04-12 15:55:22

阅读数 23

评论数 0

二分查找实现

package com.atguigu.sort /** * @author wade * @create 2019-04-08 20:26 */ object MyBinarySearch { def main(args: Array[String]): Unit = { ...

2019-04-08 20:47:41

阅读数 52

评论数 0

归并排序

package com.atguigu.sort import com.atguigu.sort.InsertSorrt.insertSort import scala.util.Random /** * @author wade * @create 2019-04-08 17:5...

2019-04-08 19:11:57

阅读数 8

评论数 0

快速排序

package com.atguigu.sort import scala.util.Random import scala.util.control.Breaks /** * @author wade * @create 2019-04-07 23:41 */ object...

2019-04-08 19:10:49

阅读数 5

评论数 0

插入排序

package com.atguigu.sort import com.atguigu.sort.SelectSort.selectSort import scala.util.Random /** * @author wade * @create 2019-04-07 23:09...

2019-04-08 18:50:25

阅读数 28

评论数 0

选择排序

package com.atguigu.sort import com.atguigu.sort.BubbleSore.bubbleSort import scala.util.Random /** * @author wade * @create 2019-04-07 22:45...

2019-04-08 18:49:42

阅读数 5

评论数 0

冒泡排序

package com.atguigu.sort import scala.util.Random /** * @author wade * @create 2019-04-07 22:15 */ object BubbleSore { def main(args: Arr...

2019-04-08 18:48:55

阅读数 9

评论数 0

kafka监控

1)在/opt/module/下创建kafka-offset-console文件夹 [atguigu@hadoop102 module]$ mkdir kafka-offset-console 2)上传KafkaOffsetMonitor-assembly-0.2.0.jar到kafka-of...

2019-03-29 18:23:01

阅读数 6

评论数 0

稀疏数组

-----原棋盘------ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 0 0 0 0 0 0 0 0 0 0 0...

2019-03-28 22:13:42

阅读数 19

评论数 0

几种kafka多线程消费方式

kafka API https://kafka.apache.org/0100/javadoc/index.html?org/apache/kafka/clients/consumer/KafkaConsumer.html 知乎关于多线程的回答https://www.zhihu.com/ques...

2019-03-28 13:17:45

阅读数 56

评论数 0

数仓项目kafka-hdfs

## 组件 a1.sources=r1 r2 a1.channels=c1 c2 a1.sinks=k1 k2 ## source1 a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource a1.sources.r1.batc...

2019-03-28 09:08:08

阅读数 50

评论数 0

关于通过ssh后台脚本启动几台主机的flume

脚本1 #!/bin/bash case $1 in "start"){ for i in hadoop101 hadoop102 do echo "---------正在启动 $i 的flume---------------" ssh ...

2019-03-28 09:00:44

阅读数 11

评论数 0

memorychannel的配置文件说明

The events are stored in an in-memory queue with configurable max size. It’s ideal for flows that need higher throughput and are prepared to lose the...

2019-03-28 08:47:08

阅读数 15

评论数 0

关于flume的拦截器

项目中我们需要对一个数据源读取到的数据,我们希望能够进到不同的channel,那么我们需要source的selectors和interceptors。 选择器默认使用的是replcation ,是复制模式,进入每个channel的数据都一样,这里我们选用 multiplexing 此项目拦截器...

2019-03-28 08:32:05

阅读数 16

评论数 0

ssh详解

作者:小a玖拾柒 出处:http://www.cnblogs.com/ftl1012/ SSH(远程连接工具)连接原理:ssh服务是一个守护进程(demon),系统后台监听客户端的连接,ssh服务端的进程名为sshd,负责实时监听客户端的请求(IP 22端口),包括公共秘钥等交换等信息。 ...

2019-03-28 08:22:33

阅读数 7

评论数 0

hive练习

学生课程成绩 use myhive; CREATE TABLE `course` ( `id` int, `sid` int , `course` string, `score` int ) ; // 插入数据 // 字段解释:id, 学号, 课程, 成绩 INSERT ...

2019-03-25 20:21:38

阅读数 10

评论数 0

关于flume的filechannel的一些配置与理解

checkpointDir ~/.flume/file-channel/checkpoint The directory where checkpoint file will be stored 检查点的目录 useDualCheckpoints false B...

2019-03-23 20:36:50

阅读数 246

评论数 0

项目服务器

tomcat分日志服务器 和业务服务器,我们项目用的这套,放在日志服务器可以。 我们这套项目,有专门生产日志的服务器,(业务服务器向日志服务器发送请求,日志服务器来生产),我们用flume来监控。 如果想直接在业务服务器里面,在web项目里面Controller里面直接写到kafk...

2019-03-23 08:54:53

阅读数 14

评论数 0

hive sql练习

字段说明: ** 用户名,月份,访问次数 数据内容如下 A,2015-01,5 A,2015-01,15 B,2015-01,5 A,2015-01,8 B,2015-01,25 A,2015-01,5 A,2015-02,4 A,2015-02,6 B,2015-02,10 B,2015-0...

2019-03-23 08:16:27

阅读数 12

评论数 0

SparkStreaming的ck

一个 Streaming Application 往往需要7*24不间断的跑,所以需要有抵御意外的能力(比如机器或者系统挂掉,JVM crash等)。为了让这成为可能,Spark Streaming需要 Checkpoint 足够多信息至一个具有容错设计的存储系统才能让Driver 从失败中恢复。...

2019-03-22 20:55:08

阅读数 16

评论数 0

提示
确定要删除当前文章?
取消 删除