canal的使用---2

工作原理 mysql主备复制实现 从上层来看,复制分成三步: master将改变记录到二进制日志(binary log)中(这些记录叫做二进制日志事件,binary log events,可以通过show binlog events进行查看); slave将master的binary l...

2019-03-09 16:52:03

阅读数 43

评论数 0

mysql实现主从复制

今天说一下MySQL的主从复制如何做到! 准备工作: 1.两个虚拟机:我这里用的是CentOS5.5,IP地址分别是192.168.1.101 和192.168.1.105;        101做主服务器,105做从服务器(都已经安装相同版本的Mysql); 2.本机环境:Apache+...

2019-03-09 16:39:49

阅读数 167

评论数 0

kafka之直连方式

直连方式: import kafka.common.TopicAndPartition import kafka.message.MessageAndMetadata import kafka.serializer.StringDecoder import kafka.utils.{ZKGro...

2018-11-29 15:29:12

阅读数 376

评论数 0

sparkStreaming-获取kafka数据并按批次累加

sparkStreaming-获取kafka数据并按批次累加 import org.apache.spark.{HashPartitioner, SparkConf} import org.apache.spark.streaming.dstream.ReceiverInputDStream ...

2018-11-29 15:28:47

阅读数 514

评论数 0

udf和udaf

UDF:计算单词的长度 import org.apache.spark.sql.types.{StringType, StructField, StructType} import org.apache.spark.sql.{Row, SparkSession} object udfDemo...

2018-11-29 12:51:45

阅读数 199

评论数 0

统计所有用户对每个学科的各个模块的访问次数,再取Top3

如有一下的数据: 20161123101523 http://java.learn.com/java/javaee.shtml 20161123101523 http://java.learn.com/java/javaee.shtml 20161123101523 ht...

2018-11-29 11:25:11

阅读数 373

评论数 0

StructuredStreaming

import org.apache.spark.sql.{DataFrame, Dataset, SparkSession} object StructuredStreamingDemo { def main(args: Array[String]): Unit = { //获取程...

2018-11-16 00:30:05

阅读数 76

评论数 0

Redis之统计人物出现的次数

import redis.clients.jedis.Jedis; import java.util.Random; public class SetPlayer { private static Jedis jedis = new Jedis("192.168.88...

2018-11-14 21:00:40

阅读数 424

评论数 0

使用list实现生产者消费者

1.生产者: import redis.clients.jedis.Jedis; import java.util.Random; import java.util.UUID; //实现存list类型的数据,模拟生产者 public class TaskProducer { pri...

2018-11-14 20:34:51

阅读数 98

评论数 0

将对象以json的形式写入

1. 首先创建一个Product类,并实现序列化 import java.io.Serializable; //将类的对象按照字符串格式存到redis public class Product implements Serializable{ private String name;...

2018-11-14 20:27:26

阅读数 866

评论数 0

基于hush的模拟类似于购物车的功能-HushDemo

//实现类似于购物车的功能 import redis.clients.jedis.Jedis; import java.util.Map; public class HushDemo { private static Jedis jedis = new Jedis("1...

2018-11-14 20:09:54

阅读数 62

评论数 0

Redis操作String类型

import redis.clients.jedis.Jedis; import redis.clients.jedis.JedisPool; //简单的String类型 public class JedisClient { public static void main(Strin...

2018-11-14 20:00:40

阅读数 105

评论数 0

基于kafka的SparkStraming的WC--SparkStramingKafkaWC

import org.apache.spark.SparkConf import org.apache.spark.streaming.dstream.ReceiverInputDStream import org.apache.spark.streaming.kafka.KafkaUtils ...

2018-11-14 19:53:43

阅读数 120

评论数 0

基于kafka模拟生产者和消费者

zookeeper的启动脚本: #!/bin/sh echo "start zookeeper server..." hosts="hadoop0300 hadoop0301 hadoop0302" for host ...

2018-11-14 19:43:03

阅读数 1791

评论数 1

基于spark sql 统计爬取到的个网站的一天访问量

数据: import org.apache.spark.sql.{DataFrame, SparkSession} object words1 { def main(args: Array[String]): Unit = { val session = SparkSessi...

2018-11-14 19:09:26

阅读数 312

评论数 0

spark streaming中窗口函数的简单实用windowOpObj

import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} object windowOpObj { def main(args: Array[String...

2018-11-14 16:47:06

阅读数 191

评论数 0

基于sparksql的WC

import org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession} object sparkSqlWC { def main(args: Array[String]): Unit = { //定义一个sparkSe...

2018-11-14 16:38:23

阅读数 138

评论数 0

spark中join的简单操作

(1)RDD之间的join import org.apache.spark.sql.SparkSession object joinDemo { //BroadcastHashJoin def main(args: Array[String]): Unit = { val ...

2018-11-11 15:38:22

阅读数 603

评论数 0

spark 求相邻的元素有多少个?

数据: 数据 A;B;C;D;B;D;C B;D;A;E;D;C A;B 如上面的数据,A,B有两个 C,D有一个 D,C有两个 /* A;B;C;D;B;D;C B;D;A;E;D;C A;B */ object Demo2 { def main(args: Arr...

2018-11-11 14:59:22

阅读数 75

评论数 0

基于2.11.8版本的DataFrame的使用sql

  (1)DataFrame使用 import org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession} object sparkSqlWC { def main(args: Array[String]): Unit = ...

2018-11-11 14:45:38

阅读数 245

评论数 0

提示
确定要删除当前文章?
取消 删除