- 博客(7)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Kafka的学习与使用
Kafka的学习与使用一、Kafka简介定义：Kafka是一种消息队列，主要用来处理大量数据状态下的消息队列，一般用来做日志的处理。既然是消息队列，那么Kafka也就拥有消息队列的相应的特性了。特点：分区式(预分区)、分布式、多副本、多订阅者消息持久化、高吞吐、分布式消费消息传递模式：发布者kafkaProducer -kafka server-订阅者kafkaConsumer模式耦合的状态表示当你实现某个功能的时候，是直接接入当前接口，而利用消息队列，可以将相应的消息发送到消息队列，这样
2021-07-30 15:12:16
380
原创 Flume + Kafka 结合案例
Flume + Kafka 结合案例创建Kafka主题启动kafka服务kafka-server-start.sh /opt/software/kafka/kafka280scala212/config/kraft/server.properties创建主题kafka-topics.sh --create --topic prolog_01 --partitions 1 --replication-factor 1 --bootstrap-server singlechen:9092创建F
2021-07-30 14:20:47
383
原创 SCALA、SPARK操作Mysql
SCALA、SPARK操作MysqlSCALA操作Mysql1.Jar包依赖 <!-- 连接mysql--> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.47</version> </dependenc
2021-07-27 15:38:28
700
原创 Scala中Array算子总结
Scala中Array算子总结提取元素 23 个arr.foreach(f:t => Unit) //一个foreach可以解析一层（维）数据val head: Int = arr.head //获取集合的第一个元素 arr空则报错val last: Int = arr.last //获取集合的最后一个元素 arr空则报错val head: Option[T] = arr.headOption //获取集合的第一个元素 arr空则返回Noneval last: Option[T] = a
2021-07-14 08:14:24
584
原创 MyBatis---sql映射文件
MyBatis—sql映射文件一、MySQL数据库对应的数据表二、Java实体类创建2.1、User类（负责用户登录）package cn.kgc.entity;public class User { private String user_account; private String user_pass; public User(String user_account, String user_pass) { this.user_account =
2021-07-06 18:45:31
421
原创 Flume的学习与使用
Flume的学习与使用一、Flume的简介1.1、Flume的作用Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。其最主要的作用就是，读取服务器本地磁盘的数据，将数据写入HDFS1.2 、Flume的基本组件...
2021-07-05 22:03:27
546
1
原创 利用Java将Mysql中的数据迁移到Hbase
利用Java将Mysql中的数据迁移到Hbase因为sqoop1.4.6/1.4.7 只支持向 Hbase 1.x 版本中导入数据，所以在使用Hbase 2以上的版本后需要解决其数据导入问题。配置文件内容hbase.zookeeper.quorum=192.168.64.180mysql.driver=com.mysql.jdbc.Drivermysql.url=jdbc:mysql://192.168.64.180:3306/schoolmysql.username=rootmysql.pa
2021-07-01 17:37:10
805
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人