- 博客(7)
- 收藏
- 关注
RSS订阅原创 Structured Streaming
2.2 编程2.2.1 Demo12.2.2 在服务器中开启web服务器3 spark streaming + kafka(重要)3.1 依赖版本spark streaming-kafka-0-8spark streaming-kafka-0-10broker0.8.2.1 or higher0.10.0 or higherAPIspark 2.2.0开始， 2.4.8之后废除鼓励新版本Receiveryesnodirect streamy
2022-06-10 16:16:31
522
原创 redis
2 Redis的五种常见数据类型2.1 参考资料2.2 五种常见类型2.2.1 字符串常用命令表格命令描述SET设置指定 key 的值GET获取指定 key 的值GETRANGE返回 key 中字符串值的子字符GETSET将给定 key 的值设为 value ，并返回 key 的旧值 ( old value )GETBIT对 key 所储存的字符串值，获取指定偏移量上的位 ( bit )MGET获取所有(一个或多个)给定 key
2022-06-08 17:40:19
224
原创 Kafka
5 Kafka的Topic的命令5.1 创建主题5.2 例举所有的主题5.3 查询主题详情5.5 删除主题6 命令行方式的生产和消费6.1 生产者6.2 消费者7 Kafka在Zookeeper中的目录说明8 Kafka的消费者消费并行度的决定因素2 Topic增删改查2.1 创建主题2.2 列举所有的主题2.3 查询主题详情3 生产者API4 消费者API5 分区5.1 默认的kafka的分区策略5.2 自定义分区器5.2.1 Parti
2022-06-08 17:21:43
390
原创 关于idea打包sparkSQL整合Hive执行
一：spark代码package com.qf.bigdata.spark.sql.day2import com.qf.bigdata.spark.core.day3.SparkUtilsimport org.apache.spark.sql.SparkSession/** * SparkSQL整合Hive执行 */object Demo11_SparkSQL_Hive { def main(args: Array[String]): Unit = { //1. 校验ja
2022-05-30 21:11:23
514
原创 Spark Core
Spark Core1.1 第一天介绍发展、特性。1.2 安装了standalone模式：伪分布式1.3 部署模式——local、standalone、yarn模式。 mesos、云…1.4 编码：java、lambda、scala1.5 底层执行流程Scala2.1 集合Array ： 长度可变。长度不可变Set ： 有序:TreeSet/无序List/ListBuffer： 长度、元素值可变、元素值长度不可变Tuple ： 都是初始化之后就不可变了。元祖是只读的，作用传值..
2022-05-27 11:34:55
579
原创 快速搭建hadoop集群
一：环境搭建1：本地模式1） 上传安装包 /home/soft 下，上传 hadoop-3.3.1.tar.gz2) 解压缩 /usr/localtar -zxf hadoop-3.3.1.tar.gz -C /usr/local3) 重命名 （非必须的）进入 /usr/local 文件夹下，进行 mv hadoop-3.3.1 hadoop4） 修改环境变量 /etc/profileexport JAVA_HOME=/usr/local/jdkexport HADOOP_
2022-04-09 16:07:12
1772
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人