- 博客(8)
- 收藏
- 关注
RSS订阅原创 kafka详细安装与配置
jar包下载http://kafka.apache.org/downloads.html1）解压安装包 [hello@hadoop102 software]$ tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/2）修改解压后的文件名称 [hello@hadoop102 module]$ mv kafka_2.11-0.11.0.0/ kafka 3）在/opt/module/kafka 目录下创建 logs 文件夹 .
2021-11-16 20:16:26
196
原创 kafka生产者与消费者
生产者写入流程1）producer先从zookeeper的 "/brokers/…/state"节点找到该partition的leader2）producer将消息发送给该leader3）leader将消息写入本地log4）followers从leader pull消息，写入本地log后向leader发送ACK5）leader收到所有ISR中的replication的ACK后，增加HW，并向producer发送ACK。生产者的客户端由两个线程协调运行。主线程和Sender线.
2021-11-06 15:47:29
265
原创 kafaka安装及配置
一、下载安装1、下载地址Apache Download Mirrors下载命令：wgethttp://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.4.0/kafka_2.13-2.4.0.tgz2、解压解压命令：tar –zxvf kafka_2.13-2.4.0.tgz移动： cp -R kafka_2.13-2.4.0 /zjl/program/创建软链接： ln -s kafka_2.13-2.4.0/ /zjl/pro...
2021-10-29 18:51:01
1719
原创 大数据实战疫情分析项目
疫情期间各类政府媒体及社交网站，均发布了相关疫情每日统计数据，下面基于数据仓库工具Hive请你统计分析相关疫情数据。数据字段为：日期、省份、城市、新增确诊、新增出院、新增死亡、消息来源、来源1，来源2，来源3首先启动 hdfs hadoop hive请在hdfs根目录下中创建一个目录，以小组名称英文全拼命名_data，并将以上疫情数据上传到这个目录中，截图成功后结果请你在hive中创建数据库名为: ods_yiqing_data，并切换使用...
2021-10-22 11:05:01
2562
4
原创 Hive的自定义函数UDF
1.使用UDF函数首先需要导入依赖。 <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>2.3.3</version> </dependency>...
2021-10-15 11:20:08
243
原创 hive启动及基本操作
启动hive之前应该先启动HDFS和Yarn。 start-dfs.sh start-yarn.sh两种启动方式第一种：直接命令行输入hive第二种：先启动服务端：hiveserver2再启动客户端：beeline -u jdbc:hive2://master:10000 -n root创建数据库(数据库名=haha)create database haha;查看库的信息：desc database haha;切换数据库：use haha;删除数据库：dro...
2021-09-29 10:07:23
6893
原创 MySQL的具体安装方法
1.卸载原系统中的mariadb2.执行命令rpm -qa|grep mariadb查看是否有mariadb的安装包，没有可以无视。3.接下来，执行 rpm -e --nodeps mariadb-libs删除它。4.下载wget命令，yum install -y wget。5.前往官方网站复制yum源链接Mysql官网。选中该处，右键复制链接。执行wget https://dev.mysql.com/get/mysql80-community..
2021-09-18 15:01:08
180
原创 oracle11g卸载教程
准备工作：关闭防火墙，关闭杀毒软件1 win+R 输入services.msc关闭所有oracle服务2 在开始菜单中找到oracle11g里的Universal Installer 双击进入如下删除后继续点击空白目录进行删除当空目录显示 无可安装文件继续下一步，将c盘下目录删除找到oracle11g_home1所在文件位置，返回上一级出现app文件，进行整体删除运行regedit命令，打开注册表，删除oracle相关...
2021-09-15 18:11:15
291
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人