qq_44003931的博客

原创 kafka的特点和优势

除了负载均衡，完备的分布式系统还需要支持故障转移 所谓故障转移，是指当服务器意外中止时，整个集群可以快速地检测到该失效（ fai lur ），井立即将该服务器上的应用或服务自动转移到其他服务器上 故障转移通常是以“心跳”或“会话”的机制来实现的，即只要主服务器与备份服务器之间的心跳无法维持或主服务器注册到服务中心的会话超时过期了，那么就认为主服务器己无法正常运行，集群会自动启动某个备份服务器来替代主服务器的工作。比如，如果消息的保存策略被设置为2天，那么在一个消息被发布的两天时间内，它都是可以被消费的。

原创 关于在hadoop和zookeeper上删除hbase

hbase

原创 关于hbase的命令

架构角色

原创 flink四种部署模式

standalone

原创 关于Linux集群安装kafka

xsync脚本 xsync （文件） 将文件从hdp1复制的hdp2、hdp3集群xcall脚本 在hdp1 上可以查看 所有集群jpsmykafka脚本 启动kafkamyzk.sh启动zookeepercd /opt/kafka_2.11-2.4.1/bin目录下创建主题./kafka-topics.sh --bootstrap-server hdp1:9092,hdp2:9092,hdp3:9092 --create --topic te...

原创 启动hive的方式和在idea上运行

启动hive两大类方式：bin/hive 使用beeline黑窗口 使用idea插件或者其他工具方式一：在hive的目录下，运行bin/hive方式二：使用hiveserver2 和beeline客户端连接① 启动后台服务后台启动hiveserver2这个服务器在hive的目录下 nohup bin/hiveserver2 &按回车使用jps查看到RunJar查看当前占用的ip地址netstat -tunl找到1..

原创 关于hive

Hive是建立在Hadoop上的数据仓库基础构架。对于有一定基础的大数据学习者来讲，Hive是必须掌握的核心技术。Hive是什么？（1）Hive的定义Hive一个可以将结构化的数据文件映射为一张数据库表并提供类SQL查询功能的数据仓库工具，而且它是基于Hadoop的。因此，从本质上来看，Hive是将SQL转换为MapReduce程序的工具。因为比直接用MapReduce开发效率更高，Hive的主要作用就是用来做离线数据分析。（2）Hive架构用户接口：包括 CLI 、JDBC/ODBC

原创 开启、查看、关闭防火墙命令

systemctlstatusfirewalldsystemctlstartfirewalldsystemctlstopfirewalld

原创 redis持久化

1.Linux启动redisrdb持久化执行save或bgsave命令 .rdb文件时间更新表示已经存储进去了将dump改名为mydump: mv dump.rdb mydump.rdb查看redis进程 ：ps -ef|grep redis杀死进程：kill 进程号一定要最后一步删除原有的dump.rdb（不然会自动生成）：rm -rf dump.rdb启动redis服务器：bin/redis-server redis.conf &启动redis客户端：bi

原创 简单的三级联动页面

原创 关于2020版idea无法安装插件的解决方案

file--settings--plugins--右上角工具按钮网址输入idea插件官网：JetBrains Marketplacehttps://plugins.jetbrains.com/再返回到plugins 在搜索框输入alibaba即可看到Alibaba Java Code Guidelines插件，点击Install进行安装，然后重启IDE生效。...

原创 在虚拟机上的生产者和消费者接收消息

1.解压kafka2.改名字3.使用命令启动内置的zookeeper（后面是参数）4.新开一个窗口，使用启动kafka5.新开一个窗口，创建一个名为test09的topic话题6.查看所有的topic话题7.创建一个生产者，指定话题为test098.新开一个窗口，创建一个消费者，指定话题为test09...