![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Linux
Bì须的毕
这个作者很懒,什么都没留下…
展开
-
Kafka命令实操
如果对Kafka基本概念不了解,建议先学习一下一些名词的含义:附上:Kafka入门和进阶 创建主题(创建了一个test主题):bin/kafka-topics.sh --create --zookeeper 虚拟机IP:2181 --replication-factor 2 --partitions 1 --topic test注:创建主题时副本数要小于broker数查看主题:bin/kafka-topics.sh --list --zookeeper 虚拟机IP:2181显示原创 2020-05-29 18:16:08 · 456 阅读 · 0 评论 -
Kafka入门和进阶
什么是Kafka Kafka 是一个分布式的基于 发布/订阅模式 的流式平台,主要应用于大数据实时处理领域。它有三个关键能力: 1.订阅发布记录流,它类似于企业中的消息队列 或 企业消息传递系统 2.以容错的方式存储记录流 3.实时记录流Kafka 的应用作为消息系统作为存储系统作为流处理器Kafka 可以建立流数据管道,可靠性的在系统或应用之间获取数据。建立流式应用传输和响应数据。Kafka 作为消息系统Kafka 作为消息系统,它有三个基本组件Producer : 发原创 2020-05-29 18:15:00 · 526 阅读 · 0 评论 -
Hadoop集群配置、启动YARN
本篇在 Hadoop集群启动HDFS 的基础上继续配置 YARN启动:配置mapred-site.xml(复制mapred-site.xml.template配置模板生成mapred-site.xml):cp /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/mapred-site.xmlvim /usr/local/h原创 2020-05-29 17:12:27 · 2194 阅读 · 0 评论 -
Hadoop集群启动HDFS
压缩包下载地址:https://archive.apache.org/dist/hadoop/common/准备工作:关闭防火墙三台IP不同的虚拟机:详情见:Linux修改IP地址java环境(JDK1.7以上版本):详情见:Linux下安装JDKZookeeper单机和集群:详情见:手把手带你搭建Zookeeper单机和集群有ssh服务并且可以免密登录:详情见:Linux设置ssh免密登录 注:准备就绪后开始,分别在三台虚拟机上操作创建文件夹:mkdir /usr/l原创 2020-05-29 16:46:15 · 1151 阅读 · 0 评论 -
Linux设置ssh免密登录
编辑文件:vi /etc/ssh/sshd_config# 新增一行RSAAuthentication yes# 这两行需要打开注释PubkeyAuthentication yesPasswordAuthentication yes三台服务器分别生成ssh密钥(三次回车后出现密钥图形):ssh-keygen -t rsa在 master 服务器(主服务器)上切换到 .ssh 下:cd ~cd .ssh效果图在三台服务器中中添加另外两台服务器的IP和主机名:想要更改主机原创 2020-05-29 15:57:56 · 1250 阅读 · 3 评论 -
Linux修改主机名
编辑文件vi /etc/sysconfig/network添加NETWORKING=yes# 主机名,此处我设置为hadoop1HOSTNAME=hadoop1NETWORKING_IPV6=noPEERNTP=noGATEWAY=虚拟机IP地址修改hosts文件vi /etc/hosts在文件中添加一行IP地址 主机名原创 2020-05-29 15:37:07 · 313 阅读 · 0 评论 -
手把手带你搭建Kafka集群
压缩包地址:http://mirror.bit.edu.cn/apache/kafka/准备工作:Zookeeper集群环境:详情见:手把手带你搭建Zookeeper单机和集群 创建kafka文件夹:mkdir /usr/local/kafka解压:tar -zxvf /usr/local/kafka_2.12-2.3.0.tgz -C /usr/local/kafka创建data文件夹(在启动kafka时系统会为我们新建logs文件夹,这里其实是配置数据所在的路径):mk原创 2020-05-29 07:07:47 · 385 阅读 · 0 评论 -
手把手带你搭建Zookeeper单机和集群
压缩包下载地址:http://mirror.bit.edu.cn/apache/zookeeper/这里多说一句,附上两种导入文件的方法:第一种(文件太大时最好别用): 安装上传下载文件组件:yum install lrzsz 上传下载文件:rz -be第二种(推荐): 使用Xftp导入文件准备工作:java环境(JDK1.7以上版本):单机搭建:创建文件夹:mkdir /...原创 2020-02-19 20:29:59 · 312 阅读 · 0 评论 -
Linux修改IP地址
查看虚拟机IP地址和mac地址:ifconfigip addr编辑文件:vi /etc/sysconfig/network-scripts/ifcfg-ens33添加或修改内容(有配置就修改没有就添加):# 这里如果为no的话就改为yes,表示网卡设备自动启动ONBOOT=yes# 配置IP地址IPADDR=IP地址# 配置mac地址HWADDR=mac地址#...原创 2020-02-19 20:27:35 · 411 阅读 · 0 评论 -
Linux安装JDK
这里多说一句,附上两种导入文件的方法:第一种(文件太大时最好别用): 安装上传下载文件组件:yum install lrzsz 上传下载文件:rz -be第二种(推荐): 使用Xftp导入文件创建文件夹:mkdir /usr/local/jdk解压:tar -zxvf /usr/local/jdk-8u144-linux-x64.tar.gz -C /usr/local/jd...原创 2020-02-19 20:15:58 · 241 阅读 · 0 评论