![](https://img-blog.csdnimg.cn/af082c1986be41aa9c897e2048fbf9ef.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据集群配置
文章平均质量分 84
大数据
菩提树下的呆子
分享所想分享的
展开
-
Kafka分布式集群部署
Kafka分布式集群部署Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。1.下载Kafka并安装1)下载Apache版本的Kafka。2)下载Cloudera版本的Kafka。2.Kafka集群配置1)配置server.properties文件vi kafka_2.11-2.4.0#节点唯一标识broker原创 2022-04-03 00:27:07 · 513 阅读 · 0 评论 -
HBase分布式集群部署
HBase分布式集群部署必看配置千万条,网络第一条。配置不规范,bug改到吐。内外ip要分清,本机配置内ip,连接请用外ip1.准备HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统,利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。HBase 是Google Bigtable 的开源实现,与Google Bigtable 利用GFS作为其文件存储系统类似, HBase 利用Hadoop HDFS 作为其文件存储系统;Google 运行MapReduce 来原创 2022-04-03 00:15:01 · 852 阅读 · 1 评论 -
大数据集群安装02之Hadoop配置
Hadoop配置必看配置千万条,网络第一条。配置不规范,bug改到吐。内外ip要分清,本机配置内ip,连接请用外ip1.下载上传插件rz【安装命令】:yum install -y lrzsz2.上传hadoop压缩包【上传命令】:## 上传压缩包rz## 压缩tar -zxvf [包名]3.配置hadoop(1)编辑.bashrc文件在所有节点的.bashrc文件中添加如下内容:(也可以在profile文件中添加)# jdkexport JAVA_HOME=/roo原创 2022-03-24 17:22:15 · 2627 阅读 · 0 评论 -
Hadoop大数据技术复习资料
Hadoop大数据技术复习资料 钟兴宇1.选择题15空,共30分。Hadoop以HDFS(Hadoop Distributed File System,Hadoop 分布式文件系统)和MapReduce(Google MapReduce 的开源实现)为核心。hadoop三种安装方式:单体,伪分布式,完全分布式Hadoop集群启动时个进程的启动顺序:namenode,datanode,secondnam原创 2020-12-29 16:31:35 · 1257 阅读 · 1 评论 -
大数据集群安装03之spark配置
spark配置必看配置千万条,网络第一条。配置不规范,bug改到吐。 内外ip要分清,本机配置内ip,连接请用外ip1.下载上传插件rz【安装命令】:yum install -y lrzsz2.上传spark压缩包【上传命令】:## 上传压缩包rz## 压缩tar -zxvf [包名]3.配置spark(1)编辑.bashrc文件在所有节点的.bashrc文件中添加如下内容:(也可以在profile文件中添加)# jdkexport JAVA_HOME=/root/jd原创 2020-08-07 21:50:20 · 455 阅读 · 0 评论 -
大数据集群安装01之Linux配置
Linux配置1.下载上传插件rz【安装命令】:yum install -y lrzsz2.关闭Linux防火墙1:查看防火状态systemctl status firewalldservice iptables status2:暂时关闭防火墙systemctl stop firewalldservice iptables stop3:永久关闭防火墙systemctl disable firewalldchkconfig iptables off4:重启防原创 2020-07-31 15:52:08 · 99 阅读 · 0 评论