![](https://img-blog.csdnimg.cn/20210419164258759.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据生态框架搭建
文章平均质量分 76
总结整理大数据生态圈的各种框架的环境搭建
尘.埃
微如尘埃,璀若星辰!
展开
-
六、大数据之Sqoop环境搭建
目录Sqoop简介:(1)安装Sqoop(2)修改配置文件(3)拷贝驱动(4)验证(5)测试(6)Sqoop官方文档说明:Sqoop安装包:Sqoop简介: Sqoop是apache旗下的一款“Hadoop和关系型数据库服务器之间传送数据”的工具,核心的功能有两个:导入和导出。 本质就是迁移数据, 迁移的方式:就是把sqoop的迁移命令转换成MR程序 导入数据:MySQL,Oracle 导入数据到 Hadoop 的 HDFS、HIVE等数据存储系统原创 2021-04-19 16:30:18 · 171 阅读 · 0 评论 -
五、大数据之Kafka环境搭建
目录Kafka简介:(1)集群部署规划(2)安装Kafka(3)创建logs文件夹(4)修改配置文件(5)配置环境变量(6)配置文件分发(7)启动Kafka集群(8)Kafka群起脚本(9)Kafka官方文档说明:Kafka安装包:Kafka简介:Kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域。Kafka基本架构: 1.为方便扩展,并提高吞吐量,一个topic分为多个partition 2.配合分区的设计,提出消费者组概念,组内每个消费者并行消费 3.为原创 2021-04-19 01:20:55 · 203 阅读 · 0 评论 -
四、大数据之Flume环境搭建
目录Flume简介:(1)集群部署规划(2)安装Flume(3)删除难以兼容的文件(4)修改配置文件(5)Flume官方文档说明:(6) 官方案例测试Flume安装包:Flume简介: Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。特点:1、复杂流动性:Flume允许用户进行多级流动到最终目的地,也允许扇出流(一到多)、扇入流(多到一)的、故障转移和失败处理。2、可靠性:事务性的数据传递,保证了数据的可靠原创 2021-04-19 01:17:18 · 324 阅读 · 2 评论 -
三、大数据之Zookeeper完全分布式集群搭建
目录Zookeeper简介:(1)集群部署规划(2)安装Zookeeper(3)配置zook.cfg文件(4)配置服务器编号(5)配置Zookeeper环境变量(6)配置文件分发(7)集群启动(8)zookeeper群启脚本(9)Zookeeper官方文档说明:Zookeeper安装包Zookeeper简介:Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。ZooKeeper是一个分布式小文件系统,并且被设计为高可用性。通过选举算法和集群复制可以避免单点故障,由于原创 2021-04-19 01:05:40 · 898 阅读 · 0 评论 -
二、大数据之Hadoop完全分布式集群搭建
目录Hadoop简介:(1)安装JDK和Hadoop(2)配置环境变量(3)集群部署规划(4)配置免密登录(5)修改Hadoop配置文件1.vim hdfs-site.xml2.vim core-site.xml3.vim yarn-site.xml4.vim mapred-site.xml5.vim workers(6)配置文件分发(7)集群启动1.格式化NameNode2.启动HDFS集群3.启动YARN集群(8)查看集群节点启动情况1.jps查看2.Web端查看(9)Hadoop的目录结构(10)Ha原创 2021-04-19 01:03:02 · 318 阅读 · 0 评论 -
一、大数据之虚拟机环境搭建
目录(1)修改虚拟机的静态IP(2)修改主机名(3)修改主机名称映射(4)关闭防火墙(5)配置用户具有root权限(6)在/opt目录下创建文件夹(1)修改虚拟机的静态IPsudo vim /etc/sysconfig/network-scripts/ifcfg-ens33修改如下配置:DEVICE=ens33TYPE=EthernetONBOOT=yesBOOTPROTO=staticNAME="ens33"#ip地址IPADDR=192.168.1.100#网关GATEWAY=原创 2021-04-19 00:57:48 · 396 阅读 · 0 评论