![](https://img-blog.csdnimg.cn/7e8a378f0c9e465396a5d7d698eeed1b.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据环境搭建
文章平均质量分 77
大数据环境搭建文章汇总,主要是大数据各组件搭建
电光闪烁
一个大数据开发工程师的学习之路
展开
-
集群所有机器同步执行脚本
相关文章链接:大数据基础知识点 文章汇总#!/bin/bash# 获取控制台指令cmd=$*# 判断指令是否为空if [ ! -n "$cmd" ]then echo "command can not be null !" exitfi# 获取当前登录用户user=`whoami`# 在从机执行指令,这里需要根据你具体的集群情况配置,host与具体主机名一致,同上for (( host=1;host<=3;host++ ))d.原创 2022-04-24 22:15:41 · 575 阅读 · 0 评论 -
Apache Hive 3.x 版本中集成Tez执行引擎
本文主要讲解Hive集成Tez执行引擎为在CSDN上发布文章,原始链接: https://blog.csdn.net/yang_shibiao/article/details/123898406其他网站均为盗版原创 2022-04-06 01:15:00 · 1954 阅读 · 1 评论 -
Apache Hive 3.x 版本的配置和部署
本文主要讲解 Apache Hive 3.x 版本的配置和部署本文是在CSDN上发布博文,原始链接:https://blog.csdn.net/yang_shibiao/article/details/123835330其他网站服务均为盗版原创 2022-04-04 01:15:00 · 946 阅读 · 0 评论 -
Apache Hadoop 3.x 版本的HA高可用配置和部署
本文主要讲解 Apache Hadoop 3.x 版本的HA高可用配置和部署本文在CSDN上发布,原始链接:https://blog.csdn.net/yang_shibiao/article/details/123831724在其他网站上均为盗版原创 2022-04-03 01:15:00 · 1871 阅读 · 0 评论 -
Apache Hadoop 3.x 版本的安装和配置
0. 相关文章链接大数据基础知识点 文章汇总1.原创 2022-04-02 03:00:00 · 1827 阅读 · 0 评论 -
Apache Zookeeper的安装和配置
目录0. 相关文章链接1. 安装前准备1.1. 安装JDK1.2. 下载对应的Zookeeper安装包1.3. 上传安装包至服务器并配置软连接2.Zookeeper本地安装3.配置参数解读4. Zookeeper的集群安装4.1.配置服务器编号4.2.配置zoo.cfg文件4.3. 启动Zookeeper集群并查看状态4.4. ZK集群启动停止脚本0. 相关文章链接大数据基础知识点 文章汇总1. 安装前准备1.1. 安装JDK对应的...原创 2022-03-30 04:00:00 · 1342 阅读 · 0 评论 -
Centos7安装MySQL5.7版本
目录0. 相关文章链接1. 安装MySQL5.7版本2. 初始化MySQL并配置密码0. 相关文章链接大数据基础知识点 文章汇总1. 安装MySQL5.7版本1)卸载mariadb:rpm -qa | grep mariadb | xargs rpm -e --nodeps2)下载msql5.7 yum源:wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm3)安原创 2022-03-29 03:00:00 · 645 阅读 · 0 评论 -
Centos7安装和配置Scala2.12版本
本文主要讲解在Centos7上安装部署Scala2.12版本为在CSDN上发布文章,原始链接: https://blog.csdn.net/yang_shibiao/article/details/123865490其他网站均为盗版原创 2022-04-05 01:15:00 · 1041 阅读 · 0 评论 -
Centos7安装和配置JDK1.8版本
目录0. 相关文章链接1. 安装JDK1.8版本2. 配置环境变量0. 相关文章链接大数据基础知识点 文章汇总1. 安装JDK1.8版本上传JDK对应安装包到Centos7服务器上,并解压到 /usr/local/ 目录下,执行命令如下所示:tar -zxvf jdk-8u211-linux-x64.tar.gz -C /usr/local/配置对应的软连接:ln -s 源文件 目标文件ln -s /usr/local/jdk1.8.0_211/ /usr原创 2022-03-28 01:15:41 · 3428 阅读 · 0 评论 -
Maven的下载安装和使用
目录0. 相关文章链接1. Maven最新版本下载2. Maven历史版本下载3. Maven在windows上的安装4. Maven在Centos7上的安装0. 相关文章链接工具 文章汇总1. Maven最新版本下载进入maven的官网,官网地址:Maven – Welcome to Apache Maven在左边侧边栏进入download页面,如下图:在该页面的右侧下载对应的安装包,如下图:2. Maven历史版本下载进入maven的官网,官网原创 2022-02-11 11:40:35 · 5212 阅读 · 0 评论 -
基于Centos7的集群分发脚本xsync
目录0. 相关文章链接1. scp(secure copy)安全拷贝2.rsync远程同步工具2.1. 基本语法2.2. 实例操作3. xsync集群分发脚本0. 相关文章链接大数据基础知识点 文章汇总1. scp(secure copy)安全拷贝1)scp定义:scp可以实现服务器与服务器之间的数据拷贝。(from server1 to server2)2)基本语法:scp -r ...原创 2022-04-01 07:00:00 · 1105 阅读 · 0 评论 -
基于Centos7的SSH无密登录配置
0. 相关文章链接大数据基础知识点 文章汇总1. 配置ssh1)基本语法:ssh另一台电脑的IP地址2)ssh连接时出现Host key verification failed的解决方法ssh bigdata23)退回到原机器2. 无秘钥配置1)免密登录原理2)生成公钥和私钥3)将公钥拷贝到要免密登录的目标机器上ssh-copy-id bigdata1ssh-copy-id bigdata2ssh-copy-id bigdata3.原创 2022-03-31 08:00:00 · 862 阅读 · 2 评论 -
CentOS7安装CDH(十四):CDH的优化
目录0. 相关文章链接1.机器选型2.Linux参数3. HDFS调优4. YARN调优5. 调优网站0. 相关文章链接CentOS7安装CDH(一):CentOS7系统安装CentOS7安装CDH(二):CentOS7各个软件安装和启动CentOS7安装CDH(三):CDH中的问题和解决方法CentOS7安装CDH(四):CDH的版本选择和安装方式...原创 2019-10-24 10:10:01 · 819 阅读 · 1 评论 -
CentOS7安装CDH(十三):CDH资源池配置
目录0. 相关文章链接1.静态资源池2.动态资源池的三种默认使用池3.使用动态资源池3.1.动态资源池的其中2种性质3.2.配置动态资源池示例3.3.使用动态资源池示例3.4.提交一个spark程序中遇到的问题0. 相关文章链接CentOS7安装CDH(一):CentOS7系统安装CentOS7安装CDH(二):CentOS7各个软件安装和...原创 2019-10-24 10:09:12 · 590 阅读 · 0 评论 -
CentOS7安装CDH(十二):YARN的资源调优
目录0. 相关文章链接1.memory调优2.CPU调优3. 调优总结0. 相关文章链接CentOS7安装CDH(一):CentOS7系统安装CentOS7安装CDH(二):CentOS7各个软件安装和启动CentOS7安装CDH(三):CDH中的问题和解决方法CentOS7安装CDH(四):CDH的版本选择和安装方式CentOS7安装CDH(五):CD...原创 2019-10-24 10:07:57 · 467 阅读 · 0 评论 -
CentOS7安装CDH(十一):离线升级CDH版本
目录0. 相关文章链接1.升级概述2.升级中需要注意的地方3.CM(cloudera manager)升级4.CDH集群升级0. 相关文章链接CentOS7安装CDH(一):CentOS7系统安装CentOS7安装CDH(二):CentOS7各个软件安装和启动CentOS7安装CDH(三):CDH中的问题和解决方法CentOS7安装CDH(四):CD...原创 2019-10-24 10:06:18 · 602 阅读 · 0 评论 -
CentOS7安装CDH(十):CDH中安装Spark2
目录0. 相关文章链接1.CDH官网Spark2的安装教程网址2.下载对应的Spark2版本3.安装Spark2服务到CDH中0. 相关文章链接CentOS7安装CDH(一):CentOS7系统安装CentOS7安装CDH(二):CentOS7各个软件安装和启动CentOS7安装CDH(三):CDH中的问题和解决方法CentOS7安装CDH(四):CDH的...原创 2019-10-22 16:56:36 · 810 阅读 · 0 评论 -
CentOS7安装CDH(九):CDH中安装Kafka
目录0. 相关文章链接1.CDH官网Kafka的安装教程网址2.下载对应的Kafka版本3.安装Kafka服务4.将Kafka服务添加到CDH中0. 相关文章链接CentOS7安装CDH(一):CentOS7系统安装CentOS7安装CDH(二):CentOS7各个软件安装和启动CentOS7安装CDH(三):CDH中的问题和解决方法CentOS7安...原创 2019-10-21 11:31:12 · 1004 阅读 · 1 评论 -
CentOS7安装CDH(八):CDH中对服务和机器的添加与删除操作
目录0. 相关文章链接1.CDH动态添加机器1.2.对新机器的环境配置1.2.在CDH的web界面添加新机器2.CDH动态添加服务3.CDH的迁移服务4.CDH中的删除服务和机器0. 相关文章链接CentOS7安装CDH(一):CentOS7系统安装CentOS7安装CDH(二):CentOS7各个软件安装和启动CentOS7安装CDH(三)...原创 2019-08-26 15:05:41 · 991 阅读 · 0 评论 -
CentOS7安装CDH(七):CDH集群Hadoop的HA配置
目录0. 相关文章链接1.HDFS的HA配置2. HDFS中的2个常用命令3.Yarn的HA配置4.Yarn中的常用命令0. 相关文章链接CentOS7安装CDH(一):CentOS7系统安装CentOS7安装CDH(二):CentOS7各个软件安装和启动CentOS7安装CDH(三):CDH中的问题和解决方法CentOS7安装CDH(四):CDH的版...原创 2019-08-26 15:03:30 · 1469 阅读 · 0 评论 -
CentOS7安装CDH(六):CDH的管理-CDH5.12
目录0. 相关文章链接1.CDH体系架构剖析1.1.2个注意1.2.架构剖析2.CM中的常用命令3.CDH集群正确启动和停止顺序3.1.启动3.2.停止3.3.注意点4.CDH配置QQ预警邮箱4.1.开启QQ邮箱的SMTP4.2.安装并开启和关闭centos7对应的邮箱服务4.3.创建证书文件4.4.在/etc/m...原创 2019-08-26 14:59:55 · 1048 阅读 · 0 评论 -
CentOS7安装CDH(五):CDH的安装和部署-CDH5.7.0
目录0. 相关文章链接1.CDH的下载1.1.cm的tar包下载1.2.parcels包下载2.安装CDH的准备工作(所有节点都要执行)2.1.安装好JDK2.2.更改主机名和hosts2.3.关闭防火墙,并重启服务器使hostname和selinux的配置生效2.4.安装NTP服务2.5. 配置SSH无密码登录,如上配置免密登录所示2....原创 2019-08-26 14:56:15 · 1897 阅读 · 5 评论 -
CentOS7安装CDH(四):CDH的版本选择和安装方式
目录0. 相关文章链接1.CDH版本选择2.CDH的安装方式选择0. 相关文章链接CentOS7安装CDH(一):CentOS7系统安装CentOS7安装CDH(二):CentOS7各个软件安装和启动CentOS7安装CDH(三):CDH中的问题和解决方法CentOS7安装CDH(四):CDH的版本选择和安装方式CentOS7安装CDH(五):CDH的安装和...原创 2019-08-26 14:53:09 · 1882 阅读 · 0 评论 -
CentOS7安装CDH(三):CDH中的问题和解决方法
目录0. 相关文章链接1.使用vmware时网络崩溃问题2.cloudera-scm-server或者cloudera-scm-agent运行异常3.CDH中有2个服务要安装gateway0. 相关文章链接CentOS7安装CDH(一):CentOS7系统安装CentOS7安装CDH(二):CentOS7各个软件安装和启动CentOS7安装CDH(三):CDH...原创 2019-08-23 18:10:29 · 1055 阅读 · 1 评论 -
CentOS7安装CDH(二):CentOS7各个软件安装和启动
目录0. 相关文章链接1. 同步时间的命令2.防火墙等相关命令3.配置普通用户的sudo权限4.安装MySQL4.1. 方式一4.2. 方式二0. 相关文章链接CentOS7安装CDH(一):CentOS7系统安装CentOS7安装CDH(二):CentOS7各个软件安装和启动CentOS7安装CDH(三):CDH中的问题和解决方法CentOS...原创 2019-08-23 18:00:24 · 722 阅读 · 0 评论 -
CentOS7安装CDH(一):CentOS7系统安装
目录0. 相关文章链接1. 桌面版安装2.命令行版安装3.安装必要插件4.配置免密登录5.卸载原有JDK6.安装新版rpm的JDK7.使用tar包安装JDK8.将opt目录挂载到大硬盘上0. 相关文章链接CentOS7安装CDH(一):CentOS7系统安装CentOS7安装CDH(二):CentOS7各个软件安装和启动CentOS...原创 2019-08-23 17:59:10 · 1296 阅读 · 0 评论 -
CentOS6安装大数据软件(九):大数据及相关软件启动等命令
目录0. 相关文章链接1.同步时间的命令2.防火墙等相关命令3.Zookeeper软件启动命令4.Hadoop软件启动命令4.1.格式化HDFS文件系统4.2.启动HDFS4.3.启动yarn4.4.一键启动和停止5.Kafka软件启动命令5.1. 直接启动,当窗口关闭后结束进程5.2. 以守护进程的方式启动kafka,窗口关闭后能...原创 2019-08-23 17:21:14 · 726 阅读 · 0 评论 -
CentOS6安装大数据软件(八):Spark集群安装和部署
目录0. 相关文章链接1. Spark安装包的下载2. Spark集群安装和部署2.1. 上传安装包并进行解压2.2. 修改spark-env.sh2.3. 修改slaves配置文件2.4. 配置Spark环境变量2.5. 将spark安装目录发送到其他服务器2.6. Spark启动和停止2.7. 验证Spark集群是否启动成功2.7.1. 使用jps...原创 2019-08-23 17:18:25 · 1394 阅读 · 0 评论 -
CentOS6安装大数据软件(七):Hue大数据可视化工具安装和配置
目录0. 相关文章链接1. Hue概述和版本选择2. Hue安装2.1. 上传压缩包并进行解压缩2.2. 增加hue用户2.3. 修改hue安装目录的权限2.4. 安装hue需要的依赖2.5. 编译hue3. Hue基本配置和启动3.1. 配置hue.ini3.2. 修改权限和启动服务3.3. 查看Hue的WEB界面4. Hue和HDFS集成...原创 2019-08-23 17:16:44 · 662 阅读 · 0 评论 -
CentOS6安装大数据软件(六):Hive安装和配置
目录0. 相关文章链接1.Hive概述1.1.什么是Hive1.2.Hive在Hadoop生态系统中的位置1.3.Hive架构设计1.4. Hive的优点以及应用场景2. Hive下载和安装2.1. Hive的下载2.2. Hive的安装3. Hive配置3.1. 在hive-log4j.properties中配置日志存储目录3.2.在hi...原创 2019-08-23 17:13:39 · 1157 阅读 · 0 评论 -
CentOS6安装大数据软件(五):Flume安装与配置
目录0. 相关文章链接1. Flume安装2. Flume配置2.1. Flume节点配置规划和系统要求2.2. Flume节点agent2详细配置(在conf目录下配置)2.2.1. 在flume-env.sh文件中配置JAVA_HOME2.2.2. 在flume-conf.properties文件中配置数据来源和下沉地2.3. Flume节点agent3详细配置...原创 2019-08-22 00:50:39 · 896 阅读 · 0 评论 -
CentOS6安装大数据软件(四):HBase分布式集群的配置
目录0. 相关文章链接1.HBase分布式集群的安装准备2.HBase分布式集群的相关配置2.1. HBase架构体系2.2.Hbase分布式集群各服务器的相关配置3. HBase详细配置信息3.1. 在hbase-env.sh配置JavaHome3.2. 在hbase-site.xml配置HBase的主配置信息3.3. 在regionservers中配置...原创 2019-08-22 00:46:00 · 502 阅读 · 0 评论 -
CentOS6安装大数据软件(三):Kafka集群的配置
目录0. 相关文章链接1. Kafka集群的安装准备1.1. 选择安装Kafka的版本1.2. 下载并解压安装包2. 查看目录及修改配置文件2.1. 查看目录2.2. 修改配置文件3. 分发配置文件及修改brokerid4. 启动Kafka集群5. 测试kafka集群5.1. 创建一个topic5.2. 查看该kafka集群中的topic5.3....原创 2019-08-21 23:44:38 · 707 阅读 · 0 评论 -
CentOS6安装大数据软件(二):Hadoop分布式集群配置
目录0. 相关文章链接1. Hadoop安装包的下载和解压2. Hadoop分布式集群配置_HDFS2.1. 在hadoop-env.sh配置文件中配置JAVA_HOME2.2. 在core-site.xml中配置默认的文件系统2.3. 在hdfs-site.xml中配置文件的副本保存数量2.4. 在slaves文件中配置三个datanode的节点的地址2.5. 将...原创 2019-08-21 23:42:46 · 717 阅读 · 0 评论 -
CentOS6安装大数据软件(一):Linux基础软件的安装
目录0. 相关文章链接1.配置Linux的网络环境1.1.安装Linux系统时指定具体IP地址1.2. 在Linux内部配置IP地址并重启网络服务2. 创建bigData的软件存放目录和安装必备软件3. JDK的安装4. 将国外的yum源切换为国内163的yum源5. 自定义安装Scala6. 在VMware上对Linux进行克隆7. Linux配置免密...原创 2019-08-21 23:38:00 · 569 阅读 · 0 评论