环境搭建
RivenDong
这个作者很懒,什么都没留下…
展开
-
基于Zookeeper的Kafka分布式安装部署测试
文章目录1. 实验环境说明2. 下载安装3. 配置部署3.1 配置server.properties文件3.2 创建日志存储目录3.3 将文件发送至集群其他节点3.3 修改集群中其余节点的配置3.4 三个节点配置环境变量4. 启动测试4.1 启动ZooKeeper4.2 启动Kafka4.3 测试4.4 参数说明5. 单节点启动多broker代理1. 实验环境说明关于使用的大数据集群:Hadoop+Spark+Zookeeper高可用集群搭建(一)Hadoop+Spark+Zookeeper高可用集原创 2020-07-28 16:57:35 · 272 阅读 · 0 评论 -
在树莓派上安装kubeedge
文章目录1. 环境准备2. 环境安装2.1 安装gcc2.2 安装go语言(>=1.12)3. 下载kubeedge源代码4. 编译运行edge1. 环境准备树莓派(Raspberry Pi 4)Ubuntu 18.04docker 19.03.122. 环境安装2.1 安装gcc首先确保gcc是否安装gcc -version如果没有安装,则安装gccsudo apt install gcc2.2 安装go语言(>=1.12)到Go官网下载Go安装包,下载地址:h原创 2020-06-26 22:26:22 · 3319 阅读 · 0 评论 -
X86架构下交叉编译arm64源代码
文章目录1. 简介2. 环境3. 交叉编译器安装(x86服务器)3.1 安装标准的C开发环境3.2 在/usr/local 下建立名为ARM-toolchain的文件夹3.3 下载交叉编译器3.4 配置环境变量3.5 环境变量生效与测试1. 简介交叉编译,简单地说,就是在一个平台上生成另一个平台上的可执行代码。本指南主要内容为在非ARM 架构服务器环境下搭建 ARM 的 GCC 编译环境,编译基于 ARM 架构的应用软件。交叉编译工具链是为了编译、链接、处理和调试跨平台体系结构的程序代码。除了体系结构相原创 2020-06-26 11:01:55 · 11924 阅读 · 1 评论 -
树莓派(Raspberry Pi 4)Ubuntu 18.04 安装docker
文章目录1. 环境准备2. 基于Ubuntu18.04安装docker2.1 测试网络环境2.2 卸载老版本的docker2.3 安装依赖2.4 添加GPG key2.5 添加源2.6 安装docker2.7 验证3. 坑1. 环境准备基于树莓派(Raspberry Pi 4)Ubuntu 18.042. 基于Ubuntu18.04安装docker2.1 测试网络环境如果不能ping通,则说明当前设备不能访问外网,需要修改网络配置文件,比如说:网关地址、ip地址等。2.2 卸载老版本的do原创 2020-06-23 15:29:02 · 1527 阅读 · 0 评论 -
Flink 1.10.0 分布式高可用集群搭建
文章目录1. 环境准备2. 搭建步骤1. 环境准备2. 搭建步骤hadoop依赖jar包:https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/2.6.5-10.0/原创 2020-02-21 17:15:47 · 3811 阅读 · 2 评论 -
如何使用http访问elastic
1. 问题使用官方给出的快速搭建手册:开始使用Elastic Cloud on Kubernetes 所搭建的服务是基于https访问的,在实际应用中可能由于证书问题不方便使用,所以这里改为使用http进行访问。2. 解决方案将搭建es的yaml文件修改为:apiVersion: elasticsearch.k8s.elastic.co/v1beta1kind: Elasticsearc...原创 2019-12-09 16:08:22 · 2003 阅读 · 0 评论 -
k8s搭建Elastic
文章目录1. 实验环境2. 安装Elastic Cloud3. 部署Elasticsearch4. 部署Kibana5. 创建PV6. 设置远程访问6.1 设置集群的安全组6.2 设置端口转发6.3 获取访问密码7. 验证1. 实验环境两台阿里云服务器,部署了k8s 1.16集群。2. 安装Elastic Cloudkubectl apply -f https://download.ela...原创 2019-12-06 18:16:50 · 1501 阅读 · 1 评论 -
基于阿里云搭建hadoop平台
文章目录1. 前言2. 添加hadoop用户3. 配置/etc/hosts文件4. 设置ssh免密登录4.1 安装ssh4.2 设置免密5. 安装JDK6. 安装hadoop7. 配置环境变量8. 配置hadoop8.1 hadoop-env.sh8.2 core-site.xml8.3 hdfs-site.xml8.4 mapred-site.xml8.5 yarn-site.xml8.6 Sl...原创 2019-11-21 16:45:50 · 1556 阅读 · 0 评论 -
Hadoop+Spark+Zookeeper高可用集群搭建(五)
文章目录1. 前言2. 准备工作3. 配置Spark系统变量3.1 配置Spark 和 Scala 系统变量3.2 配置Spark环境变量3.3 配置Spark工作节点4. 启动Spark集群4.1 在三个Slave节点上启动ZK集群4.2 在master001上启动HDFS集群4.3 在master001上启动Spark集群的Master节点4.4 在master002上启动Spark集群的Ma...原创 2019-10-24 16:24:27 · 1696 阅读 · 0 评论 -
基于k8s1.15搭建Flink集群(一)
文章目录1. 前言2. 实验环境3. 集群搭建3.1 Yaml 配置3.1.1 JobManager Yaml 配置3.1.2 TaskManager Yaml 配置3.1.3 JobManagerServices 配置3.2 启动Flink Session Cluster3.3 停止Flink Session Cluster4. 坑1. 前言容器化部署是目前业界非常流行的一项技术,基于Doc...原创 2019-10-18 11:14:56 · 3251 阅读 · 5 评论 -
基于k8s1.16搭建flink集群(二)
文章目录1. 实验环境2. 集群搭建2.1 k8s1.16 版本的 Yaml 配置2.1.1 JobManager Yaml 配置2.1.2 TaskManager Yaml 配置2.1.3 JobManagerServices 配置2.2 启动Flink Session Cluster2.3 停止Flink Session Cluster1. 实验环境Kubernetes集群:3台4G的虚...原创 2019-10-23 22:45:15 · 1747 阅读 · 3 评论 -
搭建Kubernetes多节点集群
文章目录1. 实验环境2. 系统网络配置3. 修改节点Hostname4. 关闭防火墙、SeLinux、Swap分区5. 设置docker和k8s的yum源5.1 docker源的配置5.2 k8s源的配置6. 安装并配置docker6.1 卸载旧版本的Docker6.2 安装Docker-18.09.66.3 检测Docker是否安装成功6.4 修改docker Cgroup Driver6.5...原创 2019-10-22 21:27:18 · 1647 阅读 · 2 评论 -
Sqoop的安装与配置(二)
文章目录1. 下载Sqoop2. 配置Sqoop2.1 配置环境变量2.2 配置sqoop-env.sh文件2.3 导入jar包3. 测试1. 下载Sqoop下载链接:sqoop-1.4.7.bin上传、解压:2. 配置Sqoop2.1 配置环境变量vi /etc/profile配置如下:#sqoopexport SQOOP_HOME=/home/hadoop/softwar...原创 2019-09-26 17:31:16 · 911 阅读 · 0 评论 -
Flume集群搭建(二)
文章目录1. 前言2. 下载解压3. 安装配置4. 分发验证1. 前言在Flume基本原理与架构中较为系统的讲解了Flume的作用、组件、架构等知识,本篇文章将讲解Flume集群的搭建。Flume框架在jar包上依赖Hadoop和Zookeeper,并不要求Flume启动时必须启动Hadoop和Zookeeper服务。2. 下载解压Flume的下载地址为:Flume-1.6.0下载完毕...原创 2019-10-20 15:25:52 · 1393 阅读 · 0 评论 -
Hadoop+Spark+Zookeeper高可用集群搭建(二)
文章目录1. 需下载的文件2. 通过Xftp上传压缩包,并解压3. 安装配置JDK4. 安装Hadoop4.1 上传文件并解压缩4.2 配置Hadoop环境变量4.3 验证Hadoop是否安装成功4.4 配置文件4.4.1 core-site.xml 文件4.4.2 配置hadoop-env.sh文件4.4.3 配置hdfs-site.xml 文件4.4.4 配置mapred-site.xml 文...原创 2019-09-03 22:45:18 · 1616 阅读 · 0 评论 -
Hadoop+Spark+Zookeeper高可用集群搭建(三)
文章目录1. 复制虚拟机2. 启动虚拟机1. 复制虚拟机在前面我们已经配置好一个节点,其余四个节点可以通过复制文件夹的方式来安装。然后,通过VMware打开虚拟机文件,将虚拟机名字修改为文件夹名字(为了好区分):2. 启动虚拟机由于虚拟机是通过复制出另一台...原创 2019-09-04 11:46:46 · 1525 阅读 · 0 评论 -
Hadoop+Spark+Zookeeper高可用集群搭建(四)
文章目录1. 前言2. 第一大坑之防火墙3. 第二大坑之格式化Zookeeper4. 集群的启动之吹起号角4.1 启动Zookeeper4.2 启动journalnode进程4.3 在master001中格式化NameNode4.4 传送tmp文件到其他所有节点4.5 启动hdfs4.6 启动MapReduce4.7 验证集群是否启动成功5. 正常启动顺序5.1 启动Zookeeper5.2 启动...原创 2019-09-04 17:43:06 · 1591 阅读 · 0 评论 -
Yarn的搭建(二)
文章目录1. 前言2. 配置文件2.1 mapred-site.xml2.2 yarn-site.xml3. 运行效果1. 前言其实关于Yarn的搭建,我在Hadoop+Spark+Zookeeper高可用集群搭建(二)这篇文章中已经包含在内了,这里再单独摘出来说一下。2. 配置文件2.1 mapred-site.xml<configuration> <!--设...原创 2019-09-18 17:37:41 · 995 阅读 · 2 评论 -
Hive的安装与配置(二)
文章目录1. Hive的基本安装1.1 下载1.2 上传解压1.3 配置Hive的环境变量1.4 验证Hive2. MySQL的安装2.1 下载安装2.2 MySQL的初始化3. Hive的配置3.1 配置MySQL为Hive元数据存储数据库3.2 配置hosts文件4. 启动hive1. Hive的基本安装1.1 下载Hive的下载地址:下载链接1.2 上传解压在Hadoop用户状态...原创 2019-09-19 22:23:20 · 1247 阅读 · 4 评论 -
HBase完全分布式安装(三)
文章目录1. 安装前的准备2. 配置文件3. 启动HBase4. BUG补充1. 安装前的准备在官方下载: hbase-1.3.5-bin.tar.gz复制安装包到software目录解压hbase-1.3.5-bin.tar.gz安装包2. 配置文件进入HBase的conf目录。修改hbase-env.sh文件。插入:export HBASE_HOME=/home/h...原创 2019-09-25 18:13:03 · 934 阅读 · 0 评论 -
Hadoop+Spark+Zookeeper高可用集群搭建(一)
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。本文链接:前言@[toc]12原创 2019-09-03 19:57:52 · 2085 阅读 · 10 评论