- 博客(37)
- 收藏
- 关注
RSS订阅原创 在Kubernetes上部署Hadoop集群（ARM64架构）
1、环境介绍系统版本：Linux 4.19.90-17.ky10.aarch64 aarch64Docker：18.09.0Kubernetes：1.19.02、部署材料准备基础镜像：centos:centos7.9.2009 (arm64/v8)JDK：jdk1.8 (OpenJDK8U-jdk_aarch64_linux_hotspot_8u275b01.tar.gz)Hadoop：hadoop-2.9.1.tar.gz3、制作镜像由于Hadoop并没有官方指定的镜像
2021-01-25 16:55:01
1819
4
原创 解决docker-service with name xxx already exists或port is already allocated问题
1.问题描述：使用docker rm <容器名> 删除容器后，使用相同的容器名或端口重新部署此容器，出现docker-service with name xxx already exists或Bind for 0.0.0.0:8080 failed: port is already allocated错误。如下图所示：2.故障原因：删除docker容器后，对应的容器名称或容器端口未成功释放，网络仍被占用。3.解决方案：找到容器对应的网络占用，并清理即可。3.1.首先查找所..
2020-05-19 15:25:09
3620
1
原创 Docker和Kubernetes常用命令整理
docker常用指令启动docker systemctl start docker 重启docker systemctl restart docker 关闭docker systemctl stop docker 查看镜像文件 docker images...
2019-12-02 10:39:43
570
原创 Docker和Kubernetes集群在线安装
k8s集群搭建1.前期准备1.1.准备centos 7系统1.2.关闭防火墙systemctl stop firewalldsystemctl disable firewalld1.3关闭selinuxsetenforce 0sed -i '/^SELINUX=/cSELINUX=disabled' /etc/sysconfig/selinux1.4主节点doc...
2019-12-02 10:29:48
610
原创 物理机PC如何安装linux操作系统
准备工作：刻录好操作系统的U盘（本文以centos7为例）1.设置PC启动项为U盘启动在PC开机后不停按F1（电脑型号不同按键不同）进入BIOS界面，找到启动设置，将以U盘启动调至最上方，按F10保存退出。2.编辑配置以查看U盘路径2.1.PC重新启动后会进入如下界面，按照提示按tab键（有些是e键）进入编辑模式。2.2.进入编辑模式后更改如下配置：将inst....
2019-10-29 17:16:04
3774
2
原创 解决Anaconda出现CondaHTTPError: HTTP 000 CONNECTION FAILED for url问题
1.问题描述：conda无法创建虚拟环境并且无法安装其他第三方包，报错内容如下：2.错误原因：默认镜像源访问速度过慢，会导致超时从而导致更新和下载失败。3.解决方案：更换镜像源为清华镜像源，并且删除默认镜像源。3.1.首先执行如下几条命令更换清华镜像源conda config --add channels https://mirrors.tuna.tsinghua.edu.c...
2019-07-24 15:22:59
98417
40
原创 二进制离线安装docker和Kubernetes
1.docker的安装与配置1.1.下载所需的 docker 二进制文件（也可以去笔者百度网盘获取资源，链接在最下方）https://github.com/moby/moby/releases1.2.创建docker目录，上传并解压二进制包cd /usrmkdir dockercd dockerrz（选中上传准备好的docker二进制包）tar –zxvf d...
2019-04-19 10:11:28
560
原创 解决linux下mysql区分大小写问题
linux 下，mysql 的默认是区分大小写的，而windows 下默认不区分大小写，我们大多数在windows 下开发，之后迁移到linux。我们可以通过修改配置使得在linux下，myql 表名不区分大小写。（以下分几种情况介绍）一、如果有/etc/my.cnf文件，则直接修改此文件并重启mysql1.在[mysqld]下面添加一句：lower_case_table_names...
2019-03-22 09:41:47
594
原创 docker私服搭建
1.安装Docker Registrydocker run -d -v /home/hzq/registry:/var/lib/registry -p 5000:5000 --restart=always --privileged=true --name registry registry:latest -v /home/hzq/registry:/var/lib/registry 默...
2019-02-27 09:57:13
385
原创 docker的镜像制作及部署
docker的镜像制作及部署（以Flume为例）1.创建docker/docker-flume目录(以下所有操作在该目录下完成)cd /usrmkdir -p docker/docker-flumecd docker/docker-flume2.准备制作镜像需要的tar包及配置文件2.1.准备Dockerfile文件（新建的）vi DockerfileFROM ...
2019-02-25 16:54:20
519
原创 docker单节点的配置与安装
1.前期准备1.1.准备centos 7系统1.2.关闭防火墙2. Yum方式在线安装dockeryum install docker3. 调整docker配置解决启动失败问题3.1.关闭dockersystemctl stop docker3.2.编辑docker-storage文件vi /etc/sysconfig/docker-storage//将文...
2019-02-25 16:49:44
593
原创 ELK之Kibana的安装
kibana的安装1.创建kibana文件夹，上传并解压安装包cd /usrmkdir kibanacd kibanarz（选中上传准备好的 kibana安装包）tar –zxvf xxxxxxxx2.修改配置文件kibana.yml#配置本机ip server.host: "192.168.140.129" #配置es集群url elasticse...
2019-02-19 14:36:30
180
原创 ELK之Elasticsearch-head插件的安装
elasticsearch-head插件的安装1.将elasticsearch-head的tar包上传到elasticsearch目录并解压cd /usr/elasticsearchrz（选中上传准备好的 elasticsearch-head的tar包）tar –zxvf xxxxxxxx2.安装node.js2.1.创建node.js文件夹，上传并解压安装包cd /u...
2019-02-19 14:33:51
321
原创 ELK之Elasticsearch的单节点安装及配置
elasticsearch的单节点安装及配置1.前期准备1.1.安装JDK1.2.关闭防火墙2.创建elasticsearch文件夹，上传并解压安装包cd /usrmkdir elasticsearchcd elasticsearchrz（选中上传准备好的 elasticsearch安装包）tar –zxvf xxxxxxxx3.创建ES用户和组(如果以r...
2019-02-19 14:29:38
1750
原创 ELK之Logstash单节点安装及简单使用
Logstash单节点安装及简单使用前期准备1).安装JDK2).关闭防火墙1.创建logstash文件夹，上传并解压安装包cd /usrmkdir logstashcd logstashrz（选中上传准备好的 logstash安装包）tar –zxvf xxxxxxxx2.启动2.1. bin/logstash -e 'input { stdin...
2019-02-19 14:22:42
571
原创 大数据集群搭建（15）——Scala及Spark的安装（单节点和集群）
Spark的安装1.首先安装scala1.1.创建scala目录，上传并解压安装包。cd /usrmkdir scalacd scalarz（选中上传准备好的scala安装包）tar –zxvf xxxxxxxx1.2.配置环境变量vi /etc/profile#Scalaexport SCALA_HOME=/usr/scala/scala-2.10...
2018-11-20 10:43:29
528
原创 大数据集群搭建（14）——Scala安装验证及\scala\bin\scala.bat)错误解决
Scala安装验证1、安装JDK2、配置JAVA_HOME, PATH，CLASSPATH 3.安装（最好修改一下更改安装路径，不要使用默认路径）4.验证在CMD控制台输入scala出现这个即为成功（可能出现以下\scala\bin\scala.bat)错误）错误原因：C:\Program Files (x86)\scala 默认安装路径...
2018-11-15 17:38:53
257
原创 Storm和Hadoop的区别整理
Storm和Hadoop的区别1.数据来源HADOOP处理的是HDFS上TB级别的数据(历史数据)，STORM是处理的是实时新增的某一笔数据(实时数据)；2.处理过程HADOOP是分MAP阶段到REDUCE阶段，STORM是由用户定义处理流程，流程中可以包含多个步骤，每个步骤可以是数据源(SPOUT)或处理逻辑(BOLT)；3.是否结束HADOOP最后是要结束的，STORM...
2018-11-15 17:32:51
1948
原创 Storm和Kafka的整合
Storm和Kafka的整合1.将kafka作为spout，编写kafkaSpout，bolt，topology程序2.测试2.1.启动Zookeeper(3台)[root@master bin]# ./zkServer.sh start2.2.开启kafka(3台)./bin/kafka-server-start.sh -daemon config/server.prop...
2018-11-15 17:32:14
302
原创 大数据集群搭建（13）——Storm的集群安装
Storm的安装1.创建storm目录，上传并解压安装包。2.配置storm的配置文件 在conf/storm.yaml上添加以下内容。storm.local.dir: "/usr/storm" storm.zookeeper.servers: - "master" - "slaver1" - "slaver2" storm.zookeeper.p...
2018-11-15 17:30:55
197
原创 大数据集群搭建（12）——Flume和Kafka的整合
Flume和Kafka的整合1.配置flume，在flume的conf目录下新建文件（flume_kafka.conf）并配置。 ##########################################################主要作用是监听目录中的新增数据，采集到数据之后，输出到kafka## 注意：Flume agent的运行，主要就是配置source...
2018-11-15 17:27:37
1300
原创 大数据集群搭建（11）——Kafka的安装
Kafka的安装1.创建kafka目录，上传并解压安装包cd /usrmkdir kafkacd kafkarz（选中上传准备好的 kafka安装包）tar –zxvf xxxxxxxx2.修改 config下配置文件2.1.修改server.properties#broker的全局唯一编号，不能重复broker.id=01#broker需要使用zoo...
2018-11-15 11:16:20
229
原创 大数据集群搭建（10）——Flume的多节点集群搭建
Flume的多节点集群搭建1.将主节点的flume拷贝到其他节点上scp -r /usr/flume/ root@slaver1:/usr/flume/scp -r /usr/flume/ root@slaver2:/usr/flume/2. 在master上面配置conf文件： 从某个文件夹里面采集数据，采集到的数据sink到slaver2里面(文件名:m-s2.conf)...
2018-11-14 17:34:01
1253
原创 大数据集群搭建（9）——Flume收集文件到HDFS
flume将文件收集到HDFS上面1.将hadoop的core-site.xml,hdfs-site.xml复制到flume/conf下（文件在hadoop根目录的etc/hadoop下）2.将hadoop的三个jar包拷贝到flume/lib下share/hadoop/common/hadoop-common-2.2.0.jar share/hadoop/common/lib...
2018-11-14 17:30:19
787
原创 大数据集群搭建（8）——Flume的单节点安装及使用
1.Flume的安装1.1.创建flume文件夹，上传并解压安装包cd /usrmkdir flumecd flumerz（选中上传准备好的 flume安装包）tar –zxvf xxxxxxxx1.2.修改配置文件1.2.1.修改flume-env.sh文件[root@master conf]# mv flume-env.sh.template flume-...
2018-11-14 16:51:58
372
原创 大数据集群搭建（7）——Zookeeper集群的搭建
Zookeeper集群的搭建1.创建zookeeper目录，上传并解压安装包cd /usrmkdir zookeepercd zookeeperrz（选中上传准备好的zookeeper安装包）tar –zxvf xxxxxxxx2.配置准备工作2.1. jdk安装完成2.2. Hosts配置完成2.3. 设置SSH免密2.4. 防火墙关闭3. 配置...
2018-11-14 16:48:49
260
原创 大数据集群搭建（6）——Hbase集群的搭建
Hbase集群的搭建1.创建hbase目录，上传并解压安装包cd /usrmkdir hbasecd hbaserz（选中上传准备好的hbase安装包）tar –zxvf xxxxxxxx2.将hadoop的hdfs-site.xml和core-site.xml 拷贝到hbase的conf下cp /usr/hadoop/hadoop-2.7.7/etc/hadoop...
2018-11-14 16:43:08
310
原创 大数据集群搭建（5）——Hbase的单节点安装
Hbase的单节点安装1.新建hbase目录，上传并解压安装包cd /usrmkdir hbasecd hbaserz（选中上传准备好的hbase安装包）tar –zxvf xxxxxxxx2. 配置环境变量vi /etc/profile#Hbaseexport HBASE_HOME=/usr/hbase/hbase-2.0.0export PATH=...
2018-11-14 16:38:37
533
原创 大数据集群搭建（4）——Hive的安装
Hive安装1.在/usr目录下新建tools目录，上传并解压文件cd /usrmkdir toolscd toolsrz（选中上传准备好的hive安装包）tar –zxvf apache-hive-2.0.0-bin.tar.gz2.添加环境变量：vi /etc/profile#Hiveexport HIVE_HOME=/usr/tools/apache...
2018-11-14 16:31:54
231
原创 大数据集群搭建（3）——Centos的mysql安装
Centos的mysql安装1.查看本机的mysqlrpm -qa |grep mysql2.卸载本机上原有的mysql（卸载后输入查看命令，没有结果为完成）rpm -e --nodeps mysql-xxxxx3.添加依赖包安装yum search libaioyum install libaio4.添加mysql组及mysql用户groupadd mysql...
2018-11-14 16:29:58
281
原创 大数据集群搭建（2）——Hadoop集群搭建
Hadoop集群搭建1.Hadoop集群搭建准备工作1.1.关闭防火墙service iptables stopchkconfig iptables off1.2.添加固定ip（每个节点都需要添加）vi /etc/sysconfig/network-scripts/ifcfg-eth0在文件中添加以下内容：（文中标红部分可通过ifconfig命令查找）ONBOOT...
2018-11-14 14:15:57
331
原创 大数据集群搭建（1）——Centos的JDK安装
Centos的JDK安装1.查看本机的jdkrpm -qa|grep jdk2.卸载本机上原有的jdkrpm -e --nodeps jdk-xxxxx3.安装rz文件传输工具yum list lrzszyum install lrzsz.x86_644.在/usr/etc目录下使用rz命令上传jdk的tar包（jdk-8u101-linux-x64.tar.gz）...
2018-11-14 12:57:33
169
原创 大数据各框架开启关闭命令整理
Hadoop开启：start-all.sh关闭：stop-all.sh进程名称：NameNode，DataNode，ResourceManager，NodeManager，SecondaryNameNodeZookeeper在Zookeeper的bin目录下开启： ./zkServer.sh start关闭： ./zkServer.sh stop进程名称：Quoru...
2018-11-13 21:52:49
407
原创 yarn过程详解
1.用户向YARN中提交应用程序，首先找到 ResourceManager，其为该应用程序分配一个Container，其中包含一个ApplicationsManager（应用程序管理器）。2.ApplicationsManager找到一个NodeManager来启动一个ApplicationMaster。3.ApplicationMaster首先向ResourceManager注册，然...
2018-11-09 12:03:37
576
原创 MapReduce过程详解
1.输入分片（input split）：在进行map计算之前，mapreduce会根据输入文件计算输入分片（input split），每个输入分片（input split）针对一个map任务。2.map阶段：就是我们写的map函数，map函数效率相对好控制，而且一般map操作都是本地化操作也就是在数据存储节点上进行；map函数每次处理一行数据，map主要用于数据的...
2018-11-09 11:58:51
250
原创 解决VMware安装后网络连接中没有VMnet虚拟网络适配器
最近使用VMware的时候发现虚拟机中可以联网，但是xshell工具无法正常使用，并且在本地网络适配器中无法找到VMnet网络适配器，宿主机Ping不通虚拟机，连接不上SSH，遇到这种情况怎么办呢？1.首先打开设置->网络和Internet->状态->查看网络属性我们可以发现有数个“VMware Network Adapter VMnet"的网卡，但是在设置-...
2018-10-11 12:13:16
58105
38
原创 SSM项目无法解析JSP页面
在SSM框架搭建完成后，JSP页面显示标头<%@ page language="java" contentType="text/html; charset=UTF-8" pageEncoding="UTF-8"%>，从而使JSP页面失效。原因：web.xml文件中的url路径误写成了/*解决办法：将web.xml文件中url拦截路径改为 / ...
2018-09-17 22:14:03
2326
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人