- 博客(37)
- 收藏
- 关注
原创 在Kubernetes上部署Hadoop集群(ARM64架构)
1、环境介绍系统版本:Linux 4.19.90-17.ky10.aarch64 aarch64Docker:18.09.0Kubernetes:1.19.02、部署材料准备基础镜像:centos:centos7.9.2009 (arm64/v8)JDK:jdk1.8 (OpenJDK8U-jdk_aarch64_linux_hotspot_8u275b01.tar.gz)Hadoop:hadoop-2.9.1.tar.gz3、制作镜像由于Hadoop并没有官方指定的镜像
2021-01-25 16:55:01
1842
4
原创 解决docker-service with name xxx already exists或port is already allocated问题
1.问题描述:使用docker rm <容器名> 删除容器后,使用相同的容器名或端口重新部署此容器,出现docker-service with name xxx already exists或Bind for 0.0.0.0:8080 failed: port is already allocated错误。如下图所示:2.故障原因:删除docker容器后,对应的容器名称或容器端口未成功释放,网络仍被占用。3.解决方案:找到容器对应的网络占用,并清理即可。3.1.首先查找所..
2020-05-19 15:25:09
3691
1
原创 Docker和Kubernetes常用命令整理
docker常用指令启动docker systemctl start docker 重启docker systemctl restart docker 关闭docker systemctl stop docker 查看镜像文件 docker images...
2019-12-02 10:39:43
584
原创 Docker和Kubernetes集群在线安装
k8s集群搭建1.前期准备1.1.准备centos 7系统1.2.关闭防火墙systemctl stop firewalldsystemctl disable firewalld1.3关闭selinuxsetenforce 0sed -i '/^SELINUX=/cSELINUX=disabled' /etc/sysconfig/selinux1.4主节点doc...
2019-12-02 10:29:48
619
原创 物理机PC如何安装linux操作系统
准备工作:刻录好操作系统的U盘(本文以centos7为例)1.设置PC启动项为U盘启动在PC开机后不停按F1(电脑型号不同按键不同)进入BIOS界面,找到启动设置,将以U盘启动调至最上方,按F10保存退出。2.编辑配置以查看U盘路径2.1.PC重新启动后会进入如下界面,按照提示按tab键(有些是e键)进入编辑模式。2.2.进入编辑模式后更改如下配置:将inst....
2019-10-29 17:16:04
3802
2
原创 解决Anaconda出现CondaHTTPError: HTTP 000 CONNECTION FAILED for url问题
1.问题描述:conda无法创建虚拟环境并且无法安装其他第三方包,报错内容如下:2.错误原因:默认镜像源访问速度过慢,会导致超时从而导致更新和下载失败。3.解决方案:更换镜像源为清华镜像源,并且删除默认镜像源。3.1.首先执行如下几条命令更换清华镜像源conda config --add channels https://mirrors.tuna.tsinghua.edu.c...
2019-07-24 15:22:59
98521
40
原创 二进制离线安装docker和Kubernetes
1.docker的安装与配置1.1.下载所需的 docker 二进制文件(也可以去笔者百度网盘获取资源,链接在最下方)https://github.com/moby/moby/releases1.2.创建docker目录,上传并解压二进制包cd /usrmkdir dockercd dockerrz(选中上传准备好的docker二进制包)tar –zxvf d...
2019-04-19 10:11:28
572
原创 解决linux下mysql区分大小写问题
linux 下,mysql 的默认是区分大小写的,而windows 下默认不区分大小写,我们大多数在windows 下开发,之后迁移到linux。我们可以通过修改配置使得在linux下,myql 表名不区分大小写。(以下分几种情况介绍)一、如果有/etc/my.cnf文件,则直接修改此文件并重启mysql1.在[mysqld]下面添加一句:lower_case_table_names...
2019-03-22 09:41:47
609
原创 docker私服搭建
1.安装Docker Registrydocker run -d -v /home/hzq/registry:/var/lib/registry -p 5000:5000 --restart=always --privileged=true --name registry registry:latest -v /home/hzq/registry:/var/lib/registry 默...
2019-02-27 09:57:13
390
原创 docker的镜像制作及部署
docker的镜像制作及部署(以Flume为例)1.创建docker/docker-flume目录(以下所有操作在该目录下完成)cd /usrmkdir -p docker/docker-flumecd docker/docker-flume2.准备制作镜像需要的tar包及配置文件2.1.准备Dockerfile文件(新建的)vi DockerfileFROM ...
2019-02-25 16:54:20
530
原创 docker单节点的配置与安装
1.前期准备1.1.准备centos 7系统1.2.关闭防火墙2. Yum方式在线安装dockeryum install docker3. 调整docker配置解决启动失败问题3.1.关闭dockersystemctl stop docker3.2.编辑docker-storage文件vi /etc/sysconfig/docker-storage//将文...
2019-02-25 16:49:44
605
原创 ELK之Kibana的安装
kibana的安装1.创建kibana文件夹,上传并解压安装包cd /usrmkdir kibanacd kibanarz(选中上传准备好的 kibana安装包)tar –zxvf xxxxxxxx2.修改配置文件kibana.yml#配置本机ip server.host: "192.168.140.129" #配置es集群url elasticse...
2019-02-19 14:36:30
195
原创 ELK之Elasticsearch-head插件的安装
elasticsearch-head插件的安装1.将elasticsearch-head的tar包上传到elasticsearch目录并解压cd /usr/elasticsearchrz(选中上传准备好的 elasticsearch-head的tar包)tar –zxvf xxxxxxxx2.安装node.js2.1.创建node.js文件夹,上传并解压安装包cd /u...
2019-02-19 14:33:51
334
原创 ELK之Elasticsearch的单节点安装及配置
elasticsearch的单节点安装及配置1.前期准备1.1.安装JDK1.2.关闭防火墙2.创建elasticsearch文件夹,上传并解压安装包cd /usrmkdir elasticsearchcd elasticsearchrz(选中上传准备好的 elasticsearch安装包)tar –zxvf xxxxxxxx3.创建ES用户和组(如果以r...
2019-02-19 14:29:38
1764
原创 ELK之Logstash单节点安装及简单使用
Logstash单节点安装及简单使用前期准备1).安装JDK2).关闭防火墙1.创建logstash文件夹,上传并解压安装包cd /usrmkdir logstashcd logstashrz(选中上传准备好的 logstash安装包)tar –zxvf xxxxxxxx2.启动2.1. bin/logstash -e 'input { stdin...
2019-02-19 14:22:42
583
原创 大数据集群搭建(15)——Scala及Spark的安装(单节点和集群)
Spark的安装1.首先安装scala1.1.创建scala目录,上传并解压安装包。cd /usrmkdir scalacd scalarz(选中上传准备好的scala安装包)tar –zxvf xxxxxxxx1.2.配置环境变量vi /etc/profile#Scalaexport SCALA_HOME=/usr/scala/scala-2.10...
2018-11-20 10:43:29
539
原创 大数据集群搭建(14)——Scala安装验证及\scala\bin\scala.bat)错误解决
Scala安装验证1、安装JDK2、配置JAVA_HOME, PATH,CLASSPATH 3.安装(最好修改一下更改安装路径,不要使用默认路径)4.验证在CMD控制台输入scala出现这个即为成功(可能出现以下\scala\bin\scala.bat)错误)错误原因:C:\Program Files (x86)\scala 默认安装路径...
2018-11-15 17:38:53
269
原创 Storm和Hadoop的区别整理
Storm和Hadoop的区别1.数据来源HADOOP处理的是HDFS上TB级别的数据(历史数据),STORM是处理的是实时新增的某一笔数据(实时数据);2.处理过程HADOOP是分MAP阶段到REDUCE阶段,STORM是由用户定义处理流程,流程中可以包含多个步骤,每个步骤可以是数据源(SPOUT)或处理逻辑(BOLT);3.是否结束HADOOP最后是要结束的,STORM...
2018-11-15 17:32:51
1955
原创 Storm和Kafka的整合
Storm和Kafka的整合1.将kafka作为spout,编写kafkaSpout,bolt,topology程序2.测试2.1.启动Zookeeper(3台)[root@master bin]# ./zkServer.sh start2.2.开启kafka(3台)./bin/kafka-server-start.sh -daemon config/server.prop...
2018-11-15 17:32:14
308
原创 大数据集群搭建(13)——Storm的集群安装
Storm的安装1.创建storm目录,上传并解压安装包。2.配置storm的配置文件 在conf/storm.yaml上添加以下内容。storm.local.dir: "/usr/storm" storm.zookeeper.servers: - "master" - "slaver1" - "slaver2" storm.zookeeper.p...
2018-11-15 17:30:55
209
原创 大数据集群搭建(12)——Flume和Kafka的整合
Flume和Kafka的整合1.配置flume,在flume的conf目录下新建文件(flume_kafka.conf)并配置。 ##########################################################主要作用是监听目录中的新增数据,采集到数据之后,输出到kafka## 注意:Flume agent的运行,主要就是配置source...
2018-11-15 17:27:37
1308
原创 大数据集群搭建(11)——Kafka的安装
Kafka的安装1.创建kafka目录,上传并解压安装包cd /usrmkdir kafkacd kafkarz(选中上传准备好的 kafka安装包)tar –zxvf xxxxxxxx2.修改 config下配置文件2.1.修改server.properties#broker的全局唯一编号,不能重复broker.id=01#broker需要使用zoo...
2018-11-15 11:16:20
235
原创 大数据集群搭建(10)——Flume的多节点集群搭建
Flume的多节点集群搭建1.将主节点的flume拷贝到其他节点上scp -r /usr/flume/ root@slaver1:/usr/flume/scp -r /usr/flume/ root@slaver2:/usr/flume/2. 在master上面配置conf文件: 从某个文件夹里面采集数据,采集到的数据sink到slaver2里面(文件名:m-s2.conf)...
2018-11-14 17:34:01
1261
原创 大数据集群搭建(9)——Flume收集文件到HDFS
flume将文件收集到HDFS上面1.将hadoop的core-site.xml,hdfs-site.xml复制到flume/conf下(文件在hadoop根目录的etc/hadoop下)2.将hadoop的三个jar包拷贝到flume/lib下share/hadoop/common/hadoop-common-2.2.0.jar share/hadoop/common/lib...
2018-11-14 17:30:19
796
原创 大数据集群搭建(8)——Flume的单节点安装及使用
1.Flume的安装1.1.创建flume文件夹,上传并解压安装包cd /usrmkdir flumecd flumerz(选中上传准备好的 flume安装包)tar –zxvf xxxxxxxx1.2.修改配置文件1.2.1.修改flume-env.sh文件[root@master conf]# mv flume-env.sh.template flume-...
2018-11-14 16:51:58
377
原创 大数据集群搭建(7)——Zookeeper集群的搭建
Zookeeper集群的搭建1.创建zookeeper目录,上传并解压安装包cd /usrmkdir zookeepercd zookeeperrz(选中上传准备好的zookeeper安装包)tar –zxvf xxxxxxxx2.配置准备工作2.1. jdk安装完成2.2. Hosts配置完成2.3. 设置SSH免密2.4. 防火墙关闭3. 配置...
2018-11-14 16:48:49
267
原创 大数据集群搭建(6)——Hbase集群的搭建
Hbase集群的搭建1.创建hbase目录,上传并解压安装包cd /usrmkdir hbasecd hbaserz(选中上传准备好的hbase安装包)tar –zxvf xxxxxxxx2.将hadoop的hdfs-site.xml和core-site.xml 拷贝到hbase的conf下cp /usr/hadoop/hadoop-2.7.7/etc/hadoop...
2018-11-14 16:43:08
315
原创 大数据集群搭建(5)——Hbase的单节点安装
Hbase的单节点安装1.新建hbase目录,上传并解压安装包cd /usrmkdir hbasecd hbaserz(选中上传准备好的hbase安装包)tar –zxvf xxxxxxxx2. 配置环境变量vi /etc/profile#Hbaseexport HBASE_HOME=/usr/hbase/hbase-2.0.0export PATH=...
2018-11-14 16:38:37
536
原创 大数据集群搭建(4)——Hive的安装
Hive安装1.在/usr目录下新建tools目录,上传并解压文件cd /usrmkdir toolscd toolsrz(选中上传准备好的hive安装包)tar –zxvf apache-hive-2.0.0-bin.tar.gz2.添加环境变量:vi /etc/profile#Hiveexport HIVE_HOME=/usr/tools/apache...
2018-11-14 16:31:54
236
原创 大数据集群搭建(3)——Centos的mysql安装
Centos的mysql安装1.查看本机的mysqlrpm -qa |grep mysql2.卸载本机上原有的mysql(卸载后输入查看命令,没有结果为完成)rpm -e --nodeps mysql-xxxxx3.添加依赖包安装yum search libaioyum install libaio4.添加mysql组及mysql用户groupadd mysql...
2018-11-14 16:29:58
288
原创 大数据集群搭建(2)——Hadoop集群搭建
Hadoop集群搭建1.Hadoop集群搭建准备工作1.1.关闭防火墙service iptables stopchkconfig iptables off1.2.添加固定ip(每个节点都需要添加)vi /etc/sysconfig/network-scripts/ifcfg-eth0在文件中添加以下内容:(文中标红部分可通过ifconfig命令查找)ONBOOT...
2018-11-14 14:15:57
334
原创 大数据集群搭建(1)——Centos的JDK安装
Centos的JDK安装1.查看本机的jdkrpm -qa|grep jdk2.卸载本机上原有的jdkrpm -e --nodeps jdk-xxxxx3.安装rz文件传输工具yum list lrzszyum install lrzsz.x86_644.在/usr/etc目录下使用rz命令上传jdk的tar包(jdk-8u101-linux-x64.tar.gz)...
2018-11-14 12:57:33
174
原创 大数据各框架开启关闭命令整理
Hadoop开启:start-all.sh关闭:stop-all.sh进程名称:NameNode,DataNode,ResourceManager,NodeManager,SecondaryNameNodeZookeeper在Zookeeper的bin目录下开启: ./zkServer.sh start关闭: ./zkServer.sh stop进程名称:Quoru...
2018-11-13 21:52:49
415
原创 yarn过程详解
1.用户向YARN中提交应用程序,首先找到 ResourceManager,其为该应用程序分配一个Container,其中包含一个ApplicationsManager(应用程序管理器)。2.ApplicationsManager找到一个NodeManager来启动一个ApplicationMaster。3.ApplicationMaster首先向ResourceManager注册,然...
2018-11-09 12:03:37
584
原创 MapReduce过程详解
1.输入分片(input split):在进行map计算之前,mapreduce会根据输入文件计算输入分片(input split),每个输入分片(input split)针对一个map任务。2.map阶段:就是我们写的map函数,map函数效率相对好控制,而且一般map操作都是本地化操作也就是在数据存储节点上进行;map函数每次处理一行数据,map主要用于数据的...
2018-11-09 11:58:51
257
原创 解决VMware安装后网络连接中没有VMnet虚拟网络适配器
最近使用VMware的时候发现虚拟机中可以联网,但是xshell工具无法正常使用,并且在本地网络适配器中无法找到VMnet网络适配器,宿主机Ping不通虚拟机,连接不上SSH,遇到这种情况怎么办呢?1.首先打开设置->网络和Internet->状态->查看网络属性我们可以发现有数个“VMware Network Adapter VMnet"的网卡,但是在设置-...
2018-10-11 12:13:16
58388
38
原创 SSM项目无法解析JSP页面
在SSM框架搭建完成后,JSP页面显示标头<%@ page language="java" contentType="text/html; charset=UTF-8" pageEncoding="UTF-8"%>,从而使JSP页面失效。原因:web.xml文件中的url路径误写成了/*解决办法:将web.xml文件中url拦截路径改为 / ...
2018-09-17 22:14:03
2337
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人