Linux
文章平均质量分 57
s s
稳哥的哥
babe babe babe wowowowowowoow~!
寒江孤影、江湖故人
展开
-
CentOS7-之Superset安装
CentOS7-之Superset安装1 准备工作,安装python环境在不破坏linux原先的python2.7的情况下安装python3.71.1 安装miniconda下载地址:https://docs.conda.io/en/latest/miniconda.html选择Miniconda3 Linux 64-bit这是一个开源的python的版本管理工具,与anaconda差不大,只是该工具中的包要少一些。bash Miniconda3-latest-Linux-x86_64.sh原创 2021-09-25 15:27:08 · 995 阅读 · 0 评论 -
CentOS7-之Pheonix5.12安装部署(Hbase-2.1.1)
Phoenix5.12-之安装部署(Hbase-2.1.1)Phoenix与Hbase的版本兼容是很严格的,我们需要使用Phoenix去适配Hbase,有很严格的版本标准,具体的版本匹配如下图。具体版本的选择请查阅官网下载页面:https://phoenix.apache.org/download.html具体步骤如下:1、下载到tar包到指定的目录2、进行解压操作# 1 解压tar -zxvf phoenix-hbase-2.1-5.1.2-bin.tar.gz -C /opt/mod原创 2021-07-03 00:36:05 · 458 阅读 · 0 评论 -
CentOS7 - 之Nginx-1.12.2安装
CentOS7 - 之Nginx-1.12.2安装Nginx是一个出色的反向代理服务器,可以很好的代理服务端,处理客户端的请求。今天我们了解以下Nginx在CentOS7上的安装。注意!正向代理是代理的的客户端,是代理服务器帮客户端去访问其它的服务端。1、首先安装依赖的c语言的编译环境# 使用root权限进行操作sudo yum -y install make zlib zlib-devel gcc-c++ libtool openssl openssl-devel2、进行解压安装#原创 2021-07-05 23:39:42 · 636 阅读 · 1 评论 -
Centos7- 之presto-0.252安装单节点(mysql、hive联表查询)
Centos7 - 之presto-0.252安装1 前提条件-jdk的安装,并且配置环境变量# java必须是jdk8_151以上,这里选用jdk1.8.0_291export JAVA_HOME=/opt/module/jdk1.8.0_291export JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin原创 2021-05-09 12:38:58 · 229 阅读 · 0 评论 -
CentOS 7 安装分布式ClickHouse(3台节点)
CentOS7-之安装分布式Click-House(3台节点)0 前言本文主要介绍如何在CentOS7操作系统上通过.tgz包的方式安装分布式的ClickHouse集群。安装方式有很多种。rpm包安装tgz包安装源码编译安装and so on …1 前提准备在安装之前首先需要在操作系统上进行相关的环境准备及配置,这些环境准备需要在每天节点上执行1.1 修改系统文件的限制首先分别修改以下2个文件,必须是root权限执行,如果是其它用户必须在sudoer中配置管理员权限。sudo原创 2021-01-12 10:35:00 · 905 阅读 · 0 评论 -
CentOS 7 安装Sqoop-1.4.7-bin-hadoop
CentOS 7 安装sqoop1.4.7-bin-hadoop前言Sqoop是一个可以将数据在关系型数据库与Hadoop进行转移的工具,底层通过MapResult的MR任务将数据按批次的形式进行转移,同时自定义了对应的InputFormat和OutputFormat,吞吐量很大,功能很强。下载地址:https://mirrors.bfsu.edu.cn/apache/sqoop/1.4.7/1 下载安装包# 1 tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.t原创 2021-01-22 13:05:30 · 907 阅读 · 0 评论 -
CentOS 7 安装Flume-1.9.0
CentOS 7 安装Flume-1.9.00 前言flume官网:http://flume.apache.org/flume是一个日志采集框架,最开始就是用来采集日志信息到HADOOP的采集框架,能够达到实时的效果。flume的安装和配置很简单,下面就开始介绍在centos 7上安装flume,flume并不是一个分布式的应用,所以没有集群的概念。1 Flume安装流程下载并解压相关的tar包tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt/m原创 2021-01-16 16:53:36 · 532 阅读 · 0 评论 -
CentOS 7 安装Spark-2.1.1-bin-hadoop-2.7(standalone & yarn)
CentOS 7 安装Spark-2.1.1-bin-hadoop-2.71 local模式(1台节点)这种版本主要是用来自己测试,自己玩一下内部Hive的连接与外部Hive的连接,这种模式安装很简单 ,官网下载地址从官网下载对应的离线安装版本,上传到服务器。解压tgz格式的离线安装包指定的目录。更改目录名称进入spark_home目录,在bin目录下启动spark-shell,不报错说明正常本地模式安成功。1.1 使用local模式访问内部Hive# 解压tar -zxvf spar原创 2021-01-16 09:58:23 · 1702 阅读 · 0 评论 -
CentOS 7 安装及配置Hbase(完全分布式、HA高可用)
Centos 7安装及配置Hbase(完全分布式)整体参考地址:http://abloz.com/hbase/book.html#basic.prerequisites1 下载Hbase-2.x.x-bin.ta下载地址:https://www.apache.org/dyn/closer.lua/hbase/2.3.2/hbase-2.3.2-bin.tar.gz选择你想要的下载镜像以及对应的资源版本!~2 前提准备多台服务器节点相同用户下的节点之间ssh免密对应的java版本原创 2020-09-29 16:24:57 · 270 阅读 · 0 评论 -
CentOS 7 安装Apache-Zookeeper-3.6.2
Apache-Zookeeper-3.6.2的安装简介本文主要介绍Centos 7下安装简单的zookeeper集群1 Zookeeper下载地址2 安装并配置Zookeeper2.1 安装zookeepertar -zxvf apache-zookeeper-3.6.2-bin.tar.gz -C /opt/module/cd /opt/module/mv apache-zookeeper-3.6.2-bin/ zookeeper-2.6.22.2 配置zookeeper集群cd原创 2020-09-10 22:40:22 · 3200 阅读 · 1 评论 -
CentOS 7 安装Apache Hive-1.2.2
CentOS 7 安装Apache Hive-1.2.21 前提条件,安装Hadoop2 安装MySQL2.1 先查询卸载原有的mysql数据库rpm -qa|grep mysql sudo rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_642.2 安装server(记得用sudo)解压unzip mysql-libs.zip 安装mysql服务端:sudo rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rp原创 2020-09-09 23:34:56 · 193 阅读 · 0 评论 -
CentOS 7 安装Apache hadoop-2.7.7
Centos 7安装Apache hadoop1 前言(前提条件)在Linux上安装Apache Hadoop之前,必须保证2点 。Java™ must be installed. Recommended Java versions are described at HadoopJavaVersions.ssh must be installed and sshd must be running to use the Hadoop scripts that manage remote Hadoop原创 2020-09-03 01:17:52 · 258 阅读 · 0 评论 -
VMware安装Centos7 and 网络配置及防火墙的关闭
安装CentOS 7 网络配置及防火墙的关闭1 如何在VMWARE中安装CentOS 7参考安装CentOS 7网址2 查看防火墙状态以及关闭防火墙2.1 CentOS6.x 关闭防火墙# 查看防火墙的运行状态service iptables status# 临时关闭防火墙service iptable stop # 永久关闭防火墙,防止开机自启动chkconfig iptables off2.2 CentOS7.x 关闭防火墙# 查看防火墙的运行状态firewall-cmd -原创 2020-08-28 11:56:13 · 4631 阅读 · 0 评论 -
虚拟机搭建简单集群准备工作
虚拟机准备防火墙关闭service iptables stop //服务关闭 chkconfig iptables off //关闭开机自启创建一个一般用户atguiguuseradd shufangpasswd shufang在/opt目录下创建software module文件夹mkdir software modulechown shufang:shufang...原创 2020-04-19 14:48:39 · 153 阅读 · 0 评论 -
jpsall查看所有进程
#!/bin/bash#查看所有的JVM进程for i in shufang@shufang1 shufang@shufang2 shufang@shufang3do echo "================ $i ================" ssh $i "'$JAVA_HOME/bin/jps'"done...原创 2020-04-19 14:36:26 · 525 阅读 · 0 评论 -
集群群发脚本xsync
#!/bin/bash#1 获取输入参数个数,如果没有参数,直接退出pcount=$#if((pcount==0)); thenecho no args;exit;fi#2 获取文件名称p1=$1fname=`basename $p1`echo fname=$fname#3 获取上级目录到绝对路径pdir=`cd -P $(dirname $p1); pwd`echo...转载 2020-04-19 14:31:45 · 196 阅读 · 1 评论 -
查看节点资源情况
# free 查看内存情况# 总核数 = 物理cpu个数 * 每个物理cpu的core的个数查看物理cpu的个数:cat /proc/cpuinfo| grep "physical id" |sort |uniq | wc -l查看每个物理cpu的核数cat /proc/cpuinfo | grep "cpu cores" |uniq查看逻辑的cpu个数cat /proc/cp...原创 2019-11-20 10:43:46 · 1743 阅读 · 0 评论