![](https://img-blog.csdnimg.cn/446acb32b3fe43e4b10ababe27758d20.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
安装部署
文章平均质量分 60
安装部署文档
shy_snow
这个作者很懒,什么都没留下…
展开
-
linux挂载超过2T的大磁盘
parted /dev/sdbmklabel gptmkpart primary 2048s 100%align-check optimal 1quitmkfs.xfs -f /dev/sdbmount /dev/sdb /srv/BigData/hadoop/data1echo "/dev/sdb /srv/BigData/hadoop/data1 xfs defaults,noatime,nodiratime 1 0" >>/etc/fstab原创 2023-08-09 10:24:01 · 674 阅读 · 0 评论 -
Trino安装使用及权限控制
Trino是一个分布式SQL查询引擎,旨在查询分布在一个或多个异构数据源上的大型数据集。支持丰富的数据源连接方式,支持库、表和字段级别的权限控制,以及支持通过资源组实现类似队列的资源使用控制。这些都需要手工进行配置,这是不方便的地方。原创 2023-05-06 19:13:13 · 3815 阅读 · 0 评论 -
使用pypi-server创建私有pip源
为了让内网使用pip下载安装,需要在内网中创建pip源,类似离线仓库。使用pypiserver可以指定离线仓库目录, 将安装包放到离线仓库目录即可,只要有人上传一次后,其他人需要该模块,就不用再花时间去外网找了。不必一次同步全量的离线包,毕竟全量镜像可能有3T多。一、服务器安装 pypiserver#安装or。原创 2023-01-14 20:15:42 · 1531 阅读 · 0 评论 -
Centos7离线安装sqlserver2017
根据操作系统选择安装包,可以在这找下https://packages.microsoft.com/config我选择是先在一台有网的机器上下载好rpm安装包之后再传到内网机器上安装。原创 2023-01-06 18:30:00 · 694 阅读 · 0 评论 -
zookeeper3.6.3升级jetty9.4.47解决安全漏洞CVE-2022-2048和CVE-2021-28169
zookeeper3.6安全漏洞CVE-2022-2048和CVE-2021-28169, 替换zookeeper的lib目录下的7个jetty为9.4.47版本jar包后重启zookeeper,即可。jetty9.4.47下载地址https://repo1.maven.org/maven2/org/eclipse/jetty/jetty-distribution/9.4.47.v20220610/原创 2022-12-12 13:23:26 · 12609 阅读 · 2 评论 -
ftp共享盘挂载及权限——curlftpfs挂载FTP服务器
通过curlftpfs将远程ftp某个共享目录映射到本地目录,以达到多台机器共享同一目录的效果。首先安装ftp服务yum -y install epel-release;yum install vsftpd,然后 yum install curlftpfs在各节点安装curlftpfs并挂载远程ftp共享目录到本地即可在本地操作远程ftp共享目录curlftpfs -o codepage=utf8 ftp://username:password@yourip /home/share。原创 2022-12-09 11:09:25 · 5597 阅读 · 4 评论 -
hdfs-over-ftp使用说明
hdfs-over-ftp可以将hdfs文件系统通过ftp服务方式暴露出来,可以通过ftp客户端下载和上传hadoop文件。原创 2022-12-08 09:07:40 · 1261 阅读 · 0 评论 -
低版本客户端连接oracle12c报错ORA-28040: No matching authentication protocol
修改product/12.1.0/dbhome_1/network/admin/sqlnet.ora增加SQLNET.ALLOWED_LOGON_VERSION_SERVER=8SQLNET.ALLOWED_LOGON_VERSION_CLIENT=8重启数据库及监听;sqlplus / as sysdba;shutdown immediatestartuplsnrctl stoplsnrctl start;修改用户密码;alter user 用户名 identified by 新密码;原创 2022-12-04 09:10:50 · 1278 阅读 · 0 评论 -
yum安装postgresql
yum安装 yum install postgresql postgresql-server 创建数据库,修改密码,放开远程访问限制,重启原创 2022-12-01 22:03:59 · 2557 阅读 · 0 评论 -
限制用户只能sftp不能ssh,一个用户可以上传,另一个用户只能下载
bin/false 限制不使用ssh, ChrootDirectory限制sftp根目录(该目录必须为root用户root属组,权限要是755,可以在该目录创建子目录并修改子目录属组来给其他用户操作)原创 2022-11-04 23:34:00 · 1567 阅读 · 0 评论 -
ntp离线时间同步
离线环境下如果没有ntp服务器,可以选择一台机器作为时间服务器,其他机器作为客户端向该机器获取时间。所有机器上都要安装ntp, 配置时间服务器时服务器和客户端的配置不同,服务器配置server 127.127.1.1,客户端要配置服务端的真实ip。原创 2022-10-28 16:04:02 · 715 阅读 · 0 评论 -
Ubuntu安装clickhouse集群
apt-get clickhouse*.deb安装。配置组网信息metrika.xml。config.xml放开本地访问限制,放开注释,引用组网信息 /etc/metrika.xml。连接客户端测试建分布式表语句clickhouse-client --password 123原创 2022-10-27 10:21:33 · 605 阅读 · 0 评论 -
windows下split大文件在linux下拼接
进入CygWin环境之后使用split命令切分文件,在linux只要使用cat命令合并写入一个文件即可。window没有split命令需要安装CygWin。-b是按大小切分, -l是按行数切分。原创 2022-09-26 09:17:51 · 719 阅读 · 0 评论 -
重启物理机后kvm无法启动虚拟机
报错: Domain requires KVM, but it is not available. Check that virtualization is enabled in the host BIOS, and host configuration is setup to load the kvm modules.解决:重启物理机,在启动时按F2进入BIOS设置页面查找VirtualizationTechnology或者Virtualization选项设置开启后,按F10保存并退出。...原创 2022-03-31 15:05:20 · 2090 阅读 · 0 评论 -
arm麒麟安装mysql
1.安装deb文件dpkg -i *.deb安装过程中会要求你设置的mysql的root密码2.修改/etc/my.cnfdatadir = /data01/MPP/mysql/databind-address=0.0.0.03.重启mysqlsystemctl stop mysql.servicesystemctl start mysql.service4.查看状态systemctl status mysqld5.创建远程访问用户并赋权限原创 2022-09-02 10:52:56 · 1036 阅读 · 0 评论 -
grafana+promethus+jmx_export监控jvm
使用一个小demo模拟jvm进程,并开启jmx端口8077下载并启动jmx_export组件下载https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.3.1/jmx_prometheus_javaagent-0.3.1.jar本文使用0.3.1版本,因为grafana里现成的面板模板很多都是基于老版本的,新版本修改了标签名称会无法在grafana里显示出来。两种启动方式,两种jar...原创 2022-08-25 18:01:24 · 1523 阅读 · 0 评论 -
standard_init_linux.go:211: exec user process caused “exec format error“
在 amd 和 arm 架构下构建的镜像很有可能不能互通。解决办法:针对不同的硬件架构构建不同的镜像,或者构建跨架构(multi-arch)的镜像。原创 2022-08-22 11:30:12 · 1311 阅读 · 0 评论 -
yum离线安装
先在有网机器上下载安装包并复制到离线机器上。然后,借助createrepo将离线安装包目录发布为本地软件源并yum makecache。最后,在离线机器上使用yum安装软件。yum install -y --downloadonly --downloaddir=/tmp/ceph ceph-deploy createrepo /tmp/ceph yum makecache 其他软件也是类似的做法。......原创 2022-08-05 10:12:16 · 6532 阅读 · 0 评论 -
topology.yaml中指定端口号
因为需要复用机器部署另外一套tidb集群,端口冲突了,修改topology.yaml指定端口总是错误,无奈使用tiupclusteredit-configtidb,然后复制出来修改端口号。原创 2022-07-22 14:38:43 · 368 阅读 · 0 评论 -
pushgateway+Prometheus+grafana图表
1. 下载 pushgateway-1.4.3.linux-amd64.tar.gz解压缩到指定目录2. # 后台运行 pushgateway nohup /usr/local/pushgateway/pushgateway > run.log 2>&1 &3. # 配置prometheus.yml 后重载prometheus原创 2022-07-21 09:50:25 · 539 阅读 · 0 评论 -
redis6.0集群搭建
sed -i 's/6379/7000/' redis.conf sed -i 's/daemonize no/daemonize yes/'/opt/MPP/redis/src/redis-cli --cluster create 192.168.26.15:7000 192.168.26.15:7001 192.168.26.16:7002 192.168.26.16:7003 192.168.26.17:7004 192.168.26.17:7005 --cluster-replicas 1原创 2022-07-19 18:15:00 · 886 阅读 · 0 评论 -
修改配置文件后tidb无法启动
tiup cluster edit-config tidb-dev修改配置文件后重启集群发现pd组件无法启动:查看错误提示中的debugger日志发现其通过ssh远程启动pd服务后一直无法检测到pd的端口,2分钟后超时报错。将日志中命令: systemctl start pd-2379.service查看pd-2379.service的内容:复制出来执行,发现报错为pd.toml中有不识别的配置,直接修改pd.toml,然后启动成功......原创 2022-07-06 13:54:38 · 1032 阅读 · 0 评论 -
kafka集群开启SASL/Kerberos安全认证
Kafka使用JAAS(Java认证和授权服务)进行SASL(基于网络连接的安全认证机制)配置。通过三个步骤即可实现JAAS安全认证:(1) 配置jaas相关信息(2) 开启SASL/Kerberos认证(3) 通过脚本将配置信息传递给java虚拟机,这样java的JAAS服务才能根据配置进行认证和授权服务。不论是zookeeper集群还是kafka集群都是如此。.........原创 2022-06-30 08:33:44 · 2937 阅读 · 0 评论 -
clickhouse2分片2副本高可用集群搭建及chproxy代理配置使用
clickhouse集群是表级别的,在节点层面上clickhouse每个节点都是独立的, 即使组成集群了也是独立的,所以永远只能连接到clickhouse的单节点上。可以类比redis,有点像是积木,可以按配置文件随意组装。只要各节点上安装clickhouse单机之后再配置config.xml和/etc/metrika.xml将其他节点的连接信息以及分片和副本情况配置好就可以了。原创 2022-06-02 09:14:13 · 2426 阅读 · 0 评论 -
redis5集群安装并设置密码
redis是c写的,需要进行编译。redis集群一般至少要6个节点(三主三从)配置启动好各节点后,使用redis-trib.rb工具构建集群即可(先不要设置密码,等集群构建完成后再分别通过客户端设置密码后写入config配置文件)。安装依赖sudo yum -y install gcc gcc-c++ tcl zlib zlib-devel ruby ruby-devel rubygems rpm-build下载 redis-*.gem然后本地安装#下载地址 https://rubygems.o原创 2022-05-05 01:00:12 · 2453 阅读 · 0 评论 -
redis3.0搭建分布式集群
redis高版本使用ruby实现了集群,所以需要ruby环境,安装ruby环境和redis的gem接口后,就可以使用redis的redis-trib.rb脚本创建集群。先列一下大的步骤。1.修改配置文件,启动多个redis实例。2.安装ruby、rubygems、redis ruby接口。安装gem 需要ruby的版本在 1.8.7 以上,默认的centos5 上都是1.8.............原创 2016-01-06 09:39:31 · 6409 阅读 · 0 评论 -
kafka集群部署
kafka集群只要解压后修改各节点的broker.id,配置zookeeper连接后分别启动各节点kafka即可。前提:jdk和zookeeper安装参考jdk安装和zookeeper集群安装下载并解压wget https://archive.apache.org/dist/kafka/2.1.1/kafka_2.11-2.1.1.tgztar -zxvf kafka_2.11-2.1.1.tgz修改配置文件各节点的broker.idcd kafka_2.11-2.1.1vi conf/原创 2022-05-04 23:51:19 · 1506 阅读 · 0 评论 -
zookeeper集群部署
zookeeper依赖jdk,先安装jdk,然后解压安装包,修改每个节点上的id即可,因为集群会选举超过半数节点投票的节点为主节点,所以集群一般为奇数个节点,避免"势均力敌"的情况。下载并解压wget https://dlcdn.apache.org/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gztar -zxvf apache-zookeeper-3.6.3-bin.tar.gz 修改配置文件zoo.cfgcd apa原创 2022-05-02 22:00:52 · 1871 阅读 · 0 评论 -
JDK安装
sudo ls -l /opt/MPPcd /opt/MPPsudo mkdir -p /opt/MPPsudo chown -R tydic:tydic /opt/MPPsudo chomd -R 751 /opt/MPP#下载jdk1.8.0_192.tar.gzcd /opt/MPP/tar -zxvf jdk1.8.0_192.tar.gzsudo ln -s /opt/MPP/jdk1.8.0_192 /usr/local/share/applications/jdks原创 2022-05-02 20:44:48 · 296 阅读 · 0 评论 -
mysql主从集群搭建
主mysql开启binlog日志,创建同步用户;从机上配置同步用户并指定同步主机的binlog文件及起始位置即可使用同步用户同步主mysql的binlog日志,配置组成mysql主备集群。主备集群上主机可以读写,但是从机只能读不能写,因为是单向同步。一般主从集群只会使用主Mysql,从机实际上只起到备份数据的作用,如果有读写分离可以分担一部分读的压力。下面使用两台机器做一主一从的mysql主从集群搭建示例:一、先分别安装mysql## 创建部署目录sudo mkdir -p /opt/MPPsu原创 2022-04-30 00:55:40 · 2290 阅读 · 0 评论 -
Flink-1.13集成hudi-0.10.0
把hudi的 hudi-flink-bundle_2.12-0.10.0.jar放到 flink的lib下即可从flink-sql客户端读写hudi表。下面是完全参考hudi官网的示例一、下载安装flink本地集群,并将hudi的 hudi-flink-bundle_2.12-0.10.0.jar放到 flink的lib下。1.解压tar -zxvf flink-1.13.3-bin-scala_2.12.tgz mv flink-1.13.3-bin-scala_2.12 flin.原创 2022-01-25 12:33:00 · 2412 阅读 · 0 评论 -
hadoop-KMS密钥管理服务配置使用
KMS是hadoop自2.6.0版本开始自带的一个密钥管理web服务,提供了一系列API来创建,获取和维护密钥。kms与hadoop结合,可以实现hdfs客户端数据加密传输以及细粒度的权限控制。本文使用Hadoop 2.6.0-cdh5.13.3为例进行kms服务配置启动及hdfs文件加密传输示例。配置kms密钥仓库的文件位置和操作密码 1. kms-site.xml (一般默认的就可以了不修改也行) <property> <name>hadoop...原创 2022-02-23 23:40:29 · 4967 阅读 · 14 评论 -
修改jceks.key.serialFilter解决KMS重启后Can‘t recover key for testkey from keystore file
jdk8u171开始增加了jceks.key.serialFilter属性限制证书序列化的类,增强安全性,不在这个属性中的类将会被拒绝Rejected, 从而导致kms服务重启后需要从keystore中反序列化加载SecretKeyEntry加密密钥时失败从而无法recover还原密钥信息。只要将被Rejected的类加入jre/lib/security/java.security中的jceks.key.serialFilter中就可以了。jceks.key.serialFilter = java.l原创 2022-03-17 10:17:21 · 2638 阅读 · 0 评论 -
离线安装TiDB4.0集群
上传离线安装包并配置集群初始化配置文件topology.yaml之后,使用tiup cluster deploy命令即可自动按照metrika.xml的配置机器上安装指定组件组成TiDB集群。官方离线安装文档##下载离线安装包,上传后解压官网下载地址https://pingcap.com/zh/product/#SelectProduct包很大有1.5G要提前上传好,sudo rpm -ivh sshpass-1.06-2.el7.x86_64.rpm tar -xzvf tidb-com原创 2022-04-19 23:41:20 · 1978 阅读 · 0 评论 -
linux离线安装mysql8
一、上传安装包到Linux1、传路径:/usr/local/2、解压缩tar xvf mysql-8.0.17-linux-glibc2.12-x86_64.tar.xz3、重命名mv mysql-8.0.17-linux-glibc2.12-x86_64 mysql二、安装配置1、修改 vi /etc/my.cnf[client]port=3306socket=/var/lib/mysql/mysql.sock[mysqld]port=3306user=m....原创 2022-03-16 10:25:27 · 2174 阅读 · 3 评论 -
zookeeper无法启动的原因定位
查看zookeeper.out日志的错误日志进行分析,一般有下面的原因:端口被占用# 普通用户可能看不全,有root就用root用户看netstat -antp|grep -E "2181|9990|2888|3888"删除dataDir对应目录下除了 myid 以外的所有文件dataDir的myid要和zoo.cfg中配置的一致myid中的值要和配置中server.后面的数据严格一致4. ### jdk是否安装java -versionecho $JAVA_HOM原创 2022-03-28 17:13:46 · 3424 阅读 · 0 评论 -
TiDB单节点部署
wget http://download.pingcap.org/tidb-latest-linux-amd64.tar.gzwget http://download.pingcap.org/tidb-latest-linux-amd64.sha256sha256sum -c tidb-latest-linux-amd64.sha256tar -xzf tidb-latest-linux-amd64.tar.gz#根据解压实际的版本进入目录cd tidb-v5.0.1-linux-amd原创 2022-03-10 18:03:11 · 913 阅读 · 0 评论 -
CentOs7.5离线静默安装Oracle12c
CentOs7.5离线静默安装Oracle12c/usr/local/oracle/database/runInstaller -silent -responseFile /usr/local/oracle/database/response/db_install.rsp/usr/local/oracle/product/12/db_1/bin/netca -silent -responsefile /usr/local/oracle/database/response/netca.rsp原创 2022-03-23 18:44:48 · 2322 阅读 · 1 评论 -
tar包安装多个mysql
tar包安装多个mysql下载并解压安装包wget http://192.168.128.121/pkgs/mysql-5.7.32-linux-glibc2.12-x86_64.tar.gztar zxvf mysql-5.7.32-linux-glibc2.12-x86_64.tar.gz -Cmkdir /data/mysql13306tar zxvf mysql-5.7.32-linux-glibc2.12-x86_64.tar.gz修改my.cnf配置文件中的路径带原创 2022-04-01 00:35:31 · 698 阅读 · 0 评论 -
gitlab批量新增用户
gitlab开放了restApi,只要获取管理员的private_token之后就可以编写shell脚本免登陆通过api操作新增用户。原创 2022-04-02 15:34:56 · 1672 阅读 · 0 评论