![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
吉甫作诵
80后运维.
对大数据、容器化感兴趣.
保持Linux、python、go的持续学习.
展开
-
kudu master故障恢复
kudu集群master节点故障后恢复原创 2023-02-22 09:27:57 · 630 阅读 · 1 评论 -
mariadb columnrestore预研:安装部署
mariadb columnrestorehttps://mariadb.com/kb/en/mariadb-columnstore/mariadb columnrestore是mariadb的MPP型数据库,国内可能用的人不多,资料也比较少,以下是本地安装调试记录,并没有生产实用,只是预研、了解性质。#关闭防火墙、selinux、ssh相互免密登录setenforce 0sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/configsys原创 2022-03-17 21:26:33 · 319 阅读 · 0 评论 -
presto内存参数配置简单计算(3节点虚拟机环境)
记录一下配置presto的内存参数大致计算方法:1、jvm.config-Xmx :presto最大可以给到服务器总内存的50-70%,比如8GB*0.5=4G;如果需保留内存给其他服务,按需减少。2、config.propertiesquery.max-memory-per-node :xmx的30%:4 x 0.3=1.2GBquery.max-memory :query.max-memory-per-node x worker节点数 1.2 x 2 = 3.6 GBquery.max-t原创 2020-10-03 14:25:06 · 894 阅读 · 0 评论 -
Mongodb服务改Ip或者主机名(副本集模式)
Mongodb服务改Ip或者主机名逐个副本集服务操作1、停服务2、修改mongodb.conf配置注释掉副本集、登录认证,修改服务端口3、启动服务4、本地模式操作use localcfg = db.system.replset.findOne( { “_id”: “注册的副本集名称” } )cfg.members[0].host = “修改后的主机或者IP:27017”cfg.members[1].host = “修改后的主机或者IP:27017”cfg.members[2].host原创 2020-08-10 12:48:21 · 1842 阅读 · 1 评论 -
mongodb手动切换主从节点(副本集模式)
mongodb安装了副本集模式后,比如2节点或者3节点,服务运行过程中会有1个节点状态是PRIMARY(主节点),其他的是SECONDARY(从节点)。如果连接到从节点,那么很多操作都不允许,这个时候就需要手动切换了,操作如下:2节点需要:到主节点执行rs.stepDown(120)3节点需要:到不打算提为主节点的从节点执行rs.freeze(120)再到主节点执行rs.stepDown(120)剩下那个从节点会提升为主节点!操作后再次rs.status();检查状态。...原创 2020-07-07 14:29:43 · 8598 阅读 · 1 评论 -
greenplum安装试用
0、系统基础配置root gpadmin都需要做ssh免密登录创建gpadminuseradd gpadminpasswd gpadmincentos7普通用户ssh免密需要:chmod 700 ~/.sshchmod 600 authorized_keys1、下载rpm安装包2、每节点安装:yum install -y apr apr-util bzip2 libyaml rsync zip unzip ntp dos2unixrpm -Uvh greenplum-db-6.7.1-原创 2020-06-16 18:28:50 · 396 阅读 · 0 评论 -
使用maxscale及mha搭建mysql主从同步、读写分离、高可用集群
尝试使用mysql存储部分数仓结果,需要满足高可用、读写分离等需求,以下是搭建过程。主要使用mariadb10.3,maxscale2.4.8,mha原创 2020-04-17 13:12:17 · 960 阅读 · 0 评论 -
presto332版本单独配置使用jdk11
在presto330版本里已经提到,jdk8只支持到3月的版本。详情参考:https://prestosql.io/docs/current/release/release-330.html在4月8号presto社区 发布的332版本开始,需要jdk11环境,但是hadoop预计需要3.3.0版本才能支持jdk11,详情参考:https://cwiki.apache.org/conflue...原创 2020-04-13 09:50:44 · 1610 阅读 · 1 评论 -
【翻译】如何在Presto中配置和利用资源组
Presto资源组是一种准入控制和工作负载管理机制,用于管理资源分配。资源组机制可确保使用超出其分配配额的组受到惩罚,从而防止任何组超过其配额限制。它是一种反应式门控机制,用于在启动新查询之前检查资源组是否已超过其限制。 我们的许多客户都试图使用资源组来进行资源隔离,并且此博客详细解释了资源组不太复杂的情况。例如,一旦查询开始执行,资源组管理器就无法控制该查询。 Presto中的资源组可以像树一样配置,其中非叶组可以进一步细分为多个资源组。原创 2020-03-26 17:41:37 · 3158 阅读 · 0 评论 -
redis常用命令
一、redis启动:本地启动:redis-cli远程启动:redis-cli -h host -p port -a passwordRedis 连接命令1 AUTH password验证密码是否正确2 ECHO message打印字符串3 PING查看服务是否运行4 QUIT关闭当前连接5 SELECT index切换到指定的数据库二、re...转载 2020-03-05 11:36:29 · 101 阅读 · 0 评论 -
hdfs文件统计
以下操作基于hadoop3.1.2、hive3.1.2,其他版本字段有差异1、通过hdfs命令导出csv格式文件hdfs dfsadmin -fetchImage myfilehdfs oiv -i myfile -o fsimage.csv -p Delimited2、到hive建外表及统计CREATE EXTERNAL TABLE default.hdfs_info( Path...原创 2020-02-25 11:24:20 · 553 阅读 · 0 评论 -
yarn ha 2个集群共用一个zookeeper遇到的问题
问题描述:2个yarn集群,都做了ha,都是使用了zookeeper,集群名称不一样,运行几天后,发现每天定时yarn切换了master节点,日志里发现报错如下:2020-01-12 18:41:26,831 ERROR org.apache.hadoop.yarn.server.resourcemanager.recovery.RMStateStore: Error While Removi...原创 2020-01-14 20:54:59 · 560 阅读 · 0 评论 -
hdfs动态增加节点,不停服务
1、需要修改etc/hadoop/里的workers文件及分发到所有节点上;2、新节点以下datanode、nodemanager服务:hdfs --daemon start datanodeyarn --daemon start nodemanager3、设置重平衡传输带宽为128M(视网络带宽而定,一般64M也够了)hdfs dfsadmin -setBalancerBandwidt...原创 2020-01-06 21:19:28 · 393 阅读 · 0 评论 -
presto 327 版本连接mongodb 的一个问题
最近升级presto327版本,发现连接mongodb失败:Query 20191227_140717_01114_j89ju failed: com.mongodb.MongoQueryException: Query failed with error code 13 and error message 'not authorized on a0001 to execute command ...原创 2019-12-30 13:05:56 · 640 阅读 · 2 评论 -
hadoop性能调优
综合看一下了资料,先做了一些个人认为效果明显的优化点,还有一些没来得及搞,以后补充:1、修改net.core.somaxconn参数查看sysctl -a|grep somaxconn临时修改sysctl -w net.core.somaxconn=32768永久生效echo “net.core.somaxconn=32768” >>/etc/sysctl.conf&am...原创 2019-12-19 19:50:51 · 143 阅读 · 0 评论 -
hive配置高可用
基于前面的基础部署 https://blog.csdn.net/fly0512/article/details/1008638891、配置hive-site.xml及分发各节点<?xml version="1.0" encoding="UTF-8" standalone="no"?><?xml-stylesheet type="text/xsl" href="configu...原创 2019-12-12 11:53:16 · 1828 阅读 · 0 评论 -
hadoop部署高可用(hdfs ha、yarn ha)
基础部署https://blog.csdn.net/fly0512/article/details/100863889停止集群,安装zk (略)一、配置hdfs ha :hdfs ha1、hadoop-env.shexport HDFS_NAMENODE_USER=rootexport HDFS_DATANODE_USER=rootexport HDFS_SECONDARYNAMEN...原创 2019-12-12 09:14:27 · 191 阅读 · 0 评论 -
mongodb集群部署
版本:4.0.5单机1主1从下载解压,复制一份做从节点#mongodb_27017配置文件vi /home/mongodb_4.0.5/mongodb.confsystemLog: destination: file logAppend: true path: /home/mongodb_4.0.5/logs/mongod.logstorage: dbPath: /h...原创 2019-12-11 14:41:47 · 182 阅读 · 0 评论 -
mongodb增删改查
新增db.new101.insert({"name":"new"});删除db.new101.deleteMany({"name":"new"});--条件删除db.new101.remove({});--删除集合修改db.new101.updateMany({"name":"new"},{$set:{"name":"newnew"}});--批量更新查找db.new101....原创 2019-10-21 17:26:29 · 160 阅读 · 0 评论 -
snappydata命令行执行sql的两种方法
第一种方法,官方说明有介绍http://snappydatainc.github.io/snappydata/howto/use_snappy_shell/参考如下:/usr/local/snappydata/bin/snappy-sqlconnect client '192.168.86.110:1527';后面可以直接输入SQL了:use mydb1;select * from...原创 2019-09-23 15:49:32 · 530 阅读 · 0 评论 -
kafka查询及修改offset的方法
服务端上是hdp2.6.4带的显示0.10版本的kafka,版本估计有点旧了,需要使用2个版本客户端去分别操作:使用HDP的客户端查询消费组、offset:cd /usr/hdp/2.6.4.0-91/kafka/bin/sh kafka-consumer-groups.sh --bootstrap-server 192.68.86.111:9092 --listsh kafka-con...原创 2019-09-23 16:47:46 · 2238 阅读 · 2 评论 -
从头搭建presto+kudu+hive+hdfs(6节点)
记录一下最近做的一个大数据集群安装:安装版本:presto317、kudu1.10、hive3.1.2、hadoop3.1.2几个主要软件的下载地址:presto https://prestosql.io/docs/current/index.htmlkudu rpm包地址 https://github.com/MartinWeindel/kudu-rpm/releaseshive ht...原创 2020-07-07 14:32:08 · 3028 阅读 · 8 评论