shy_snow-CSDN博客

原创 hadoop shell 练习题

利用Hadoop提供的Shell命令完成以下任务(路径中的xxx替换为自己的用户名)：1、显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息；示例: hdfs dfs -ls /2、从HDFS中下载指定文件；示例: hdfs dfs -get /tmp/train/wordcount/in/input.txt ./myinput.txt3、在HDFS中指定位置创建文件夹；将刚才下载的myinput.txt文件中增加自己的用户名后,上传到HDFS中刚才创建的目录;xxx替换为

2023-03-02 19:30:00 2152

原创 hive连线题,hive建分区表，分桶表，内部表，外部表

{HIVE_HOME}/bin/hive启动hive客户端外部表使用external关键字,不维护数据文件;分区表使用PARTITIONED by子语句,分区是表目录下的子目录,起到水平拆分的作用;分桶使用CLUSTERED BY子语句指定分桶字段,按字段哈希将表文件拆分为多个小的表文件即桶文件;单个的桶就是表目录下的单个表文件。

2023-02-27 03:26:23 431

原创导出maven工程依赖jar包

在maven项目下创建lib文件夹导出maven工程依赖jar包,在maven项目下创建lib文件夹，输入以下命令: mvn dependency:copy-dependencies -DoutputDirectory=lib，输入以下命令。

2023-02-21 20:15:00 493

原创 iptables防火墙屏蔽指定ip的端口

#尾部插入一条记录,拒绝ip访问除了22端口以外的所有端口iptables -A INPUT -s 192.1.217.54 -p tcp -m tcp ! --dport 22 -j REJECT# 第一行插入规则允许通过的端口号iptables -I INPUT 1 -s 192.1.217.54 -p tcp -m tcp --dport 8020 -j ACCEPT

2023-02-14 07:48:49 4726

原创 hadoop的namenode主从切换导致连到从机上无法读取目录Operation category READ is not supported in state standby

hadoop的namenode主从切换导致连到从机上无法读取目录, 应该使用core-site.xml中的fs.defaultFS中的value值进行连接,避免使用ip,否则namenode主从切换后就会这样。通常Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅用来同步Active NameNode的状态。查看节点状态的命令：hdfs haadmin -getServiceState yourNamenodeName。

2023-02-01 17:36:42 283

原创 Windows Kerberos客户端配置并访问CDH

1.Windows安装 Kerberos 客户端;2.配置 krb5.ini3.执行 kinit 发起认证4.浏览器可信配置,在浏览器输入about:config打开配置:输入 `network.auth.use-sspi`，并点击切换到 `false`;输入 `network.negotiate-auth.trusted-uris`，输入可信 URL 地址;输入 `network.negotiate-auth.delegation-uris`;

2023-01-29 16:59:55 2226

原创 hadoop命令行查看hdfs容量剩余

hadoop dfsadmin -report 也可以通过浏览器访问50070端口查看。

2023-01-19 16:48:04 3576

原创 sftp最大连接数设置MaxSessions

vi /etc/ssh/sshd_configMaxSessions 50MaxSessions：每个TCP连接允许的（多路复用）打开会话的最大数量。最大会话数指定每个网络连接允许的最大打开shell、登录或子系统（例如sftp）会话数。支持连接多路复用的客户端可以建立多个会话。将MaxSessions设置为1将有效地禁用会话多路复用，而将其设置为0将阻止所有shell、登录和子系统会话，同时仍允许转发。默认值为10。

2023-01-18 10:41:17 7218

原创 kerberos可以init但是连不上hadoop,禁用upd后成功连接hadoop集群。

kerberos可以init但是连不上hadoop,禁用upd后成功连接hadoop集群，解决在krb5.conf中禁用udp 在[libdefaults]下设置udp_preference_limit = 1

2023-01-17 17:20:28 294

原创 ftp命令指定端口号

ftp命令进去之后使用open ip port即可。

2023-01-17 17:05:58 7710

原创使用pypi-server创建私有pip源

为了让内网使用pip下载安装,需要在内网中创建pip源,类似离线仓库。使用pypiserver可以指定离线仓库目录，将安装包放到离线仓库目录即可，只要有人上传一次后，其他人需要该模块，就不用再花时间去外网找了。不必一次同步全量的离线包，毕竟全量镜像可能有3T多。一、服务器安装 pypiserver#安装or。

2023-01-14 20:15:42 1657

原创 Centos7离线安装sqlserver2017

根据操作系统选择安装包,可以在这找下https://packages.microsoft.com/config我选择是先在一台有网的机器上下载好rpm安装包之后再传到内网机器上安装。

2023-01-06 18:30:00 731

原创 hadoop大数据入门HDFS、MapReduce、YARN的个人通俗理解

简要介绍了hadoop最重要的基础HDFS分布式存储和MapReduce分布式计算。HDFS是一个主从架构的集群,由一个主节点NN进行目录维护并统一处理用户读写请求, 并把数据按块分到多个数据节点DN上。MapReduce提供了统一的mapper、reducer接口实现将计算分为多个并行的子任务并可进行统计合并出最终结果。

2022-12-29 18:22:15 620

原创 zookeeper3.6.3升级jetty9.4.47解决安全漏洞CVE-2022-2048和CVE-2021-28169

zookeeper3.6安全漏洞CVE-2022-2048和CVE-2021-28169, 替换zookeeper的lib目录下的7个jetty为9.4.47版本jar包后重启zookeeper,即可。jetty9.4.47下载地址https://repo1.maven.org/maven2/org/eclipse/jetty/jetty-distribution/9.4.47.v20220610/

2022-12-12 13:23:26 13161 2

原创 hbase Acl授权

#切换hbase的admin用户的票据后hbase shell#给hdfs赋权权限有5个 RWXCAgrant 'hdfs', 'RWXCA'#收回授权revoke 'hdfs'

2022-12-09 17:06:47 1195

原创 ftp共享盘挂载及权限——curlftpfs挂载FTP服务器

通过curlftpfs将远程ftp某个共享目录映射到本地目录,以达到多台机器共享同一目录的效果。首先安装ftp服务yum -y install epel-release;yum install vsftpd,然后 yum install curlftpfs在各节点安装curlftpfs并挂载远程ftp共享目录到本地即可在本地操作远程ftp共享目录curlftpfs -o codepage=utf8 ftp://username:password@yourip /home/share。

2022-12-09 11:09:25 5906 4

原创网络中断3分钟后pulsar集群宕机

网络中断3分钟后pulsar集群宕机因为集群节点间网络故障，bookie 在心跳时间内（和 Zookeeper 交互数据）未获取到其他副本数据，认为副本丢失，继而发生集群级别的副本补齐动作（触发 Autorecovery）。海量数据复制会跟 Zookeeper 出现短时间高频次的访问，会导致 zk 几乎无法返回响应，导致整个集群Hang住，不可用。

2022-12-08 11:04:46 253

原创 hdfs-over-ftp使用说明

hdfs-over-ftp可以将hdfs文件系统通过ftp服务方式暴露出来,可以通过ftp客户端下载和上传hadoop文件。

2022-12-08 09:07:40 1322

原创低版本客户端连接oracle12c报错ORA-28040: No matching authentication protocol

修改product/12.1.0/dbhome_1/network/admin/sqlnet.ora增加SQLNET.ALLOWED_LOGON_VERSION_SERVER=8SQLNET.ALLOWED_LOGON_VERSION_CLIENT=8重启数据库及监听;sqlplus / as sysdba;shutdown immediatestartuplsnrctl stoplsnrctl start;修改用户密码;alter user 用户名 identified by 新密码;

2022-12-04 09:10:50 1301

原创 yum安装postgresql

yum安装 yum install postgresql postgresql-server 创建数据库,修改密码,放开远程访问限制,重启

2022-12-01 22:03:59 2576

原创 oracle开启归档日志并修改归档日志路径

sqlplus / as sysdbashutdown immediate; startup mount;alter database archivelog;alter database open;archive log list;alter system set log_archive_dest_1='LOCATION=/data/tb_oracle/arch';alter system switch logfile;archive log list;

2022-11-21 10:35:46 4398

原创 find结合xargs删除文件

# find结合xargs删除文件find . -type f -name “*.txt” -print0 | xargs -0 rm -f

2022-11-04 23:41:56 591

原创限制用户只能sftp不能ssh,一个用户可以上传,另一个用户只能下载

bin/false 限制不使用ssh, ChrootDirectory限制sftp根目录(该目录必须为root用户root属组,权限要是755,可以在该目录创建子目录并修改子目录属组来给其他用户操作)

2022-11-04 23:34:00 1658

原创 ntp离线时间同步

离线环境下如果没有ntp服务器,可以选择一台机器作为时间服务器,其他机器作为客户端向该机器获取时间。所有机器上都要安装ntp, 配置时间服务器时服务器和客户端的配置不同,服务器配置server 127.127.1.1,客户端要配置服务端的真实ip。

2022-10-28 16:04:02 761

原创 Ubuntu安装clickhouse集群

apt-get clickhouse*.deb安装。配置组网信息metrika.xml。config.xml放开本地访问限制,放开注释，引用组网信息 /etc/metrika.xml。连接客户端测试建分布式表语句clickhouse-client --password 123

2022-10-27 10:21:33 649

原创 windows下split大文件在linux下拼接

进入CygWin环境之后使用split命令切分文件,在linux只要使用cat命令合并写入一个文件即可。window没有split命令需要安装CygWin。-b是按大小切分, -l是按行数切分。

2022-09-26 09:17:51 752

原创 java执行shell并获取shell输出日志

获取shell输出日志需要java使用两个线程分别接受shell的标准输入流和错误流并打印出来。

2022-09-16 18:00:00 2560 2

原创根据jar生成pom

基本上就是获取jar中的信息替你去网上查询下,解析返回值,把可能的groupId,version等信息拼接一下

2022-09-14 17:41:15 1765 3

原创 HP DL380z Gen9服务器Led故障灯说明

HP DL380z Gen9 编号说明状态1 开机/待机按钮和系统电源 LED 指示灯*绿色常亮 = 系统已启动绿色闪烁（1 Hz/周每秒）= 正在执行通电顺序琥珀色常亮 = 系统处于待机状态熄灭 = 未通电**2 运行状况 LED 指示灯* 绿色常亮 = 正常绿色闪烁（1 赫兹/周每秒）= iLO 正在重新引导琥珀色闪烁 = 系统性能下降红色闪烁（1 赫兹/周每秒）= 系统出现严重问题† 3 NIC 状态 LED 指示灯* 绿色常亮 = 有链路通向网络绿色闪烁（1 Hz/周每秒）

2022-09-12 23:38:45 13220

原创 arm麒麟安装mysql

1.安装deb文件dpkg -i *.deb安装过程中会要求你设置的mysql的root密码2.修改/etc/my.cnfdatadir = /data01/MPP/mysql/databind-address=0.0.0.03.重启mysqlsystemctl stop mysql.servicesystemctl start mysql.service4.查看状态systemctl status mysqld5.创建远程访问用户并赋权限

2022-09-02 10:52:56 1053

原创 shell脚本使用sftp上传文件

shell脚本使用sftp上传文件sftp ${SFTP_HOST}:${PORT}

2022-09-01 16:57:20 7102 4

原创 org.apache.pulsar.client.cli.PulsarClientTool - Failed to subscribe persistent

pulsar的topic消费失败,报错Topic is temporarily unavailable。最终发现是一个broker进程假死,重启该broker节点后恢复正常。

2022-08-31 17:47:33 1144

原创 WordCount 官方源码解读及工程代码

通过解读WordCount代码可以了解MapReduce计算的基本思想,类和接口。Map实现键值映射，将hadoop分配的输入按实现逻辑处理为规定的键值对格式输出。Reduce实现业务处理逻辑。在这里对相同键进行词频统计的累加，输出结果键值对。.........

2022-08-31 10:27:56 1609

原创 shell 获取当前日期，当前时间

date +%Y%m%d%H%M%S这个man date看date命令的手册就清楚了。+代表按指定格式输出。

2022-08-29 19:30:00 7127

原创 grafana+promethus+jmx_export监控jvm

使用一个小demo模拟jvm进程,并开启jmx端口8077下载并启动jmx_export组件下载https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.3.1/jmx_prometheus_javaagent-0.3.1.jar本文使用0.3.1版本,因为grafana里现成的面板模板很多都是基于老版本的，新版本修改了标签名称会无法在grafana里显示出来。两种启动方式,两种jar...

2022-08-25 18:01:24 1559

原创 /run/udev/data 磁盘满

执行 udevadm info --cleanup-db

2022-08-22 14:58:02 347

原创 standard_init_linux.go:211: exec user process caused “exec format error“

在 amd 和 arm 架构下构建的镜像很有可能不能互通。解决办法：针对不同的硬件架构构建不同的镜像，或者构建跨架构（multi-arch）的镜像。

2022-08-22 11:30:12 1438

原创 java本地运行spark代码示例

spark本地运行代码示例

2022-08-10 09:05:57 1079

原创 redis分布式锁代码示例

加锁 jedis.set(String key, String value, String nxxx, String expx, int time)解锁使用lua脚本"if redis.call('get', KEYS[1]) == ARGV[1] then return redis.call('del', KEYS[1]) else return 0 end"

2022-08-09 15:02:18 318

原创 yum离线安装

先在有网机器上下载安装包并复制到离线机器上。然后,借助createrepo将离线安装包目录发布为本地软件源并yum makecache。最后，在离线机器上使用yum安装软件。yum install -y --downloadonly --downloaddir=/tmp/ceph ceph-deploy createrepo /tmp/ceph yum makecache 其他软件也是类似的做法。......

2022-08-05 10:12:16 6638

VBA7.0.1590_For WPS(中文).zip

wps的vba插件

2022-02-08

nmon analyser v66.rar

用于分析nmon文件生成execl图表,需要启用宏

2022-02-08

MemoryAnalyzer-1.12.0.20210602-win32.win32.x86_64.zip

java内存分析工具,可用于查看内存,分析内存泄露的问题; ps或jps先查看java进程的进程pid然后替换下面名的pid执行 jmap -dump:format=b,file=D:/dump.hprof pid 然后打开MemoryAnalyzer.exe左上角菜单File-->open File... 选择你生成的dump.hprof文件加载dump.hprof文件后会生成内存泄露报告

2021-10-12

jython-standalone-2.70.zip

包含jython-standalone-2.7.0.jar,用于java调用Python，（Use this to run Jython without installing or to embed Jython in a Java application）

2021-08-24

apache-log4j-2.14.1.zip

log4j-2.14.1的jar及src包。下载地址 https://mirrors.tuna.tsinghua.edu.cn/apache/logging/log4j/2.14.1/apache-log4j-2.14.1-bin.zip

2021-06-07

flink-1.13.1-bin-scala_2.12.tgz

fink安装包下载地址https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.13.1/flink-1.13.1-bin-scala_2.12.tgz

2021-06-04

jdk11官网下载 linux+windows

jdk11官网下载地址 https://www.oracle.com/java/technologies/javase-jdk11-downloads.html

2021-03-08

arthas3.4-bin.zip

java性能定位工具,Java -jar arthas-boot.jar启动后选择需要定位的进程序号,然后最消耗cpu的线程 thread -n 3 收集 5 秒, 然后输出 top 5 的 CPU 消耗的线程 thread -n 5 -i 5000 trace 命令查看方法内各调用耗时下载地址https://github.com/alibaba/arthas/releases/download/arthas-all-3.4.3/arthas-bin.zip

2020-10-14

Access.zip

生成二维码的java项目源码,其中servlet可支持在线二维码生成。支持生成在二维码中间包含自定义图片的二维码。

2020-08-08

data-integration.part3.rar

kettle9.0官网下载地址https://nchc.dl.sourceforge.net/project/pentaho/Pentaho%209.0/client-tools/pdi-ce-9.0.0.0-423.zip 文件较大1.5G,所以切分为3个包。

2020-04-27

data-integration.part2.rar

kettle9.0官网下载地址https://nchc.dl.sourceforge.net/project/pentaho/Pentaho%209.0/client-tools/pdi-ce-9.0.0.0-423.zip 文件较大1.5G,所以切分为3个包。

2020-04-27

data-integration.part1.rar

kettle9.0官网下载地址https://nchc.dl.sourceforge.net/project/pentaho/Pentaho%209.0/client-tools/pdi-ce-9.0.0.0-423.zip 文件较大1.5G,所以切分为3个包。

2020-04-27

mysql-5.7.29-winx64.zip

mysql-5.7.29-winx64.zip mysql5.7版本数据库安装文件下载地址: https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.29-winx64.zip

2020-01-14

dexpot_1613_r2429.exe

win7多桌面软件Dexpot,官网下载,下载地址https://dexpot.en.softonic.com/

2019-09-23

cache-api-1.0.0.jar

cache-api-1.0.0.jar JSR107FinalSpecification ,缓存规范

2019-09-05

代码整洁之道读书笔记.zip

个人读书笔记,学习共享,希望每个苦恼于代码一坨坨混乱不堪的程序员都能学习. * 整洁代码的意义？可读性，可维护性。 * 如何写出整洁代码？ 1.只做一件事 2.不重复 3.有表达力 * 整洁代码的态度要求，要遵守的军规？专业和责任。让营地比你来时更干净，拒绝破窗效应。 * 写出整洁代码的具体做法？有意义的命名（表达力，可读性）函数只做一件事，每个函数一个抽象层级，短小不重复。注释是代码缺乏表达力时的弥补措施，好的代码自我注释。格式要统一，有层次，易理解。类，权责对应，内聚，只做一件事。得墨忒耳定律：模块不应该了解所操作的类的内部情况。对象方便增加子类，数据结构方便增加新操作方法。错误处理应该独立于主逻辑之外。迭代、逐步改进、重构。

2019-08-21

jdk-12.0.2_linux-x64_bin.tar.gz官网下载

jdk-12.0.2_linux-x64_bin.tar.gz linux系统64位JDK12安装包

2019-07-30

java多线程安全性基础介绍.pptx

java多线程安全性基础介绍线程安全正确性什么是线程安全性原子性竞态条件 i++ 读i ++ 值写回i 可见性 JMM 由于cpu和内存加载速度的差距，在两者之间增加了多级缓存导致，内存并不能直接对cpu可见。各线程之间变量不可见，线程通信通过共享主内存实现。 volatile 仅保证可见性作用不会被缓存在寄存器或其他对cpu不可见的地方强制其他线程读主内存编译器和运行时不会讲该变量的操作与其他内存操作一起重排序锁不仅保证原子性还保证可见性有序性多个线程操作共享对象导致的状态不一致问题原因共享资源的竞态条件问题问题竞态条件指令重排序工作内存中主内存同步延迟解决要有安全策略文档或注释不共享线程封闭仅在单线程内访问数据栈封闭局部变量 threadLocal 为每个线程保存一个副本类似于一个以线程id为key的map 不可变对象状态 final 关键共享资源上互斥，变并发为串行即同步锁分类显示锁 Lock Lock是个接口实现类 ReentrantLock 可重入锁 ReentrantReadWriteLock.ReadLock ReentrantReadWriteLock.WriteLock 隐式锁（内置锁） Synchronized 问题死锁性能线程活跃与线程饥饿同步工具类原子操作类 AtomicInteger等相当于加上synchronized 也有些利用硬件底层能力CAS

2019-07-25

gof设计模式直接导入eclipse

gof设计模式代码工程，可直接导入eclipse，包含设计模式pdf电子书。

2019-07-05

快速软件开发.zip

快速软件开发思维导图及pdf电子书，使用freemind工具打开。

2019-07-05

trino-server-412.tar.gz 分布式多数据源即席查询引擎Trino安装包(Presto)

trino-server-412.tar.gz 分布式多数据源即席查询引擎Trino安装包(preso) 下载地址 https://repo1.maven.org/maven2/io/trino/trino-server/412/trino-server-412.tar.gz

2023-04-11

sqlflow-data-lineage-model-reference.pdf

sqlflow-data-lineage-model-reference.pdf 数据血缘模型的官方介绍文档,可以自己去下载https://www.sqlparser.com 主要介绍了血缘模型(表,字段,视图,函数等)及关系

2023-03-07

jdk8解压包windows64

2023-01-02

jetty-distribution-9.4.47.v20220610

jetty9.4.47用于部署或替换jar升级jetty解决安全漏洞下载镜像地址https://repo1.maven.org/maven2/org/eclipse/jetty/jetty-distribution/9.4.47.v20220610/

2022-12-12

curlftpfs-0.9.2安装包

rpm安装: rpm -ivh curlftpfs-0.9.2-14.el7.x86_64.rpm 编译安装: tar xvzf curlftpfs-0.9.2.tar.gz cd curlftpfs-0.9.2 ./configure make make install

2022-12-09

hdfs-over-ftp安装包及说明

2022-12-08

惠普m232dw打印机说明书.pdf 指导打印机安装联网

惠普m232dw打印机说明书.pdf

2022-11-04

clickhouse-20.5.4.40 deb安装包 Ubuntu可用

包含3个deb包clickhouse-client_20.5.4.40_all.deb,clickhouse-server_20.5.4.40_all.deb,clickhouse-common-static_20.5.4.40_amd64.deb。安装命令apt-get clickhouse*.deb service clickhouse-server start

2022-10-27

HP DL380z Gen9服务器用户指南

HP DL380z Gen9服务器用户指南,官网下载

2022-09-12

mysql5.7arm64.zip麒麟arm64架构下的deb安装包

mysql5.7arm64.zip mysql5.7在麒麟arm64架构下的deb安装包 1.安装deb文件 dpkg -i *.deb 安装过程中会要求你设置的mysql的root密码 2.修改/etc/my.cnf datadir = /data01/MPP/mysql/data bind-address=0.0.0.0 skip-name-resolve 3.重启mysql systemctl stop mysql.service systemctl start mysql.service 4.查看状态 systemctl status mysqld 5.创建远程访问用户并赋权限 mysql -uroot -p mysql> create user root identified by 'youpassword'; mysql> grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option; mysql> flush privileges;

2022-09-02

麒麟ARM平台Docker的.deb安装包

ARM64(麒麟)平台Docker安装包: 1. 下载docker的arm的deb包可以使用 https://download.docker.com/linux/ubuntu/dists/xenial/pool/stable/arm64/ containerd.io_1.2.6-3_arm64.deb docker-ce_19.03.8~3-0~ubuntu-xenial_arm64.deb docker-ce-cli_19.03.8~3-0~ubuntu-xenial_arm64.deb 2. 然后在arm机器上面执行 dpkg -i *.deb 3. 设置服务自动启动等. systemctl enable docker && systemctl restart docker 4. 查看docker版本 docker info 5. 加载镜像 docker load -i nginx.tar.gz

2022-09-02

createrepo本地软件源安装包 createrepo-0.9.9-28.el7.noarch.rpm

createrepo构建本地软件源包含 createrepo-0.9.9-28.el7.noarch.rpm deltarpm-3.6-3.el7.x86_64.rpm python-deltarpm-3.6-3.el7.x86_64.rpm 用于创建本地仓库安装 createrepo**: unzip createrepo-0.9.9-28.el7.zip cd createrepo/ rpm -ivh deltarpm-3.6-3.el7.x86_64.rpm python-deltarpm-3.6-3.el7.x86_64.rpm createrepo-0.9.9-28.el7.noarch.rpm 在有网环境下下载安装包后(yum install yum-plugin-downloadonly -y yourpkgname),复制安装包到离线集群上,在目录下使用createrepo . 创建repo,然后在/etc/yum.repos.d/下配置repo之后yum makecache即可使用yum离线安装.

2022-08-05

linux版本grafana+prometheus+node_exporter安装包,用于主机监控

安装包包含 grafana-enterprise-9.0.1.linux-amd64_m.tar.gz prometheus-2.25.2.linux-amd64.tar.gz node_exporter-1.3.1.linux-amd64.tar.gz process-exporter-0.5.0.linux-amd64.tar.gz mysqld_exporter-0.14.0.linux-amd64.tar.gz

2022-06-22

redis5离线安装文件包,包含redis-5.0.14.tar.gz和redis-4.6.0.gem

sudo yum -y install gcc gcc-c++ tcl zlib zlib-devel ruby ruby-devel rubygems rpm-build # 下载 redis-3.2.1.gem然后本地安装 sudo gem install -l ./redis-3.2.1.gem port 6379 daemonize yes #bind自己的ip bind 192.168.129.101 protected-mode no #启用集群 cluster-enabled yes cluster-config-file nodes-7000.conf #先启动各节点 #组成集群 redis-5.0.14/src/redis-cli --cluster create 192.168.129.98:7000 192.168.129.99:7003 192.168.129.99:7002 192.168.129.126:7005 192.168.129.126:7004 192.168.129.98:7001 --cluster-replicas

2022-06-10

chproxy_1.15.1_linux_amd64.tar.gz clickhouse官方代理工具chproxy

chproxy是clickhouse官方代理工具,包含一个可执行的chproxy文件,直接./chproxy -config=/home/ch/config.yml &即可,将clickhouse的用户密码及集群信息配置之后即可。下载之chproxy官网https://github.com/ContentSquare/chproxy/releases

2022-06-01

hcache缓存cache查看工具

#https://github.com/silenceshell/hcache #直接下载hcache文件到linux,并使用该文件即可 wget https://silenceshell-1255345740.cos.ap-shanghai.myqcloud.com/hcache chmod +x hcache sudo cp hcache /usr/local/bin/ # 一、查看前10个大文件缓存 hcache -top 10 # 查看指定pid进程号的进程缓存 hcache -pid #可以将结果写入txt然后使用shell统计进程总缓存大小 #取大小 hcache -pid 117466 | awk '{print $4}' > cache.txt #求和 I=0;$I=0; for N in $(cat cache.txt); do I=$(($I + $N)); done; echo $I #ps：一般进程缓存的文件并不会太大, 最大的可能性是读写了大文件导致文件被缓存,建议检查下是否存在无用的超大日志,查找大于1G的文件 find / -type f

2022-05-26

clickhouse-22.2.2.1-2.x86_64.rpm离线安装包

clickhouse-22.2.2.1-2.rpm离线安装包包含clickhouse-common-static-22.2.2.1-2.x86_64.rpm,clickhouse-client-22.2.2.1-2.noarch.rpm,clickhouse-server-22.2.2.1-2.noarch.rpm共3个离线安装rpm包。安装： rpm -ivh clickhouse-common-static-22.2.2.1-2.x86_64.rpm rpm -ivh clickhouse-server-22.2.2.1-2.noarch.rpm rpm -ivh clickhouse-client-22.2.2.1-2.noarch.rpm clickhouse start vi /etc/clickhouse-server/config.xml vi /etc/clickhouse-server/users.xml 修数据库目录到大容量磁盘如果要组成集群只要分别安装单机之后再配置/etc/metrika.xml 指定相互间的分片和备份情况即可。

2022-04-26

jackson-databind-2.9.10.8.jar升级相关jar包

jackson-databind-2.9.10.8.jar升级相关jar包包含: jackson-module-jaxb-annotations-2.9.10.jar jackson-core-2.9.10.jar jackson-databind-2.9.10.8.jar jackson-annotations-2.9.10.jar jackson-jaxrs-json-provider-2.9.10.jar jackson-jaxrs-base-2.9.10.jar 下载地址 https://repo1.maven.org/maven2/com/fasterxml/jackson/core/jackson-databind/2.9.10.8/

2022-04-21

redis-3.2.13安装文件集群安装文件包含redis-3.2.13.tar.gz,和redis-3.2.1.gem

redis3集群安装包. sudo yum -y install gcc gcc-c++ tcl zlib zlib-devel ruby ruby-devel rubygems rpm-build sudo gem install -l ./redis-3.2.1.gem 启动6个redis节点,然后使用sudo /home/tydic/redis-3.2.13/src/redis-trib.rb create --replicas 1 192.168.129.98:7000 192.168.129.99:7003 192.168.129.99:7002 192.168.129.126:7005 192.168.129.126:7004 192.168.129.98:7001 即可组成集群

2022-04-16

flink-1.5.0-bin-hadoop26-scala_2.11.tgz

flink-1.5.0-bin-hadoop26-scala_2.11.tgz 用于flink安装(1.5版本有全局锁的问题,新版本2.2无锁) 官网下载地址https://archive.apache.org/dist/flink/flink-1.5.0/flink-1.5.0-bin-hadoop26-scala_2.11.tgz

2022-03-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人