- 博客(413)
- 资源 (95)
- 收藏
- 关注
RSS订阅
原创 linux的cache过高的原因定位与解决echo 3 ＞ /proc/sys/vm/drop_caches
一、在crontab定时执行echo 3> /proc/sys/vm/drop_caches清理缓存。治标不治本。二、hcache -top 10查看缓存文件,删除后其缓存将永久清除。三、把没用的大日志文件清理删除掉，查找大于1G的文件find / -type f -size +1G。四、将vm.extra_free_kbytes设置为vm.min_free_kbytes和一样大，提高low阈值，触发操作系统自动回收缓存。...
2020-09-23 09:12:15
19772
1
原创 如何查看JVM内存中的对象和执行中的方法
本机debugger就好了,远程的可以远程debugger,内网生产无法远程debugger的怎么办？使用jmap和jstack将堆内存(对象)和栈(方法)输出为文件进行查看。pid:是jvm进程号,可以使用jps -ml或ps命令查看到jvm内存对象统计：jmap -histo:live pidjvm内存对象查看：先将内存导出为文件: jmap -dump:format=b,file=dump.hprof pid然后使用mat工具打开查看里面有多个统计...
2020-09-01 12:58:58
4680
原创 Trino安装使用及权限控制
Trino是一个分布式SQL查询引擎，旨在查询分布在一个或多个异构数据源上的大型数据集。支持丰富的数据源连接方式,支持库、表和字段级别的权限控制,以及支持通过资源组实现类似队列的资源使用控制。这些都需要手工进行配置，这是不方便的地方。
2023-05-06 19:13:13
510
原创 配置hive后启动trino报错KrbException: no supported default etypes for default_tkt_enctypes
KrbException: no supported default etypes for default_tkt_enctypes 解决: 在 /etc/krb5/krb5.conf 文件的 libdefaults 部分中设置 allow_weak_crypto = true,然后重启Trino。这是因为jdk-17默认禁用了arcfour-hmac-md5-exp、des-cbc-md5 和 des-cbc-crc 弱加密类型。
2023-04-12 20:30:00
38
原创 重写了equals和hashcode方法之后也不能 保证contains方法一定生效
重写了equals和hashcode方法之后也不能 保证contains方法一定生效,看下下面的代码全部能答对输出的估计很少。同一个对象如果修改了之后很可能contains就为false了，平时还是应该对常用容器的源码好好看看。
2023-03-28 17:21:57
41
原创 使用jar命令替换jar包中的jar文件
替换jar包中的jar文件(一般jar不会压缩使用-0表示不压缩) 1. 根据文件名，查询出文件目录 jar -tvf xxxx.jar | grep jdbc.jar 2. 将需要修改的文件，解压出来，并替换修改的文件 jar -xvf xxxx.jar BOOT-INF/lib/jdbc.jar 3. 替换修改完的文件 压缩并替换 jar -uvf xxxx.jar BOOT-INF/lib/jdbc.jar
2023-03-28 10:08:02
552
原创 丢失的未挂载磁盘查看原挂载路径
df查看硬盘信息(未挂载的磁盘看不到)df -h#使用 fdisk -l 查看电脑所有磁盘信息包括未加载磁盘fdisk -l#使用 lsblk 检查哪块磁盘为加载和分区lsblk -l#使用dumpe2fs -h /dev/sdb1 查看未挂载磁盘的上次挂载目录#使用mount临时挂载 (卸载是umount)#使用parted -l查看磁盘的文件系统类型parted -l#编辑/etc/fstab永久挂载,下次重启会自动挂载#Go。
2023-03-21 14:55:07
168
原创 格里高利历Calendar获取偏移日期
时间，来源于运动；一日就是地球自转一周，一年就是地球公转一周。日历，是用来描述这种运行的，有阴历和阳历。国际通用的是格里高利历,由意大利医生兼哲学家里利乌斯（Aloysius Lilius）改革儒略历制定的历法，由教皇格列高利十三世在1582年颁行。在java中为Calendar, 可以add,set其中的年月日等属性之后获取到偏移后的年月日属性。
2023-03-09 18:36:43
50
原创 java正则表达式匹配替换大括号变量${}和替换${}变量的值
java正则表达式替换“$ {}”特殊字符并还原,以及java正则表达式替换${}变量为变量的值这两种操作的代码示例。"(\\$\\{(.+?)\\})" 特殊字符匹配时要转义。正则表达式(regular expression)描述了一种字符串匹配的模式，可以用来检查一个串是否含有某种子串、将匹配的子串做替换或者从某个串中取出符合某个条件的子串等。
2023-03-09 05:11:39
1916
原创 正则表达式
正则表达式(regular expression)描述了一种字符串匹配的模式，可以用来检查一个串是否含有某种子串、将匹配的子串做替换或者从某个串中取出符合某个条件的子串等。列目录时， dir.txt或ls.txt中的.txt就不是一个正则表达式,因为这里与正则式的*的含义是不同的。正则表达式是由普通字符（例如字符 a 到 z）以及特殊字符（称为元字符）组成的文字模式。正则表达式作为一个模板，将某个字符模式与所搜索的字符串进行匹配。
2023-03-09 05:04:25
55
原创 《贫穷的本质》读书总结
贫穷的本质》是一本研究分析为什么人们会处于贫穷状态以及该如何帮助他们的经济学著作,作者是阿比吉特·班纳吉 （Abhijit V.Banerjee）与埃斯特·迪弗洛 （Esther Duflo）。对于穷人来说，生孩子就像买彩票一样，你永远不知道哪张彩票会中奖，他们能做的，就是尽可能多买，这样中奖的概率也会随之增加。这是一个劫贫济富的社会，而穷人在杠杆中处于弱势地位，你有的，他会给你更多，你没有的，他会把你仅有的全部拿走。提供需要知识的就业岗位能让家长看到教育的好处而加大教育投入和对教学质量的要求。
2023-03-08 07:45:00
50
原创 421 Maximum login limit has been reached. on hdfs-over-ftp
在HdfsOverFtpServer.java里修改了startServer()这个method，在相应位置对应添加如下代码即可。 DefaultConnectionConfig con = new DefaultConnectionConfig(); con.setMaxLogins(0);//0代表无限制 server.setConnectionConfig(con);
2023-03-07 11:50:28
157
原创 提交yarn任务报错空指针org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Error starting MRAppMaster
看了下这个空指针MRClientService.getHttpPort(MRClientService.java:177)在yarn-site.xml中配置了yarn.resourcemanager.webapp.address之后就正常了。看网上说是yarn.resourcemanager.webapp.address没配置导致没能获取到port。xxx1主机名的值从yarn.resourcemanager.hostname中找,如果是HA那么是类似这样的。
2023-03-03 17:09:04
132
原创 SecureCRT登陆服务器的速度很慢的定位解决
安装了kerberos之后,SecureCRT登陆服务器的速度很慢,好久都不反应,看了网上的定位,一般都是开启会话跟踪,"文件"->"跟踪选项" 开启跟踪选项,定位到耗时的步骤之后进行处理,大部分是交换密钥过多和DNS问题， 我的就是kerberos密钥的问题,勾掉就好了，在连接右键打开"会话选择"->"SSH2"->"密钥交换" 把kerberos的勾去掉,只保留diffile-hellman*的3个就够了。。
2023-03-03 10:48:59
146
原创 hadoop shell 练习题
利用Hadoop提供的Shell命令完成以下任务(路径中的xxx替换为自己的用户名)：1、显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息；示例: hdfs dfs -ls /2、从HDFS中下载指定文件；示例: hdfs dfs -get /tmp/train/wordcount/in/input.txt ./myinput.txt3、在HDFS中指定位置创建文件夹；将刚才下载的myinput.txt文件中增加自己的用户名后,上传到HDFS中刚才创建的目录;xxx替换为
2023-03-02 19:30:00
1833
原创 hive连线题,hive建分区表，分桶表，内部表，外部表
{HIVE_HOME}/bin/hive启动hive客户端外部表使用external关键字,不维护数据文件;分区表使用PARTITIONED by子语句,分区是表目录下的子目录,起到水平拆分的作用;分桶使用CLUSTERED BY子语句指定分桶字段,按字段哈希将表文件拆分为多个小的表文件即桶文件;单个的桶就是表目录下的单个表文件。
2023-02-27 03:26:23
222
原创 导出maven工程依赖jar包
在maven项目下创建lib文件夹导出maven工程依赖jar包,在maven项目下创建lib文件夹，输入以下命令: mvn dependency:copy-dependencies -DoutputDirectory=lib，输入以下命令。
2023-02-21 20:15:00
94
原创 iptables防火墙屏蔽指定ip的端口
#尾部插入一条记录,拒绝ip访问除了22端口以外的所有端口iptables -A INPUT -s 192.1.217.54 -p tcp -m tcp ! --dport 22 -j REJECT# 第一行插入规则允许通过的端口号iptables -I INPUT 1 -s 192.1.217.54 -p tcp -m tcp --dport 8020 -j ACCEPT
2023-02-14 07:48:49
913
原创 hadoop的namenode主从切换导致连到从机上无法读取目录Operation category READ is not supported in state standby
hadoop的namenode主从切换导致连到从机上无法读取目录, 应该使用core-site.xml中的fs.defaultFS中的value值进行连接,避免使用ip,否则namenode主从切换后就会这样。通常Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅用来同步Active NameNode的状态。查看节点状态的命令：hdfs haadmin -getServiceState yourNamenodeName。
2023-02-01 17:36:42
82
原创 Windows Kerberos客户端配置并访问CDH
1.Windows安装 Kerberos 客户端;2.配置 krb5.ini3.执行 kinit 发起认证4.浏览器可信配置,在浏览器输入about:config打开配置:输入 `network.auth.use-sspi`，并点击切换到 `false`;输入 `network.negotiate-auth.trusted-uris`，输入可信 URL 地址;输入 `network.negotiate-auth.delegation-uris`;
2023-01-29 16:59:55
737
原创 sftp最大连接数设置MaxSessions
vi /etc/ssh/sshd_configMaxSessions 50MaxSessions：每个TCP连接允许的（多路复用）打开会话的最大数量。最大会话数指定每个网络连接允许的最大打开shell、登录或子系统（例如sftp）会话数。支持连接多路复用的客户端可以建立多个会话。将MaxSessions设置为1将有效地禁用会话多路复用，而将其设置为0将阻止所有shell、登录和子系统会话，同时仍允许转发。默认值为10。
2023-01-18 10:41:17
1343
原创 kerberos可以init但是连不上hadoop,禁用upd后成功连接hadoop集群。
kerberos可以init但是连不上hadoop,禁用upd后成功连接hadoop集群，解决在krb5.conf中禁用udp 在[libdefaults]下设置udp_preference_limit = 1
2023-01-17 17:20:28
88
原创 使用pypi-server创建私有pip源
为了让内网使用pip下载安装,需要在内网中创建pip源,类似离线仓库。使用pypiserver可以指定离线仓库目录， 将安装包放到离线仓库目录即可，只要有人上传一次后，其他人需要该模块，就不用再花时间去外网找了。不必一次同步全量的离线包，毕竟全量镜像可能有3T多。一、服务器安装 pypiserver#安装or。
2023-01-14 20:15:42
668
原创 Centos7离线安装sqlserver2017
根据操作系统选择安装包,可以在这找下https://packages.microsoft.com/config我选择是先在一台有网的机器上下载好rpm安装包之后再传到内网机器上安装。
2023-01-06 18:30:00
190
原创 hadoop大数据入门HDFS、MapReduce、YARN的个人通俗理解
简要介绍了hadoop最重要的基础HDFS分布式存储和MapReduce分布式计算。HDFS是一个主从架构的集群,由一个主节点NN进行目录维护并统一处理用户读写请求, 并把数据按块分到多个数据节点DN上。MapReduce提供了统一的mapper、reducer接口实现将计算分为多个并行的子任务并可进行统计合并出最终结果。
2022-12-29 18:22:15
366
原创 zookeeper3.6.3升级jetty9.4.47解决安全漏洞CVE-2022-2048和CVE-2021-28169
zookeeper3.6安全漏洞CVE-2022-2048和CVE-2021-28169, 替换zookeeper的lib目录下的7个jetty为9.4.47版本jar包后重启zookeeper,即可。jetty9.4.47下载地址https://repo1.maven.org/maven2/org/eclipse/jetty/jetty-distribution/9.4.47.v20220610/
2022-12-12 13:23:26
5576
1
原创 hbase Acl授权
#切换hbase的admin用户的票据后hbase shell#给hdfs赋权 权限有5个 RWXCAgrant 'hdfs', 'RWXCA'#收回授权revoke 'hdfs'
2022-12-09 17:06:47
796
原创 ftp共享盘挂载及权限——curlftpfs挂载FTP服务器
通过curlftpfs将远程ftp某个共享目录映射到本地目录,以达到多台机器共享同一目录的效果。首先安装ftp服务yum -y install epel-release;yum install vsftpd,然后 yum install curlftpfs在各节点安装curlftpfs并挂载远程ftp共享目录到本地即可在本地操作远程ftp共享目录curlftpfs -o codepage=utf8 ftp://username:password@yourip /home/share。
2022-12-09 11:09:25
2172
4
原创 网络中断3分钟后pulsar集群宕机
网络中断3分钟后pulsar集群宕机因为集群节点间网络故障，bookie 在心跳时间内（和 Zookeeper 交互数据）未获取到其他副本数据，认为副本丢失，继而发生集群级别的副本补齐动作（触发 Autorecovery）。海量数据复制会跟 Zookeeper 出现短时间高频次的访问，会导致 zk 几乎无法返回响应，导致整个集群Hang住，不可用。
2022-12-08 11:04:46
58
原创 hdfs-over-ftp使用说明
hdfs-over-ftp可以将hdfs文件系统通过ftp服务方式暴露出来,可以通过ftp客户端下载和上传hadoop文件。
2022-12-08 09:07:40
718
原创 低版本客户端连接oracle12c报错ORA-28040: No matching authentication protocol
修改product/12.1.0/dbhome_1/network/admin/sqlnet.ora增加SQLNET.ALLOWED_LOGON_VERSION_SERVER=8SQLNET.ALLOWED_LOGON_VERSION_CLIENT=8重启数据库及监听;sqlplus / as sysdba;shutdown immediatestartuplsnrctl stoplsnrctl start;修改用户密码;alter user 用户名 identified by 新密码;
2022-12-04 09:10:50
833
原创 yum安装postgresql
yum安装 yum install postgresql postgresql-server 创建数据库,修改密码,放开远程访问限制,重启
2022-12-01 22:03:59
1452
原创 oracle开启归档日志并修改归档日志路径
sqlplus / as sysdbashutdown immediate; startup mount;alter database archivelog;alter database open;archive log list;alter system set log_archive_dest_1='LOCATION=/data/tb_oracle/arch';alter system switch logfile;archive log list;
2022-11-21 10:35:46
1322
原创 find结合xargs删除文件
# find结合xargs删除文件find . -type f -name “*.txt” -print0 | xargs -0 rm -f
2022-11-04 23:41:56
277
原创 限制用户只能sftp不能ssh,一个用户可以上传,另一个用户只能下载
bin/false 限制不使用ssh, ChrootDirectory限制sftp根目录(该目录必须为root用户root属组,权限要是755,可以在该目录创建子目录并修改子目录属组来给其他用户操作)
2022-11-04 23:34:00
458
原创 ntp离线时间同步
离线环境下如果没有ntp服务器,可以选择一台机器作为时间服务器,其他机器作为客户端向该机器获取时间。所有机器上都要安装ntp, 配置时间服务器时服务器和客户端的配置不同,服务器配置server 127.127.1.1,客户端要配置服务端的真实ip。
2022-10-28 16:04:02
283
MemoryAnalyzer-1.12.0.20210602-win32.win32.x86_64.zip
2021-10-12
jython-standalone-2.70.zip
2021-08-24
apache-log4j-2.14.1.zip
2021-06-07
flink-1.13.1-bin-scala_2.12.tgz
2021-06-04
jdk11官网下载 linux+windows
2021-03-08
arthas3.4-bin.zip
2020-10-14
data-integration.part3.rar
2020-04-27
data-integration.part2.rar
2020-04-27
data-integration.part1.rar
2020-04-27
mysql-5.7.29-winx64.zip
2020-01-14
代码整洁之道读书笔记.zip
2019-08-21
java多线程安全性基础介绍.pptx
2019-07-25
trino-server-412.tar.gz 分布式多数据源即席查询引擎Trino安装包(Presto)
2023-04-11
sqlflow-data-lineage-model-reference.pdf
2023-03-07
jetty-distribution-9.4.47.v20220610
2022-12-12
curlftpfs-0.9.2安装包
2022-12-09
clickhouse-20.5.4.40 deb安装包 Ubuntu可用
2022-10-27
mysql5.7arm64.zip麒麟arm64架构下的deb安装包
2022-09-02
麒麟ARM平台Docker的.deb安装包
2022-09-02
createrepo本地软件源安装包 createrepo-0.9.9-28.el7.noarch.rpm
2022-08-05
linux版本grafana+prometheus+node_exporter安装包,用于主机监控
2022-06-22
redis5离线安装文件包,包含redis-5.0.14.tar.gz和redis-4.6.0.gem
2022-06-10
chproxy_1.15.1_linux_amd64.tar.gz clickhouse官方代理工具chproxy
2022-06-01
hcache缓存cache查看工具
2022-05-26
clickhouse-22.2.2.1-2.x86_64.rpm离线安装包
2022-04-26
jackson-databind-2.9.10.8.jar升级相关jar包
2022-04-21
redis-3.2.13安装文件集群安装文件包含redis-3.2.13.tar.gz,和redis-3.2.1.gem
2022-04-16
flink-1.5.0-bin-hadoop26-scala_2.11.tgz
2022-03-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人