- 博客(436)
- 资源 (95)
- 收藏
- 关注
RSS订阅
原创 linux的cache过高的原因定位与解决echo 3 ＞ /proc/sys/vm/drop_caches
一、在crontab定时执行echo 3> /proc/sys/vm/drop_caches清理缓存。治标不治本。二、hcache -top 10查看缓存文件,删除后其缓存将永久清除。三、把没用的大日志文件清理删除掉，查找大于1G的文件find / -type f -size +1G。四、将vm.extra_free_kbytes设置为vm.min_free_kbytes和一样大，提高low阈值，触发操作系统自动回收缓存。...
2020-09-23 09:12:15
33443
1
原创 如何查看JVM内存中的对象和执行中的方法
本机debugger就好了,远程的可以远程debugger,内网生产无法远程debugger的怎么办？使用jmap和jstack将堆内存(对象)和栈(方法)输出为文件进行查看。pid:是jvm进程号,可以使用jps -ml或ps命令查看到jvm内存对象统计：jmap -histo:live pidjvm内存对象查看：先将内存导出为文件: jmap -dump:format=b,file=dump.hprof pid然后使用mat工具打开查看里面有多个统计...
2020-09-01 12:58:58
5971
原创 使用7zip解决linux大文件解压报错invalid zip file with overlapped components (possible zip bomb)
8G的zip文件在linux解压报错invalid zip file with overlapped components (possible zip bomb)。安装p7zip并设置UNZIP_DISABLE_ZIPBOMB_DETECTION=TRUE后解决。yum install p7zip7z x 8g.zip7za x 8g.zip
2024-02-02 06:40:46
975
原创 shell监控目录下新增的文件并进行处理
用户每天上传文件到指定目录，通过shell脚本尽快识别到新上传的文件已经上传完成，然后就处理新上传的文件。通过文件的大小变化判断新增文件是否上传完成，连续10秒大小不变就认为上传完成了。通过ls记录文件名列表到临时文件中，然后通过diff比较识别新增的文件；每分钟检查一次，循环运行一天后退出，然后通过crontab脚本每天拉起。
2024-01-26 14:46:13
669
原创 讯飞星火大模型api调用
讯飞星火大模型，通过websocket方式通信传递协议要求的报文，然后将流式返回的报文拼接为完整的响应内容，status=2时是最后一条消息。因为是websocket方式所以是异步响应的，如果想要同步需要使用CountDownLatch控制下线程等待最后一条消息处理完再继续往下走。星火不同版本稍微有一些差异，具体以官网提供的demo为准。
2023-12-16 14:30:21
2470
原创 domain参数错误导致讯飞星火大模型：发生错误，错误码为：10404
开通讯飞星火大模型api调用后，使用官方demo调用报错10404，最终发现是domain参数需要跟调用的版本保持一致，1.5，2，3版本分别传general,generalv2,generalv3，传错了还报错10404。
2023-11-29 14:30:30
1097
1
原创 国内20个大模型中文场景测评及体验
无，开源大模型https://gitee.com/mindspore/zidongtaichu。选择类型后会将提示语显示出来并显示关键词和关键词的说明，方便修改关键词。商汤商量SenseChat（日日新大模型SenseNova）方便的插件选择，包括思维导图，文档输入，图片识别。上海MiniMax（ABAB大模型）上海人工智能实验室（书生通用大模型）好未来（MathGPT 大模型）知乎（“知海图 AI”模型）网易有道（“子曰”大模型）昆仑万维（“天工”大模型）智谱AI（GLM大模型）中科院（紫东太初大模型）
2023-11-26 10:30:26
1246
原创 hugeGraph修改PropertyKey属性类型
备份后修改propertykeys.zip中指定属性的"data_type":“TEXT"为"data_type”:“INT”修改PropertyKey字段属性的类型。修改groovy脚本中的Text为Int。然后使用修改后的备份文件恢复图数据库。
2023-11-14 22:29:22
317
原创 SQL血缘解析原理
大致步骤如下：1.sql文本进行词法分析2.sql语法分析获取到AST抽象语法树3.访问AST抽象语法树根据语法结构推测出数据的流向,例如create as select from 这种结构,数据就是从from的表流向select出来的ResultSet中间结果集最后流程create的表中, 字段可以使用字段名进行匹配，如果可以连接到元数据库是可以查询到表和字段的，如果仅仅根据sql文本分析，那么一般只能根据select中的字段名结合语法进行猜测。
2023-09-28 12:02:18
1677
原创 百度千帆大模型文心一言api调用
创建应用成功后,可以获取到API Key和Secret Key。然后获取token后使用http方式调用即可。curl -XPOST 'https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions?access_token=[调用接口获取的access_token]' -d '{ "messages": [ {"role":"user","content":"介绍一下你自己"} ]}'
2023-09-11 15:07:13
3189
原创 doris多租户资源隔离及权限管理
Doris 集群FE 主要负责元数据管理、用户请求的接入,BE 主要负责数据存储、查询计划的执行等工作。doris的资源隔离主要是BE节点的tag分组赋权,以及用户级别的cpu和内存使用限制,用户最大的并发连接数等。而权限控制则类似于mysql，在2.0版本开始使用角色赋权。总的来说，使用起来比较的简单方便， 在pb级数据容量的情况下比较合适。
2023-09-04 10:53:41
2254
原创 kinit报错 /etc/host.conf: line 3: bad command `nospoof on‘
kinit报错 /etc/host.conf: line 3: bad command `nospoof on’linux7.5不再支持nospoof命令了, 修改/etc/host.conf注释掉nospoof on即可。
2023-08-11 18:08:18
1954
原创 linux挂载超过2T的大磁盘
parted /dev/sdbmklabel gptmkpart primary 2048s 100%align-check optimal 1quitmkfs.xfs -f /dev/sdbmount /dev/sdb /srv/BigData/hadoop/data1echo "/dev/sdb /srv/BigData/hadoop/data1 xfs defaults,noatime,nodiratime 1 0" >>/etc/fstab
2023-08-09 10:24:01
682
原创 Doris的索引
目前 Doris 主要支持两类索引：1. 内建的智能索引，包括前缀索引(每行数据的最多前36字节)和 ZoneMap 索引(Min/Max，Null 值个数等)。前缀索引:每行数据的最多前36字节,遇到varchar不会继续读后续字段,建表时需要设计好字段的顺序,每个表只有一个前缀索引。2. 用户手动创建的二级索引，包括 倒排索引-关键词加速、 bloomfilter索引-in单值查询加速、 ngram bloomfilter索引-like查询加速 和bitmap索引-查询加速。
2023-08-04 16:56:17
1137
原创 AI代码生成助手Cursor、TabNine 、Cosy使用体验
AI代码助手好多都需要翻墙,chargpt,微软系统的Copilot, Cursor(基于gpt,需要翻墙)。TabNine不翻墙但是免费版本只给生成单行代码,阿里的cosy功能比较弱甚至不能算ai。即使这样也能大大提高编码效率了， 使用了下，感觉AI编码助手真的是可以解决一部分问题，不可避免的要替代掉部分程序员的工作了。
2023-08-04 16:39:40
1259
4
原创 网络超时导致namenode被kill的定位
超时触发了namenode切换,并将超时的active状态的namenode杀掉来防止集群脑裂。查看日志发现namenode切换为active之前为了防止集群脑裂,主动ssh到原来的namenode集群上把namenode端口杀掉了。网络问题导致namenode与zk间的连接超时触发了hadoop集群的防脑裂机制而主动kill掉了超时的namenode进程。交换机升级导致部分网络通信超时, 集群的namenode主从切换后,主namenode进程被杀死。
2023-07-23 21:41:04
315
原创 seatunnel hive source 未设置分隔符导致多个字段合并成一个的问题定位解决
seatunnel hive source 未设置分隔符导致多个字段没有切分全保存在一个字段中了,翻看源码发现分隔符是是通过delimiter设置的,只要设置这个delimiter=","就可以了。
2023-07-21 10:00:30
596
原创 华为breeze ideploy部署流程示例
https://www.cnblogs.com/withfeel/p/11640877.html 华为breeze ideploy部署流程示例
2023-06-29 20:30:00
441
原创 pstree -p查看使用线程较多的进程
bash: fork: retry: 没有子进程;su:failed to execute /bin/bash网上查看说是线程数用完了, 一般修改/etc/security/limits.d/20-nproc.conf 加大用户的最大线程数,然后重新登录后通过 ulimit -u命令查询最大线程。网上有说ps -ef|grep sshd后把不需要的进程都杀掉。可以pstree -p打印所有进程及线程,找到占用线程较多的进程后,杀掉该进程。
2023-06-12 17:07:26
358
原创 cgroup限制内存使用
#查看进程pidsudo systemctl status kubeletMain PID: 20763 (kubelet)Tasks: 69Memory: 97.9MCGroup: /system.slice/kubelet.service└─20763 /usr/bin/kubelet --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf
2023-06-08 09:06:50
1173
原创 手写代码导出导入手机联系人
然后发现百度网盘只能全量恢复,没法去重,可以浏览器查看通讯录但是没有导出功能,好吧,我决定从网页上复制下来然后再手工修改。本来直接复制粘贴也是可以的，但是我还是写了js脚本。console里,每页执行一下,把打印结果复制出来粘贴到.svc文件中,删除不需要的联系人,然后复制到mysql表里去重,最后设法拼出.vcf文件格式。换手机了,一千多联系人里面好多重复的,手机联系人每次同步就增加一批重复的,就想导出来手工处理下再导进去。把文本编辑后的.vcf文件发送到手机上,然后通过通讯录导入.vcf文件即可。
2023-06-05 23:09:26
218
原创 Trino安装使用及权限控制
Trino是一个分布式SQL查询引擎，旨在查询分布在一个或多个异构数据源上的大型数据集。支持丰富的数据源连接方式,支持库、表和字段级别的权限控制,以及支持通过资源组实现类似队列的资源使用控制。这些都需要手工进行配置，这是不方便的地方。
2023-05-06 19:13:13
3838
原创 配置hive后启动trino报错KrbException: no supported default etypes for default_tkt_enctypes
KrbException: no supported default etypes for default_tkt_enctypes 解决: 在 /etc/krb5/krb5.conf 文件的 libdefaults 部分中设置 allow_weak_crypto = true,然后重启Trino。这是因为jdk-17默认禁用了arcfour-hmac-md5-exp、des-cbc-md5 和 des-cbc-crc 弱加密类型。
2023-04-12 20:30:00
553
原创 重写了equals和hashcode方法之后也不能 保证contains方法一定生效
重写了equals和hashcode方法之后也不能 保证contains方法一定生效,看下下面的代码全部能答对输出的估计很少。同一个对象如果修改了之后很可能contains就为false了，平时还是应该对常用容器的源码好好看看。
2023-03-28 17:21:57
324
1
原创 使用jar命令替换jar包中的jar文件
替换jar包中的jar文件(一般jar不会压缩使用-0表示不压缩) 1. 根据文件名，查询出文件目录 jar -tvf xxxx.jar | grep jdbc.jar 2. 将需要修改的文件，解压出来，并替换修改的文件 jar -xvf xxxx.jar BOOT-INF/lib/jdbc.jar 3. 替换修改完的文件 压缩并替换 jar -uvf xxxx.jar BOOT-INF/lib/jdbc.jar
2023-03-28 10:08:02
4264
原创 丢失的未挂载磁盘查看原挂载路径
df查看硬盘信息(未挂载的磁盘看不到)df -h#使用 fdisk -l 查看电脑所有磁盘信息包括未加载磁盘fdisk -l#使用 lsblk 检查哪块磁盘为加载和分区lsblk -l#使用dumpe2fs -h /dev/sdb1 查看未挂载磁盘的上次挂载目录#使用mount临时挂载 (卸载是umount)#使用parted -l查看磁盘的文件系统类型parted -l#编辑/etc/fstab永久挂载,下次重启会自动挂载#Go。
2023-03-21 14:55:07
652
原创 格里高利历Calendar获取偏移日期
时间，来源于运动；一日就是地球自转一周，一年就是地球公转一周。日历，是用来描述这种运行的，有阴历和阳历。国际通用的是格里高利历,由意大利医生兼哲学家里利乌斯（Aloysius Lilius）改革儒略历制定的历法，由教皇格列高利十三世在1582年颁行。在java中为Calendar, 可以add,set其中的年月日等属性之后获取到偏移后的年月日属性。
2023-03-09 18:36:43
209
原创 java正则表达式匹配替换大括号变量${}和替换${}变量的值
java正则表达式替换“$ {}”特殊字符并还原,以及java正则表达式替换${}变量为变量的值这两种操作的代码示例。"(\\$\\{(.+?)\\})" 特殊字符匹配时要转义。正则表达式(regular expression)描述了一种字符串匹配的模式，可以用来检查一个串是否含有某种子串、将匹配的子串做替换或者从某个串中取出符合某个条件的子串等。
2023-03-09 05:11:39
8725
原创 正则表达式
正则表达式(regular expression)描述了一种字符串匹配的模式，可以用来检查一个串是否含有某种子串、将匹配的子串做替换或者从某个串中取出符合某个条件的子串等。列目录时， dir.txt或ls.txt中的.txt就不是一个正则表达式,因为这里与正则式的*的含义是不同的。正则表达式是由普通字符（例如字符 a 到 z）以及特殊字符（称为元字符）组成的文字模式。正则表达式作为一个模板，将某个字符模式与所搜索的字符串进行匹配。
2023-03-09 05:04:25
132
原创 《贫穷的本质》读书总结
贫穷的本质》是一本研究分析为什么人们会处于贫穷状态以及该如何帮助他们的经济学著作,作者是阿比吉特·班纳吉 （Abhijit V.Banerjee）与埃斯特·迪弗洛 （Esther Duflo）。对于穷人来说，生孩子就像买彩票一样，你永远不知道哪张彩票会中奖，他们能做的，就是尽可能多买，这样中奖的概率也会随之增加。这是一个劫贫济富的社会，而穷人在杠杆中处于弱势地位，你有的，他会给你更多，你没有的，他会把你仅有的全部拿走。提供需要知识的就业岗位能让家长看到教育的好处而加大教育投入和对教学质量的要求。
2023-03-08 07:45:00
222
原创 421 Maximum login limit has been reached. on hdfs-over-ftp
在HdfsOverFtpServer.java里修改了startServer()这个method，在相应位置对应添加如下代码即可。 DefaultConnectionConfig con = new DefaultConnectionConfig(); con.setMaxLogins(0);//0代表无限制 server.setConnectionConfig(con);
2023-03-07 11:50:28
707
原创 提交yarn任务报错空指针org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Error starting MRAppMaster
看了下这个空指针MRClientService.getHttpPort(MRClientService.java:177)在yarn-site.xml中配置了yarn.resourcemanager.webapp.address之后就正常了。看网上说是yarn.resourcemanager.webapp.address没配置导致没能获取到port。xxx1主机名的值从yarn.resourcemanager.hostname中找,如果是HA那么是类似这样的。
2023-03-03 17:09:04
653
原创 SecureCRT登陆服务器的速度很慢的定位解决
安装了kerberos之后,SecureCRT登陆服务器的速度很慢,好久都不反应,看了网上的定位,一般都是开启会话跟踪,"文件"->"跟踪选项" 开启跟踪选项,定位到耗时的步骤之后进行处理,大部分是交换密钥过多和DNS问题， 我的就是kerberos密钥的问题,勾掉就好了，在连接右键打开"会话选择"->"SSH2"->"密钥交换" 把kerberos的勾去掉,只保留diffile-hellman*的3个就够了。。
2023-03-03 10:48:59
1105
原创 hadoop shell 练习题
利用Hadoop提供的Shell命令完成以下任务(路径中的xxx替换为自己的用户名)：1、显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息；示例: hdfs dfs -ls /2、从HDFS中下载指定文件；示例: hdfs dfs -get /tmp/train/wordcount/in/input.txt ./myinput.txt3、在HDFS中指定位置创建文件夹；将刚才下载的myinput.txt文件中增加自己的用户名后,上传到HDFS中刚才创建的目录;xxx替换为
2023-03-02 19:30:00
2142
MemoryAnalyzer-1.12.0.20210602-win32.win32.x86_64.zip
2021-10-12
jython-standalone-2.70.zip
2021-08-24
apache-log4j-2.14.1.zip
2021-06-07
flink-1.13.1-bin-scala_2.12.tgz
2021-06-04
jdk11官网下载 linux+windows
2021-03-08
arthas3.4-bin.zip
2020-10-14
data-integration.part3.rar
2020-04-27
data-integration.part2.rar
2020-04-27
data-integration.part1.rar
2020-04-27
mysql-5.7.29-winx64.zip
2020-01-14
代码整洁之道读书笔记.zip
2019-08-21
pentaho-kettle-master.zip
2019-06-21
trino-server-412.tar.gz 分布式多数据源即席查询引擎Trino安装包(Presto)
2023-04-11
sqlflow-data-lineage-model-reference.pdf
2023-03-07
jetty-distribution-9.4.47.v20220610
2022-12-12
curlftpfs-0.9.2安装包
2022-12-09
clickhouse-20.5.4.40 deb安装包 Ubuntu可用
2022-10-27
mysql5.7arm64.zip麒麟arm64架构下的deb安装包
2022-09-02
麒麟ARM平台Docker的.deb安装包
2022-09-02
createrepo本地软件源安装包 createrepo-0.9.9-28.el7.noarch.rpm
2022-08-05
linux版本grafana+prometheus+node_exporter安装包,用于主机监控
2022-06-22
redis5离线安装文件包,包含redis-5.0.14.tar.gz和redis-4.6.0.gem
2022-06-10
chproxy_1.15.1_linux_amd64.tar.gz clickhouse官方代理工具chproxy
2022-06-01
hcache缓存cache查看工具
2022-05-26
clickhouse-22.2.2.1-2.x86_64.rpm离线安装包
2022-04-26
jackson-databind-2.9.10.8.jar升级相关jar包
2022-04-21
redis-3.2.13安装文件集群安装文件包含redis-3.2.13.tar.gz,和redis-3.2.1.gem
2022-04-16
flink-1.5.0-bin-hadoop26-scala_2.11.tgz
2022-03-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人