zcr123321的博客

原创 Mysql内部数据存储

原创 Spark计算调优

Spark3 没有调优的情况下 计算时间为 90min 左右 GC吞吐率 ~60% 目前只能给15G的计算内存, 频繁FullGC,有比较大的优化空间Spark2 在同条件下的运算速度2H20min速度提升30~40%

原创 Clickhouse为什么需要写入本地表

然后后台会有merge线程，不定时（分钟级别）的将多个小文件进行合并，生成PartitionId_MinBlockNum_MaxBlockBum_Level的文件，未达到data parts最小rows或者大小限制前，会持续merge，每次merge的耗时大概5分钟左右。clickhouse操作数据的最小操作单元是block，每次写入都会按照zookeeper记录的唯一自增的blockId，按照PartitionId_blockId_blockId_0生成data parts，也就是小文件。

原创 Python Selenium 爬虫通过network抓包response获取新增职位信息,并定时推送给邮箱

在获取某些网站的招聘信息时,没有给出岗位的发布时间信息,导致用户无法识别每天新增的职位信息,大量的职位混杂一起,无法识别热点职位,错失最新的招募信息.

原创 【无标题】

springboot bean缓存singletonObjects 一级缓存，用于保存实例化、注入、初始化完成的bean实例List itemList item

原创 git add 忽略指定文件 (Idea 不标蓝)

git update-index --assume-unchanged /path/file 可以忽略这个修改。从而不用提交到库里面。git update-index --no-assume-unchanged /path/file 来恢复跟踪。unchanged 未更改。git 忽略掉文件的修改。如果想恢复该文件，可以用。assume 假设。

原创 MacOs EasyExcel Jdk1.8 报错找不到字体解决

mac命令 -> brew install dejavu-sans-fonts。MacOs EasyExcel 报错找不到字体解决@