- 博客(11)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 ClickHouse集群部署 全网最佳实践
一、准备工作：1.机器准备：我们准备了6台机器用来部署clickhouse，准备搭建一个3分片2副本集群，当然也可根据你自己实际情况选择机器数量。2.在每台机器上安装clickhouse：依次执行以下命令（来源于官网文档）：sudo yum install yum-utilssudo rpm --import https://repo.clickhouse.tech/CLICKHOUSE-KEY.GPGsudo yum-config-manager --add-repo https://rep
2021-07-24 14:40:35
11611
11
原创 zookeeper集群部署教程
一.zookeeper节点必须是奇数个，因为zookeeper选举的规则：leader选举，要求可用节点数量必须大于总节点数量/2，所以我们这次选用了三台机器部署三台机器的内网ip分别为172.31.36.230172.31.36.231172.31.36.232二.zookeeper 是使用 java 来运行的，所以需要依赖 JDK，所以安装 zookeeper 之前需要安装部署 JDK，没有安装的需要先安装并配置环境变量，我已经安装java8，这里不再安装了。三.安装并配置zookeeper
2021-07-08 20:17:14
13228
4
原创 Python 将gif调整大小后转换成动态webp
将gif转换成动态webp尝试发现使用Image的resize方法虽然可以转换成功，但只能保存gif的第一帧，换句话说保存的不是动图webp试了很多水，最后发现ffmpeg可以很好的解决这个问题，将代码附上：def resize_animated_webp(): path = '/Users/Downloads/gif' files = os.listdir(path) save_path = '/Users/Downloads/webp_512' for file
2021-12-15 10:30:02
3330
原创 mac zsh: command not found: pip解决方法
第一步先下载：curl https://bootstrap.pypa.io/pip/get-pip.py -o get-pip.py第二步安装sudo python3 get-pip.py（注意，如果出现如下图黄字部分警告，如WARNING: The scripts pip, pip3 and pip3.9 are installed in ‘/usr/local/opt/python@3.9/Frameworks/Python.framework/Versions/3.9/bin’ which
2021-08-10 12:58:51
21037
13
原创 Python 负载均衡，数据轮询 hash字符串 hashlib
在做数据分发轮询的时候遇到一个问题，我们并不只是想把数据依次分发到每台机器上，而是想根据每条数据的id来判断，同一个id的数据只放到同一个机器上，而不是可能随机出现在任何一台机器上。1.使用python的hash()函数失败：开始直接想使用hash发现同一字符串每次结果不一样，查了下是python为了安全做过处理，实验如下：id = 'asghu263ff3'print(hash(id))执行两次：结果：2436877783843336617-88194056338363004302.
2021-07-25 21:51:28
8224
1
原创 Java接收并上传图片至S3，返回图片URL，并删除本地图片
Java将图片上传至S3，一般前端页面上传过来的图片，在后端接收形式都为MultipartFile，而S3不支持MultipartFile形式的文件，只支持File类型，所以需要先转换类型再上传。注意：由于上传成功后，本地或者代码运行服务器中图片也会存在，为避免这个问题，上传成功需要本地删除图片。完整代码如下：（只需要将下面Service中开始部分的变量改成你自己的就可以直接使用）Controller： //上传图片 @PostMapping("/uploadPicture") pub
2021-07-16 18:28:49
12407
4
原创 Java后端以MultipartFile形式接受webp图片，并判断是否为动图
前几天遇到一个问题，前端上传的图片都为webp格式，但有些是动图，有些不是动图由于它们的后缀都是.webp，无法通过判断后缀来解决，于是通过读取二进制流来判断是否为动图。如图，经过测试发现，读取动图webp二进制流，前两行会包含一个 ANIM 字符串。否则则为静态，静态图片的二进制流前两行也会包含一个字符串 ALPH代码解决：public Integer uploadPicture(MultipartFile multipartFileImageFile) throws IOException {
2021-07-16 15:06:43
12396
原创 Mybatis @Insert批量插入list集合
有时候项目中没有配置xml文件，需要使用@Insert注解批量插入list集合，使用方法如下：@Insert("<script>" + "INSERT INTO t_user" + " (pack_key,image_file,emojis)" + " VALUES" + " <foreach collection ='list' item='user' separator =','>"
2021-07-06 11:36:34
15325
原创 Python boto3上传大文件报错解决，并从S3下载指定文件
根据业务需求，有一台存放日志文件的服务器即将清空日志，要将所有日志文件上传至S3，想使用时在另一台机器下载即可。原本直接使用boto3传输，但传输过程报错了，原因是传输的文件太大了，超过传输限定阈值。解决方法是导入TransferConfig，将传输配置为分段传输即可，实现很简单，上代码：#导入需要的包from boto3.session import Sessionimport boto3from boto3.s3.transfer import TransferConfigREGI
2021-07-05 16:32:55
15455
1
原创 Java将接收json参数转换为对象、列表
在实际开发中，有时候需要将请求体body中的json参数转换为我们可以在后端直接使用的对象或者列表。方法如下：@PostMapping("/modifyStudent") public void modifyStudent(@RequestParam("student") String student, @RequestParam("studentList") String studentList ) {
2021-07-05 14:20:12
14858
原创 Python转换图片格式（png转换成webp）、批量上传至S3、生成json文件
Python转换图片格式（png转换成webp）、批量上传至S3、生成json文件
2021-06-28 12:56:17
15070
HTML基础与实践
2018-12-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人