- 博客(16)
- 收藏
- 关注
RSS订阅原创 【测试用例】如何解决UT中对private构造方法进行Mock时不能用new去创建对象
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档。
2023-07-20 11:54:53
493
原创 Kafka常见配置
消息确认机制，ack可配置为三种:0,1,-1(all)，默认为1不自己整理了，可参考这个：https://jiamaoxiang.top/2020/10/24/Kafka-producer%E7%9A%84%E5%87%A0%E4%B8%AA%E9%87%8D%E8%A6%81%E9%85%8D%E7%BD%AE%E5%8F%82%E6%95%B0/
2023-05-17 12:07:44
773
原创 【Kafka Connect】
Kafka Connect概念特点组件ConnectorsTasksWorkersConvertersTransformsDead Letter Queuerebalance触发场景参考文章概念Kafka Connect是一个用于将数据流输入和输出Kafka的框架。Confluent平台附带了几个内置connector，可以使用这些connector进行关系数据库或HDFS等常用系统到kafka的数据传输特点数据从数据源读出或写入时延低；从从不同数据源获取数据或将数据写入到不同数据源（如：客户端
2021-12-06 21:14:33
2262
原创 【hadoop2】安装与配置
下载hadoop2安装包解压hadoop安装包进入解压目录下的etc目录修改以下文件（一个节点配了，可以将该配之后的hadoop解压文档scp到其他节点）：yarn-env.sh和hadoop-env.sh中加上jdk路径（JAVA_HOME）core-site.xml按照加上图中内容hdfs-site.xml增加如下内容从mapred-site.xml.template模板中拷贝一份到mapred-site.xml，并增加如下内容：修改yarn-site.xml,增加如下内容：.
2020-09-21 12:05:54
216
原创 【Kafka】Kafka基础
一、Kafka概念及特性1. 概念Kafka是一种高吞吐量的分布式发布订阅消息系统。Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker.producers通过网络将消息发送到Kafka集群，集群向消费者提供消息。然每个程序都在自己的线程里只缓存了一份数据，但在操作系统的缓存里还有一份，这等于存了两份
2020-09-09 14:11:35
248
原创 【HDFS】HDFS学习笔记
参考：https://cshihong.github.io/2018/05/10/HDFS%E6%8A%80%E6%9C%AF%E5%8E%9F%E7%90%86/
2020-09-04 18:27:05
568
原创 【Django学习笔记】model的迁移
Django迁移model时会根据model.py在对应数据库中创建相应的数据表：Django1.9以下用django-admin命令中有syncdb指令。python manage.py syncdb第一次执行会创建所有数据表；再次执行只会创建model中新的数据表。如果已有数据表，只是对其进行了修改如：字段的增加减少，并不会进行迁移。syncdb指令无法自动更改数据库表结构，因此需要手动删除数据库表，再运行syncdb指令Django1.9之后改为了python manger.py mak
2020-08-31 20:51:42
732
原创 【VisualStudioCode】无法在这个大型工作区中监视文件更改
在vscode上打开一个项目时，突然弹出以下错误：无法在这个大型工作区中监视文件更改。请按照说明链接解决问题。于是点击“说明”，跳转到官方文档的对应解决方案处显示：当前linux系统下，由于工作区太大包含太多文件导致vs code监视文件达到上限而因此这个错误。于是按照官网提供的指令查看当前最大监视数，执行：cat /proc/sys/fs/inotify/max_user_watches，发现当前最大限制为：8192于是更改相应配置文件，执行：vim /etc/sysctl.conf
2020-08-31 15:18:24
7418
3
原创 python+celery+redis实现定时任务
这篇文章介绍得非常清楚，可直接参考https://zhuanlan.zhihu.com/p/112933211需要提醒的是，在执行celery定时任务时需要注意以下：在启动了redis服务的前提下（redis安装启动与关闭可参考这里），打开两个终端，都进入到项目根目录下，各自执行指令：celery -A celery_app worker -l info -n worker 和 celery -A celery_app beat -l info （也可只开启一个终端，将两条指令合并执行：celery
2020-08-28 15:59:11
426
原创 【python】Debian虚拟机报weakref.py的错及解决方案
错误详情：File “/usr/lib/python3.5/weakref.py”, line 117, in removeTypeError: ‘NoneType’ object is not callable错误原因：python3.5的bug解决方式：修改weakref.py文件找到“def remove(wr, selfref=ref(self)):”这一行并将之修改为：“def remove(wr, selfref=ref(self), _atomic_removal=_remove
2020-08-28 15:20:56
738
原创 【虚拟机】使用vagrant + virtualbox搭建虚拟开发环境
Vagrant是什么？Vagrant是一个虚拟机管理和配置工具。Vagrant底层支持VirtualBox、VMware、AWS作为虚拟机系统。Vagrant并不提供虚拟化技术，本质上是一个虚拟机外挂，通过虚拟机的管理接口来管理虚拟机。安装Vagrant官网下载mac os版本，简单易装。官网链接：https://www.vagrantup.com/downloads.html安装Virtualbox官网下载，简单易装。官网链接：https://www.virtualbox.org/Vagra.
2020-08-27 20:48:38
155
原创 【celery】执行celery定时任务
场景：在虚拟机上执行 python + django +celery + redis 的定时任务启动redis服务后，打开两个终端，都进入到项目根目录下，各自执行指令：celery -A celery_app worker -l info -n worker 和 celery -A celery_app beat -l info（也可只开启一个终端，将两条指令合并执行：celery -A celery_app worker -B -l info）celery -A celery_app wor
2020-08-27 19:15:36
506
1
原创 【redis】终端安装、配置、启动、关闭redis
参考博文：https://www.cnblogs.com/zf29506564/p/5948579.html1）下载文件：进入到存放下载文件的目录：cd 文件存放目录执行：wget http://download.redis.io/releases/redis-3.0.1.tar.gz #wget 会将下载的文件放到当前目录2）解压：tar xzf redis-3.0.1.tar.gz #解压到当前目录，可自定义解压目录3）编译安装：makemake allmake in
2020-08-27 18:58:38
487
原创 【mysqlclient】安装requirement.txt时，mysqlclient安装失败的解决方案
场景：mac + python3 + django + mysql8.0.21错误：在安装一个项目的requirement.txt时，mysqlclient安装失败，报错如下：解决方案：安装虚拟机，在虚拟机上部署开发环境。如：vagrant + virtualbox。 项目部署在虚拟机上，执行pip3 install -rrequirement.txt 即可安装成功...
2020-08-27 18:44:00
406
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人