Tony10010的博客

原创 Kafka 消费者配置属性

原创 Kafka 消息保留机制

log.retention.ms 消息时间Kafka通常根据时间决定数据可以保留多久。默认使用log.retention.hours参数配置时间，默认值是168小时，也就是一周。除此之外，还有其他两个参数，log.retention.minutes和log.retention.ms，这三个参数作用是一样的，都是决定消息多久以会被删除，不过还是推荐使用log.retention.ms，如果指定了...

原创 Django发送邮件配置

settings.py加入以下配置EMAIL_BACKEND = 'django.core.mail.backends.smtp.EmailBackend'EMAIL_USE_TLS = FalseEMAIL_USE_SSL = FalseEMAIL_HOST = 'smtp.163.com'EMAIL_PORT = 25EMAIL_HOST_USER = 'xxxxxxxxxx...

原创 Django使用celery进行异步任务

安装celery pip install celery在项目文件夹下添加文件celery.py用于初始化一个celery的app对象,在需要使用异步任务的app下创建 tasks.py 文件用于定义异步任务，注意tasks.py必须建在各app的根目录下，且只能叫tasks.py，不能随意命名在项目的 __init__.py 文件下导入celery_app,在项目需要异步运行的地方调用异...

原创 openpyxl操作execl表格数据

只能打开xlsx类型的excel文件默认可读写，若有需要可以指定write_only和read_only为Truewb = openpyxl.load_workbook(filename)返回一个workbook对象，用于对excel的读取和写入获取工作表的sheet列表# 返回文件的所有sheet名wb.sheetnames['Sheet1', 'Sheet2', 'Sh...

原创 Ubuntu 18 安装Kafka与简单使用

安装Javasudo apt-get install openjdk-8-jdk新版的Kafka已经集成了zookeeper，所以不用单独安装zookeeper有需要可以查看安装zookeeperKafka官网下载Kafkatar -zxvf kafka_2.11-1.0.0.tgz进入kafka解压目录，修改kafka-server 的配置文件vim config/ser...

原创 Python连接Kafka

生产者import jsonfrom kafka import KafkaProducer, KafkaConsumerproducer = KafkaProducer(bootstrap_servers=['192.168.40.129:9092'])msg_dict = { "msg": "Hello World"}msg = json.dumps(msg_dict).e...

原创 Kafka 入门知识

一、入门知识（1）基本术语TopicKafka将消息种子(Feed)分门别类，每一类的消息称之为一个主题(Topic).Producer发布消息的对象称之为主题生产者(Kafka topic producer)Consumer订阅消息并处理发布的消息的种子的对象称之为主题消费者(consumers)Broker已发布的消息保存在一组服务器中，称之为Kafka集群。...

原创 Python异步编程之asyncio

1.同步与异步同步：指完成事务的逻辑，先执行第一个事务，如果阻塞了，会一直等待，直到这个事务完成，再执行第二个事务，顺序执行异步：和同步相对的，异步是指在处理调用这个事务的之后，不会等待这个事务的处理结果，直接处理第二个事务去了，通过状态、通知、回调来通知调用者处理结果2.相关知识event_loop:事件循环，程序开启一个无限的循环，程序员会把一些函数注册到事件循环上。当满足事件发...

转载 Python 协程 转载

Python协程深入理解 从语法上来看，协程和生成器类似，都是定义体中包含yield关键字的函数。yield在协程中的用法：在协程中yield通常出现在表达式的右边，例如：datum = yield,可以产出值，也可以不产出--如果yield关键字后面没有表达式，那么生成器产出None.协程可能从调用方接受数据，调用方是通过send(datu...

转载 Django Q语句 转载

Django中Q查询及Q()对象  问题一般我们在Django程序中查询数据库操作都是在QuerySet里进行进行，例如下面代码:>>> q1 = Entry.objects.filter(headline__startswith="What")>>> q2 = q1.exclude(pub_d...