![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python笔记
Xiaohuansong
这个作者很懒,什么都没留下…
展开
-
python-mysql-连接池
利用内部队列编写的简易的支持上下文的连接池,目前只支持多线程内的链接代码如下实现了 最大最小连接池的限制,链接回收,dml封装,动态维护链接等操作import MySQLdbimport loggingimport Queuefrom threading import Threadfrom contextlib import contextmanagerimport timecla...原创 2018-05-07 17:59:13 · 221 阅读 · 0 评论 -
pySpark 关于DS.foreachRDD与rdd.foreachPartition 绑定自有参数问题
刚开始研究spark,打算使用python作为spark的快速开发语言将函数基础类都归并到同一文件内由于python 序列化pickle无法序列化嵌套字(链接类)对象(事实上是有坑,很深的坑),所以需要再partition内的函数建立对应链接进行数据库累加操作需要将外部输入的数据参数动态配置到函数内使用到了python的偏函数概念functions.partial将函数封装后丢入到DS.forea...原创 2018-06-06 15:07:59 · 6020 阅读 · 3 评论 -
kafka-python 操作备忘
手动设置偏移量数据from kafka import KafkaConsumerfrom kafka import TopicPartitiontp = TopicPartition(topic='test-pos-kafka-python', partition=0)consumer = KafkaConsumer(bootstrap_servers="kafka1.local....原创 2018-08-27 11:57:18 · 395 阅读 · 0 评论