2019年08月_知然xu

原创 python 列表，数组，矩阵的相互转换

import numpy as npmylist = [[1, 2, 3], [4, 5, 6]] # 列表print(type(mylist))print(mylist, end='\n\n')myarray = np.array(mylist) # 列表转数组print(type(myarray))print(myarray, end="\n\n")...

2019-08-30 16:19:54 2124 1

原创 python返回某年某月的所有日期

import calendardef getMothDate(year, month): """ 返回某年某月的所有日期 :param year: :param month: :return: """ date_list = [] for i in range(calendar.monthrange(year, month)[1...

2019-08-27 11:21:46 2066

原创 python读取千万行的mysql

import osimport jsonimport pymysqlimport loggingimport logging.handlersfrom database.database import *if __name__ == '__main__': conn = pymysql.connect(host=db_host, user=db_user, passwd=...

2019-08-09 15:53:03 594

原创 Kafka教程（三）—— Python操作kafka

kafka的producer是支持多线程的因为其会把topic里面的消息存储在各个partition里面，可以多线程操作。但是consumer不支持多线程，如果多线程操作的话，会造成offset紊乱无序。下面我们从两部分来介绍python是如何操作kafka的。第一部分是只有一个position的topic，此时我们模拟一个发布-订阅模式，即多个consumer...

2019-08-02 17:43:03 4689

原创 Kafka教程（二）—— Kafka安装与命令

一、ubutun18.04下Kafka安装（1）安装jdk包 Apache Kafka是基于Java的，因此需要系统安装Java。执行以下命令，安装openJDKsudo apt updatesudo apt install default-jdk（2）下载Apache Kafka 从官网下载Apache Kafka二进制文件，进行安装# ...

2019-08-02 17:14:18 287

原创 Kafka教程（一）—— Kafka基本原理介绍

本文会依次介绍kafka的介绍、特性、使用场景、基本概念、生产消费流程。因此前面遇到一些陌生的名词不要慌张，后面会介绍到。一、Kafka基本介绍 Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于...

2019-08-02 16:24:01 406

m0_37565948的博客