数据处理
文章平均质量分 87
champion-yang
这个作者很懒,什么都没留下…
展开
-
消息队列 Kafka :入门
消息队列是什么message queue,简称 MQ。拥有 FIFO 特性,主要用于不同进程或线程之间的通信,用来处理一系列的输入请求。采用异步通信机制,也就是消息的发送者和接收者无需同时与消息队列进行数据交互,消息会一直保存在队列中,直到被接收者读取。每一条消息记录都包含了详细的数据说明,包括数据产生的时间,数据类型,特定的输入参数等。作用应用解耦:多个应用可以通过消息队列对相同的消息进行处理,应用之间相互独立,互不影响。异步处理:相比于串行和并行,异步更能减少时间。数据限流:控制高峰期的原创 2021-06-01 16:23:35 · 336 阅读 · 0 评论 -
数据分析 -- python 处理 csv 文件 和 json 文件
任重而道远本实例依旧参考 《python 数据分析》import csvcsvfile = open('data-text.csv', 'r')# 这样读出来的文件是数组格式# reader = csv.reader(csvfile)# 转化为 python 的字典格式reader = csv.DictReader(csvfile)for row in reader:...原创 2020-01-28 12:17:01 · 246 阅读 · 0 评论 -
数据处理-csv文件转化为json
import csv,jsonimport pandas as pd"""奴隶社会,非洲,奴隶社会,亚洲,奴隶社会,亚洲,古印度奴隶社会,欧洲,"""def csv2json(file_path): with open(file_path,"r",encoding='UTF-8') as f: reader = csv.reader(f,dialect...原创 2019-07-17 23:20:26 · 524 阅读 · 0 评论