csv
yangxiaodong88
让编程更简单,用好轮子,创造轮子。
展开
-
numpy 多位数组的运用
背景写一个脚本读取。csv 文件存入数据库,本来是想使用DictReader 来直接生成字典,sqlalcharm 直接插入数据库,但是由于文件是产品使用,填写,都是英文 列头 看不太明白,行列也不是可以直接使用的设计。如果按照容易插入数据但是 这样使用文档的时候不方便。所以我就转换了一些。御用到了 numpy 多维数组,按照列每列都是一个 数据对象。使用到二维数组,通过坐标来读取下原创 2018-01-16 19:42:33 · 281 阅读 · 0 评论 -
python 批量处理文件
背景批量处理文件, 将每个文件相同结构的内容 整理到 一个文件中, 每个文件都在新文件的 一行. 读取是按行读取代码展示import osdef eachFile(filepath): """ 读取文件夹下面的所有文件 的路径""" pathDir = os.listdir(filepath) file_path_list = list()原创 2018-02-01 20:55:52 · 4426 阅读 · 0 评论 -
csv 学习
背景在处理基础数据的时候使用excle 还是不错的,然后往数据库中导入后就可以使用了,比较方便。 csv 所产生的二维数组 再加上numpy的使用就可以做很多的事情,处理事情的速度就会加快,处理文档类的选择也会很多,可以提高开发的速度等。所以学习解析 scv numpy数据分析的知识很有必要。官方文档https://docs.python.org/3/library/csv.ht原创 2018-01-27 17:24:43 · 386 阅读 · 0 评论 -
pandas yield csv 混合使用
背景运维需要压力测试,需要给他生成符合规则的数据。生成几万甚至百万的数据。这么大的数据就要考虑到速度和内存需求啦。pandas 写数据到csv 中data数据中是数组字典的data = { 'username': [i for i in cellphone_func()], 'cellphone_key': [i for i in cellphone_key_f...原创 2018-03-28 18:02:14 · 789 阅读 · 0 评论