![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
文章平均质量分 50
willdeamon
这个作者很懒,什么都没留下…
展开
-
python 创建egg
最近需要使用spark 运算数据,我是个Pythoner,自然用的是pyspark啦!其中遇到一个问题,就是自己写的一些package,在spark中的map,reduce中并不能引用这个包里的函数。查文档说是要把python 的package打包成egg,再提交上去才能正确引入。上网查询了下python 打包,现在都是用setuptools,直接在package下穿件一个原创 2016-11-14 15:37:23 · 2378 阅读 · 0 评论 -
pyspark map,reduce接收参数
查看spark官方档,发现map, reduce的方法都指定只能代如固定一个参数(map)或者两个参数(reduce)现在工作发现,想要多把代入参数到map,和reduce的方法里面.查了下,发现以下方法。先定义一个函数:def func(a, extra_para): k = a + extra_para return k然后map 的时候:rd原创 2016-11-14 16:16:48 · 8927 阅读 · 1 评论 -
wsgi pep333
wsgi介绍参考:pep 333wsgi 有两个interface:server/gateway和application/framework。server会调用一个由app提供的可callable 对象。而app怎么提供这个对象给server,就由server决定了。有些server需要app写一个script 来创建一个对象给server,有些server就直接根据config或者其它机制来调用这原创 2016-12-07 15:27:17 · 350 阅读 · 0 评论 -
python调用c
本文参考于:《Python Cookbook》具体代码参考:https://github.com/zsluedem/c-with-python注意: 本文件夹中的sample.c为原生底层c语言模块,以下都以这个文本作为基础,对此库进行python的封装。sample.c中有4个基本函数:gcd, in_mandel, divide, avg, distance一个数据结构:Point —代表原创 2017-08-26 17:00:31 · 411 阅读 · 0 评论