Python
birdflyinhigh
这个作者很懒,什么都没留下…
展开
-
上传csv或excel到hive建表脚本
上传csv文件到hive, 自动建表小脚本。支持解析字段类型以parquet格式上传# coding=utf8"""requirements: tableschema sqlalchemy pandas pyarrow pyhive"""from __future__ import absolute_importfrom __future__ import divisionfrom __future__ import print_functionfrom __future_原创 2021-05-28 17:31:48 · 272 阅读 · 1 评论 -
macbook如何安装mysql-python踩坑记录
macbook如何安装mysql-python踩坑记录安装mysql-python解决办法安装mysql-python以下是报错信息: cc -fno-strict-aliasing -fno-common -dynamic -g -Os -pipe -fno-common -fno-strict-aliasing -fwrapv -DENABLE_DTRACE -DMACOSX -DNDEBUG -Wall -Wstrict-prototypes -Wshorten-64-to-32 -iwith原创 2021-02-19 11:07:32 · 153 阅读 · 0 评论 -
如何在superset自定义权限并生效?
最近接到客户需求,需要根据不同的角色,赋予不同的看板使用权限,比如,Admin用户需要在任何时候都能探索,编辑,和下载图表。目测了一下,superset原生的好像并没有这个权限的定义。只好自己研究一下添加以上的权限:1. Superset的权限系统superset控制权限主要依靠用户(user),角色(role),权限(permissions),视图(view_menu) 四个类来实现。...原创 2019-05-30 16:44:18 · 2072 阅读 · 0 评论 -
python如何解析复杂sql,实现数据库和表的提取
需求:公司的数据分析师,提交一个sql, 一般都三四百行。由于数据安全的需要,不能开放所有的数据库和数据表给数据分析师查询,所以需要解析sql中的数据库和表,与权限管理系统中记录的数据库和表权限信息比对,实现非法查询的拦截。解决办法:在解决这个问题前,现在github找了一下轮子,发现python下面除了sql parse没什么好的解析数据库和表的轮轮。到是在java里面找到presto-p...原创 2019-02-22 17:43:09 · 11967 阅读 · 20 评论 -
AttributeError: 'module' object has no attribute 'X509_up_ref' 报错解决方法
@学习python和数据分析推荐地方: www.lynda.com获取lynda官网会员的方式:get_lynda_com()pip install requestsLooking in indexes: https://pypi.tuna.tsinghua.edu.cn/simpleCollecting requestsFrom cffi callback <function _...原创 2019-01-08 14:37:58 · 2525 阅读 · 0 评论 -
python如何优雅的将pandas的df类目由驼峰式改为下滑线式
本文用到的数据,可以加QQ跟群主获取:群名称:PYTHONERS-数据群 号:663468799学习python和数据分析推荐地方: www.lynda.com获取lynda官网会员的方式:get_lynda_com()如何优雅的将驼峰式改为下划线式命名。总所周知,当时用pandas 的df.read_csv()方法后,读取的dataframe列名很多时候有可能是使用驼峰式命名的...原创 2018-11-23 15:19:05 · 780 阅读 · 0 评论 -
python实现列表去重的方法
本文用到的数据,可以加QQ跟群主获取:群名称:PYTHONERS-数据群 号:663468799学习python和数据分析推荐地方: www.lynda.com获取lynda官网会员的方式:get_lynda.com()方法1: 使用set函数goods = ["衬衫", "羊毛衫", "雪纺衫", "裤子", "高跟鞋", "袜子","雪纺衫", &原创 2018-11-21 14:50:25 · 2268 阅读 · 0 评论 -
python高级用法-如何在Flask模型类型中写装饰器
请自行围观!www.lynda.com作为全球一流的在线培训网站,一直以高质量的视频课程著称。其课程内容也是紧跟行业潮流,本人最近学了里面的系列课程Become A PythonProgrammer, 分享一下。课程链接:https://www.lynda.com/learning-paths/Developer/become-a-python-developer获取lynda.com永久会...原创 2018-10-19 18:13:18 · 826 阅读 · 0 评论 -
TypeError: markdown() takes exactly 1 argument (2 given) 报错 解决办法
TypeError: markdown() takes exactly 1 argument (2 given)原因: markdown的包可能安装的3.0.1, 需要降到2.6.11pip install markdown==2.6.11原创 2018-10-18 15:02:02 · 4473 阅读 · 0 评论 -
Pandas数据探索进阶
学习python和数据分析推荐地方: www.lynda.com获取lynda官网会员的方式:http://item.taobao.com/item.htm?id=557746408785Pandas数据探索进阶1. 前言当我们使用numpy的时候,我们使用数字作为索引取数;我们使用pandas的时候,我们使用label(标签)取数。 大多数时候,pandas使用标签取数非常的方便和快捷...原创 2018-10-12 17:46:30 · 718 阅读 · 0 评论