![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
lee_moonj
For Sharing
展开
-
python UDF 实现对csv批量md5加密
工作上遇到需求,一批手机号要md5加密导出。为了保证数据安全,所以没有采用网上工具来加密。md5的加密算法是开源的且成熟的,很多语言都有对应包可以直接用,我写了一个简单的python来实现,另一位同事做了一个hiveUDF来实现,这里都给大家分享一下。目标:读取csv文件,并且对其中的内容进行md5加密,32位加密,将加密后的密文存入另一个csv文件。python实现:(1)准备好要读取的...原创 2020-04-17 12:29:30 · 799 阅读 · 1 评论 -
python安装mysql的依赖包mysql-python
一般情况下,使用pip命令安装即可:[root@dthost27 ~]# pip install mysql-python但是在实际工作环境中,往往会安装失败,这是因为系统缺少mysql的相关依赖组件。所以必须先安装mysql-devel类的包,而且必须要对应好mysql客户端的版本,即要安装好:[root@dthost27 ~]#rpm -ivh mysql-community-l...原创 2019-05-24 14:03:57 · 8515 阅读 · 0 评论 -
用mysql记录从url返回的http GET请求数据
业务场景需求及实现逻辑分析在业务中,我们经常会碰到需要用HTTP GET请求数据的情况,比如http请求返回的结果如下所示:那么,如果我们想将这些数据用mysql存储下来,那该怎么实现呢?其实,调用python的httplib和MySQLdb包将会非常容易实现,httplib负责获取url的返回,MySQLdb负责对MySQL数据库进行操作。下面整理了关系逻辑图:那么,我们开始代码开发...原创 2019-05-27 11:30:57 · 2508 阅读 · 0 评论 -
安装python依赖包psycopg2来调用postgresql
先安装psycopg2的依赖组件本案例的操作系统为linux red hat在安装python依赖包之前,需要先安装postgresql相关组件:[root@dthost27 ~]# yum install postgresql-devel(安装过程中会顺带安装上postgresql和postgresql-libs组件)可选组件:[root@dthost27 ~]# yum in...原创 2019-05-24 10:01:31 · 5622 阅读 · 0 评论 -
XlsxWriter的简单使用:python向excel写入数据
准备练习数据用fiddler捕获请求Twitter的返回数据,并将其复制粘贴存入txt文件。数据结构大致如下:准备XlsxWriter包安装XlsxWriter包#使用pip下载并安装包(本机已安装过)C:\Users\limj3>pip install XlsxwriterDEPRECATION: Python 2.7 will reach the end of its li...原创 2019-08-12 10:20:54 · 4972 阅读 · 1 评论