Python
Simple-395
简单就好
展开
-
Python数据分析之pandas常用表连接(merge/concat/join/append)
两个表的数据连接在一起,通常我们也是使用excel的vlookup搞定;但是,当你的表特别大,大到excel根本打不开,这种情况我们应该怎样连接表呢?使用python的pandas库可以很容易帮你搞定,而且性能也是很出色的;百万级的表关联,可以秒出;常用的主要有以下四处方法;原创 2023-02-08 13:48:00 · 1510 阅读 · 0 评论 -
Pandas初步之合并(merge)、分组(group)
pandas是一个非常强大的库,但是前提必须要掌握常用的方法。以下列举了一些数据处理的方式,笔者会持续更新原创 2023-01-03 17:41:00 · 575 阅读 · 0 评论 -
五分钟使用Python实现一个前后端分离的WebAPP(基于Flask)
五分钟使用Python实现一个前后端分离的WebAPP(基于Flask)直接运行即可,无需任何额外的服务器。原创 2022-02-17 16:20:51 · 1172 阅读 · 0 评论 -
Python调用http接口(基于requests,附22个请求示例)
GET方式提交表单(Form Data)GET方式提交JSON数据POST方式提交表单(Form Data)POST方式提交JSON数据原创 2022-02-16 16:13:33 · 2035 阅读 · 0 评论 -
使用Python 3.x Socket UDP广播消息(测试大数据流式处理)
以下代码基于Python 3.8.x;在Window 10环境下测试无误。使用UdpServer发送广播数据;使用Flink接收消息(流式数据)。实际场景为`link`者Spark Streaming接收数据,最优方案为MQ,但测试环境部署较为麻烦,所以用Socket替代。原创 2021-03-08 10:36:53 · 586 阅读 · 0 评论 -
Python3 CSV中文乱码问题解决
Python3 CSV中文乱码问题解决原创 2020-11-26 18:30:52 · 499 阅读 · 0 评论 -
使用Python 3抓取需要登录的接口的数据
以下演示使用Python 3抓取需要登录的接口的数据。原理:使用session对象,首次登录后会将会话信息进行保存,下次调用时可使用原有会话中的cookie等核心信息继续调用新接口。原创 2020-10-29 12:53:27 · 816 阅读 · 0 评论 -
PIP常用命令
指定国内源安装pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyqt5 pyqt5-tools原创 2020-09-26 09:53:45 · 215 阅读 · 0 评论 -
Hive进阶之UDF开发(Python版)
以下演示如何使用Python编写Hive UDF,编写UDFimport sysfor line in sys.stdin: data = [('@%s@' % str(e)) for e in line.strip().split('\t')] print '\t'.join(data)注意:输入是\t分隔的字符串,输出也是\t分隔的字符串。引用ADD FILE ./test_a_udf.py;SELECT TRANSFORM(col1, col1, col1) USI原创 2020-08-20 12:33:53 · 2843 阅读 · 0 评论 -
Python日期转换常用方法(datetime、time)
x = datetime(2012, 11, 19, 23, 30, 59)print(x)x = datetime.strptime('2012-11-19', '%Y-%m-%d')print(x)# datetime -> tstime_time = time.mktime(datetime.today().timetuple())print(time_time)# ts -> stringtime.strftime('%Y-%m-%d', time.localtim原创 2020-06-04 10:36:55 · 976 阅读 · 0 评论 -
彻底解决django 2.2与mysql兼容性问题(不用改源码)
背景2.2是django最新一个稳定的LTS版本,但是大部分人在升级过程中都遇到了兼容性问题,也就是下面这个异常:ImproperlyConfigured: mysqlclient 1.3.13 or newer is required这个问题纠结我了好长时间,网上的解决办法都是复制粘贴;改源码,心中一万中草泥马;修复1、添加新版组件pip install mysqlclient...原创 2020-01-14 20:12:27 · 13638 阅读 · 52 评论 -
解决json.dumps unicode码转义问题
Python内置的json工具默认会将unicode码转义;但很多时候,这并不是我们所期望的;原创 2020-01-07 15:50:24 · 3627 阅读 · 0 评论 -
Flask入门示例及常用方法
Python有两大Web应用开发框架,其中之一的后起之秀Flask虽然起步较晚,但很快赢得了广大开发者的热爱。最大的特点就是轻量、上手快,以下我们来演示如何创建一个简单的Flask应用。原创 2019-11-02 15:37:24 · 382 阅读 · 0 评论 -
CentOS 7.x安装Python 3.x
epel-releaseyum install epel-releaserpm -Uvh https://mirror.webtatic.com/yum/el7/webtatic-release.rpmpythonyum install python36pipwget https://bootstrap.pypa.io/get-pip.pypython36 get-pip.py原创 2018-12-26 12:42:01 · 181 阅读 · 0 评论 -
Redis存储结构之发布/订阅
Redis存储结构之订阅。PSUBSCRIBEPUBLISHPUBSUBPUNSUBSCRIBESUBSCRIBEUNSUBSCRIBE该模式与消息队列的区别在与可以多客户端同时订阅。import _threadimport loggingimport randomimport timeimport redisclient = redis.Redi...原创 2018-11-23 14:03:38 · 284 阅读 · 0 评论 -
CentOS 7.x配置django环境(基于Python 3.6)
pythonyum install python36 python36-develvirtualenvpip3 install virtualenvvirtualenv --no-site-packages venvactivatesource venv/bin/activatepython -Vinstall dependencepip install -r requir...原创 2019-07-04 09:04:22 · 366 阅读 · 0 评论 -
Python入门实例之二:cURL命令解析
在Web系统开发过程中,经常会用到cURL命令。我们可以使用以下代码将其转换为Python代码。真的是非常实用。import redef decode(_cmd): args = _cmd.split('\'') params = {} for arg in args: if not re.match('\S+:\s\S+', arg): ...原创 2018-12-02 09:38:54 · 2039 阅读 · 0 评论 -
Python入门实例之三:tomcat运维脚本(含启动、关闭、重启、查看日志功能)
使用手册:y:终止进程并重新启动;k:仅终止进程,s:仅启动;:查看日志;输入进程号:终止进程并重启注意事件:server_name为基于/usr/local的目录名,设置后即可使用。# encoding:utf8import commandsimport osserver_name = 'tomcat/8080'os.system('clear; ps -ef |grep -...原创 2018-12-02 09:45:23 · 1615 阅读 · 1 评论 -
Python极简教程之一:初步
Python,是一种面向对象、解释型计算机程序设计语言,由 Guido van Rossum 于 1989 年发明,第一个公开发行版发行于 1991 年。Python 是纯粹的自由软件, 源代码和解释器 CPython 遵循 GPL(GNU General Public License)协议。Python 语法简洁清晰,特色之一是强制用空白符(white space)作为语句缩进。Pytho...原创 2018-11-27 07:16:32 · 299 阅读 · 0 评论 -
Python极简教程之二:数据类型
基础类型数字(Numbers)Python 支持五种基本数字类型,分别为int(有符号整数)、long(长整数) 、bool(布尔值)、float(浮点数)、complex(复数)。字符串(String)Python 与 Perl 一样也支持单引号和双引号字符串,但与 Perl 不同,转义字符在单引号中也会起作用。同时 python 还支持三引号字符串,它允许一个字符串跨多行,字符串中可以...原创 2018-11-27 07:18:15 · 237 阅读 · 0 评论 -
Python极简教程之三:集合之列表(list)
语法arr = [ ]arr = ['a', 'b', 'c']二维数组a = [1, 2, [1, 2, 3]]多维数组arr = [i for i in range(10), 1, []] 注意, i for in xx 这个必须放在第一个位置,否则要先定义 ii = 0j = 0arr = [i for i in range(5), j for j in range...原创 2018-11-27 07:25:00 · 285 阅读 · 0 评论 -
Python极简教程之四:集合之元组(tuple)
定义tuple 固定的数组,一旦定义后,其元素个数是不能再改变的。用小括号来定义:t = ("a", "b", "c", "d", &qu原创 2018-11-27 07:31:01 · 302 阅读 · 0 评论 -
Python极简教程之五:集合之字典(dictionary)
Python的Dictionary类型接近Javascript的JSON格式,其用法也有所相似。定义一个字典dic = {'key': 'value'}遍历数组import typesfor k in dict_arr: v = dict_arr.get(k) if type(v) is types.ListType: # 如果数据是list类型,继续遍历 ...原创 2018-11-27 07:35:17 · 493 阅读 · 0 评论 -
Python极简教程之六:集合之排序(sorted)
python集合的排序主要使用cmp关键字来定义比对函数,以下针对几个较为典型的类型列举出对应的方法:正序排列普通一维数组(数值、字符串数组)num = sorted(num)对象数组(需要指定字段排序)cursor = sorted(cursor, cmp=lambda x, y: cmp(x['count'], y['count']))倒序排列cursor = sorted(...原创 2018-11-27 07:41:58 · 18779 阅读 · 0 评论 -
Python极简教程之七:数据格式化(format)
自 python 2.6 开始,新增了一种格式化字符串的函数str.format(),可谓威力十足。那么,他跟之前的%型格式化字符串相比,有什么优越的存在呢?让我们来揭开它羞答答的面纱。#语法它通过{}和:来代替%。位置'{0},{1}'.format('kzc',18) # kzc,18'{},{}'.format('kzc',18) # kzc,18'{1},{0},{1}'.fo...原创 2018-11-27 07:46:03 · 769 阅读 · 0 评论 -
Python极简教程之八:网络爬虫入门
读取网页下载后使用gbk解码。import urllib2url = 'http://www.domain.com/domestic'# downloadresp = urllib2.urlopen(url).read()# decoderesp = resp.decode('gbk')# printprint(resp)传入参数传参调用,针对?后面的查询字符串。imp...原创 2018-11-27 07:54:33 · 391 阅读 · 0 评论 -
Pyhon 3简易教程之CSV文件解析
背景之前处理数据一直使用的json方式,这样加载后几乎不用怎么处理就可以直接使用。后来无意中发现Python还内置了csv文件处理模块,从编写难度上来讲,当然是csv文件更容易获得。那索性以后就全部用csv来处理数据吧!这里我们先使用csv模块创建一个文件,然后再去打开它。写入文件下面来演示如何使用csv模块写入文件:import csvdef save(): data = ...原创 2018-12-31 07:18:00 · 341 阅读 · 0 评论 -
Pyhon 3简易教程之复杂对象集合处理实例(map、reduce、filter)
业内各大主流编程语言皆已支持`map`、`reduce`,怎能少得了Python?请看以下示例:原创 2019-04-15 21:21:27 · 262 阅读 · 0 评论 -
彻底解决“mysql_config not found”问题(适用Mac,Linux)
如题。准备要确认mysql已经安装,可以使用brew install mariadb或者sudo apt install mariadb或者sudo yum install mariadb配置locate mysql_config查找文件位置ln -s /usr/local/mysq/bin/mysql_config /usr/local/bin/mysql_conf...原创 2019-05-19 00:09:10 · 23189 阅读 · 4 评论 -
Django 入门示例(一)
1、创建项目django-admin startproject dj-demo2、初始化python manage.py migrate3、部署运行python manage.py runserver 0.0.0.0:80004、部署运行(指定端口,开放远程访问)python manage.py runserver 0.0.0.0:8000...原创 2018-11-24 11:22:19 · 234 阅读 · 0 评论