- 博客(9)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 Python进行数据的Join关联操作及从分表取数据一例
这样的功能主要用在两表分别在不同的数据库上，在数据库层面不同步数据关联不了的情况。且目前，被关联的表公仅支持是key/value两列数据的情况。1、数据准备-- 主表select * from x_student_scoresinsert into x_student_scoresselect 1,'语文',1,98 union all select 2,'数学',1,99 uni
2016-11-30 18:41:56
4560
原创 Python2.7的UnicodeEncodeError: ‘ascii’ codec can’t encode问题解决
执行一段Python代码时报错：UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-5: ordinal not in range(128)/Users/nisj/PycharmProjects/EsDataProc/excel_index_find.py# -*- coding=utf-8 -
2016-11-29 09:54:48
4332
原创 Python进行数据的Group by、取最大值、子查询及从分表取数据一例
1、从分表之一预计算select A.room_id,SUBSTRING(A.created_time,1,10) days,max(A.online_count)from room_online_stat_15 Awhere SUBSTRING(A.created_time,1,10) between '2016-11-15' and '2016-11-21' and category
2016-11-29 07:28:42
8143
原创 Python中list的交、并、差集获取方法
1. 获取两个list 的交集# -*- coding=utf-8 -*-#方法一:a=[2,3,4,5]b=[2,5,8]tmp = [val for val in a if val in b]print tmp#[2, 5]#方法二print list(set(a).intersection(set(b)))2. 获取两个list 的并集print list(s
2016-11-24 16:21:47
22968
1
原创 Python进行数据的Group by、sort、limit及从分表取数据一例
1、在Mysql单表上操作# mysql 单表select * from (select uid,sum(gift_point) gift_point from gift_record_61 where gift_id in(28,29) group by uid)x order by 2 desclimit 102、在Hive汇总表上计算hive上的表，是将Mysql上的
2016-11-24 15:25:15
6811
原创 用Python和Shell结合进行词频统计
1、示例测试文本/Users/nisj/PycharmProjects/EsDataProc/word.txtfoo|-X-|foo|-X-|quux|-X-|iio|-X-|oo|-X-|pp|-X-|pp|-X-|oosee|-X-|you|-X-|you|-X-|again|-X-|welcome|-X-|testtest|-X-|ddd|-X-|gggg|-X-|gggacc
2016-11-23 11:33:08
929
原创 Mysql分表数据通过Python进行汇总统计
接上文：【Mysql分表数据通过Shell进行导出与统计】---> http://blog.csdn.net/babyfish13/article/details/527777801、每个分表数据量及总数据量统计mysql_much_tab_data_static1.py# -*- coding=utf-8 -*-import smtplibimport MySQLdb
2016-11-09 14:31:50
3212
原创 python cx_Oracle模块的安装
对于Oracle客户端，不只需要安装相应的python模块，还需要安装Oracle Client；还需要配置tnsnames.ora(当然也可以简单的通过host:port/instance访问)。1、下载安装cx_Oracle python模块[root@master pystudy]#wget https://pypi.python.org/packages/3b/67/d
2016-11-04 12:02:05
2167
原创 Python操作Oracle、Mysql及文本进行数据处理
1、脚本中中到的表结构信息CREATE TABLE `static_sdk_room_messge_send` ( `xappkey` varchar(100) DEFAULT NULL, `roomid` varchar(100) DEFAULT NULL, `messge_send_cnt` bigint(20) DEFAULT NULL, `pt` varch
2016-11-04 10:55:25
1985
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人