- 博客(24)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 MySQL左连接求占比
SELECT a.date,a.tag,ROUND(a.err_hit/b.total *100,2) as percentFROM (SELECT date as date ,tag,sum(hit) as err_hitFROM ludeo.annual_reportWHERE date >= DATE_SUB(CURDATE(), INTERVAL 30 DAY) A...
2018-11-29 17:01:47
380
原创 Python的sqldf( ) 像SQL一样操作DataFrame
当你对Python的DataFrame操作不熟悉，或者对pandas应用不熟悉时，想一想，要是能像sql操作表一样多好！python中的sqldf()跟R语言中的sqldf一样就是为了方便操作表格，用sql的语法来操作表格 。from pandasql import sqldf问题：现在有两个表，想将A表与B表左外连接 。如下即可：merge_data_sql = sqldf(""" ...
2018-11-19 16:16:47
5345
3
原创 MySQL左外连接
A左连接B ===> S1SQL如下：SELECT * FROM TableALEFT OUTER JOIN TableBON TableA.name = TableB.nameWHERE TableB.id IS null
2018-11-19 16:09:59
1666
原创 Python将DataFrame的每一行组成元组
# merge_result is DataFramemerge_result_tuples = [tuple(xi) for xi in merge_result.values] # output: (datetime.date(2018, 11, 19), Timestamp('2018-11-19 07:37:31'), 1231, 89244241)
2018-11-19 16:06:04
10076
6
原创 Xshell中鼠标选中内容自动换行或退出的彻底解决办法（不用退出其他软件）
之前一直用Xshell，后来装了很多软件，也修改了Xshell的一些设置，不知道到底是啥导致了Xshell中鼠标选中内容自动换行或退出的问题，一直没去解决，直到同事反馈了问题，搜索发现，是因为装载的其他软件主要是翻译类的软件，将其禁用或者彻底卸载即可 。然而，在这里，我并不想禁用我可爱的即时翻译软件QTranslate
2018-11-15 17:12:52
3541
原创 Python批量读取csv文件并合并文件
import pandas as pdimport os# 获取当前路径cwd = os.getcwd()# 要拼接的文件夹及其完整路径，注意不要包含中文## 待读取批量csv的文件夹名称 Folder_Path = 'data_Q1_2018' ## 待保存的合并后的csv的文件夹名称 SaveFile_Path = 'data_Q1_2018_mer...
2018-11-15 10:09:57
26268
2
原创 Python的read_csv()读取大文件问题解决
通过普通的read_csv（）方式读取几个G的csv文件，耗时长，读不出，卡到电脑崩溃掉，结果。。。死机，强制重启 。千万别写成：import pandas as pdmerge_dt = pd.read_csv( cwd + '\\' + SaveFile_Path + '\\' + SaveFile_Name, encoding="utf_8", engine='python' ) ...
2018-11-15 10:04:49
20087
原创 Python的read_csv()出现OSError: Initializing from file failed
import pandas as pdimport os# 获取当前路径cwd = os.getcwd()# 路径中要拼接的文件夹，注意不要包含中文Folder_Path = 'data_Q1_2018' File_Path = 'data_Q1_2018_merge' File_Name = 'filter_data.csv' filter...
2018-11-15 09:50:54
698
原创 ClickHouse正则匹配内网IP
去掉内网的SQL查询SELECT date,ts, domain ,count(1) as total FROM db.tb WHERE date=today() AND (replaceRegexpAll(_pingip, '^(127\\.0\\.0\\.1)|(localhost)|(10\\.\\d{1,3}\\.\\d{1,3}\\.\\d{1,3})|(172\\.((1[6-...
2018-11-13 09:26:14
10890
原创 Python2之unicode转字符串
str.encode('unicode-escape').decode('string_escape')
2018-11-13 09:21:15
4056
原创 python正则匹配内网IP
rex_ip = re.compile('^(127\\.0\\.0\\.1)|(localhost)|(10\\.\\d{1,3}\\.\\d{1,3}\\.\\d{1,3})|(172\\.((1[6-9])|(2\\d)|(3[01]))\\.\\d{1,3}\\.\\d{1,3})|(192\\.168\\.\\d{1,3}\\.\\d{1,3})$')
2018-11-13 09:19:28
1687
原创 Python读或写MySQL数据
数据一行一行写入，利用forimport MySQLdb# connect dbconn=MySQLdb.connect( host,user,passwd,db,port,charset='utf8' )cursor = conn.cursor()# insert sqlcursor.execute("insert into tableName(tableColumn1,...,...
2018-11-08 16:59:40
213
原创 Python将DataFrame增加一列
from pandas import DataFramemerge_dt_dict = {'date':date_list, 'update':update_list, 'serverip':serverip_list}data_df = DataFrame(merge_dt_dict)# add one column add...
2018-11-07 20:01:32
61770
1
原创 Python构建DataFrame
from pandas import DataFrame# 利用字典merge_dt_dict = {'date':date_list, 'update':update_list, 'serverip':serverip_list}data_df = DataFrame(merge_dt_dict)
2018-11-07 19:58:52
3203
原创 Python将unicode转化为str
u'111.232.123123'.encode('unicode-escape').decode('string_escape')# output: '111.232.123123'
2018-11-07 19:56:53
1659
原创 Python日期时间格式化
from datetime import datetimeupdate_stan = '18-11-07 10:10:10'type(update_stan )# output: <type 'str'># 字符串转为日期时间格式update_str = datetime.strptime(update_stan, '%y-%m-%d %H:%M:%S')update_...
2018-11-07 19:52:42
8467
原创 ClickHouse一个表字段与另一个表字段匹配与否增加一个字段标识
A表字段与B表字段匹配与否增加tag===>A表增加一列，与B匹配的（S2）增加列值为1，否则（S1）0 。SELECT date, ts, pin, ip_country, ip_province, ip_city, yes_noFROM(SELECT date, ts, pin, ...
2018-11-07 13:16:24
8113
原创 ClickHouse全连接
A全连接B===>S1+S2+S3区域SELECT date, ts, country, province, city, 0 AS yes_noFROM DBa.tba WHERE (date = today()-1) UNION ALLSELECT date, ts, country, ...
2018-11-07 13:07:17
2916
原创 ClickHouse内连接
A内连接B===>S2区域SELECT date, ts, country, province, city, ye_noFROM(SELECT date, ts, country, province, city, 0 AS yes_noFROM DBa.tba WH...
2018-11-07 13:04:50
3562
2
原创 ClickHouse左连接
A左连接B===&gt;S1区域SELECT date, ts, country, province, city, ye_noFROM(SELECT date, ts, country, province, city, 0 AS yes_noFROM DBa.tba WH...
2018-11-07 13:02:15
5921
5
转载 HTML5 Canvas带边框的粒子动画进度条DEMO演示
html部分<!doctype html><html><head><meta charset="utf-8"><title>HTML5 Canvas带边框的粒子动画进度条DEMO演示</title><script type="text/javascript" src=&qu
2018-11-07 09:53:07
813
原创 ClickHouse全连接
SELECT date,address AS domainFROM db.tableWHERE date = today()GROUP BY date,domainUNION ALLSELECT date,address AS domainFROM db.tableWHERE date = today() - 1GROUP BY date,domain ;
2018-11-06 16:30:43
2698
原创 Grafana中踩过的坑
1、时间戳遇到将过去某一时间范围内的放到今天显示的需求，琢磨的一阵，是可以的。timeSeries以及timeSeries以及timeSeries以及timeFilter的变化技巧SELECT $timeSeries+86400*7*1000 as t, domain, sum(hit) as hit_2FROM $tableWHERE date = today(...
2018-11-02 09:46:53
32555
8
空空如也
用excel,上面那个表格如何转化为下面的那张表格？？？
2019-02-27
TA创建的收藏夹 TA关注的收藏夹
TA关注的人