- 博客(10)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 数据编码和处理
csv数据处理 import csv 读：csv.reader,csv.DictReader 写：csv.writer,csv.DictWriter 更高级可考虑pandas json数据处理 import json 读：json.loads ...
2018-08-16 11:21:05
591
原创 文件与IO
文件与IO读写文件 文本文件读取 with open('somefile.txt', 'rt') as f 文本文件写入 with open('somefile.txt', 'wt') as f encoding='ascii' 文件编码 errors='replace|ignore' 错误处理方式打印输出至...
2018-08-15 11:47:53
122
原创 迭代器与生成器
迭代器的结尾 StopIteration异常发生，表示迭代器结束 next 获取迭代器下一个值代理迭代 定义__iter__方法可以将迭代操作代理到容器上使用生成器构建迭代模型 添加一个 yield语句可一个普通函数转换为一个生成器反向迭代 通过实现__reversed__方法可以实现类上的反向迭代,调用时采用reversed函数迭代器切片...
2018-08-14 15:36:46
123
原创 数字日期和时间
四舍五入 round 当一个值刚好在两个边界的中间的时候， round 函数返回离它最近的偶数精确浮点计算 from decimal import Decimal浮点数据格式化 format format(1234.56789, '0.2f') #两位小数 format(1234.56789, '>10.1f...
2018-08-14 11:03:57
850
原创 字符串和文本
re.split 任意定界切分字符串str.startswith() | str.endswith() 通过指定的文本模式去检查字符串的开头或者结尾 name.endswith(('.c', '.h')) name.startswith(('http:', 'https:', 'ftp:')from fnmatch import fnmatch, fnma...
2018-08-13 16:06:58
630
原创 1. 数据结构和算法
序列解压： x,y=(1,2) a,*b=[1,2,3,4,5]collections.deque,只保留有限个元素的历史记录 q.append 队尾添加元素 q.appendleft 队首添加元素 q.pop 队尾出队 q.popleft 队首出队队列两端插入或删除元素的时间复杂度都为O(1) 列表在开头插入或删除元素的时间复杂度都为O(N...
2018-08-13 15:06:23
116
原创 SQL 执行信息查看
SELECT * FROM SYS.SYSPROCESSESWHERE SPID>50 SELECT c.query_plan, b.text, a.* FROM SYS.DM_EXEC_requests as across apply (select * from sys.dm_exec_sql_text(a.sql_handle)) as bcross a...
2018-08-10 15:17:09
427
原创 Hive数据导出方式
hive -S -e"select package_name,count(1) from test_tb group by package_name;"> grp_app_id.dat SET hive.exec.compress.output=falseSET mapreduce.output.fileoutputformat.compress=falseINSERT OVE...
2018-08-10 15:13:11
117
原创 Hive参数设置
set mapred.job.priority=VERY_HIGH; --设置任务优先级set hbase.client.scanner.caching=100000; --设置hbase每批次读取大小set mapred.task.timeout=1800000 --设置超时时间set mapred.reduce.tasks=8; --设置reduce数量set hive.ex...
2018-08-10 15:11:03
1604
原创 SQL Server 数据库系统对象应用（1）
<br />1.数据库表信息查询视图<br />--查找所有用户表的信息<br />IF object_id(N'dbo.TableInfo', 'V') IS NOT NULL<br /> DROP VIEW dbo.TableInfo<br />GO<br />CREATE VIEW TableInfo AS<br /><br />SELECT S.name AS [SCHEMA],O.name AS TABLENAME,C.name AS COLUMNNAME,T.name AS DATATYPE,C
2010-12-10 14:59:00
429
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人