yuanyangsdo-CSDN博客

转载 Hive2.0函数大全

摘要Hive内部提供了很多函数给开发者使用，包括数学函数，类型转换函数，条件函数，字符函数，聚合函数，表生成函数等等，这些函数都统称为内置函数。目录数学函数集合函数类型转换函数日期函数条件函数字符函数聚合函数表生成函数数学函数Return TypeName (Signature)

2017-06-30 15:38:02 1229

转载 hive常见操作语句--创建表语句

一：hive建表语句Sql代码 create table page_view ( page_id bigint comment '页面ID', page_name string comment '页面名称', page_url string comment '页面URL' ) comment '页面视图' partit

2017-04-06 09:21:23 6276

转载 Python 标准输出 sys.stdout 重定向

一些背景sys.stdout 与 print当我们在 Python 中打印对象调用 print obj 时候，事实上是调用了 sys.stdout.write(obj+'\n')print 将你需要的内容打印到了控制台，然后追加了一个换行符print 会调用 sys.stdout 的 write 方法以下两行在事实上等价：sys.stdout.wri

2017-03-31 22:44:08 1495

转载 PEP8 Python 编码规范整理

决定开始Python之路了，利用业余时间，争取更深入学习Python。编程语言不是艺术，而是工作或者说是工具，所以整理并遵循一套编码规范是十分必要的。所以今天下午我根据PEP 8整理了一份，以后都照此编码了，还会持续更新。PEP8 Python 编码规范一代码编排1 缩进。4个空格的缩进（编辑器都可以完成此功能），不使用Tap，更不能混合使用Tap和空格。2 每行最大长度

2017-03-30 22:37:35 377

转载 Hive MapJoin 优化

摘要MapJoin是Hive的一种优化操作，其适用于小表JOIN大表的场景，由于表的JOIN操作是在Map端且在内存进行的，所以其并不需要启动Reduce任务也就不需要经过shuffle阶段，从而能在一定程度上节省资源提高JOIN效率使用方法一：在Hive0.11前，必须使用MAPJOIN来标记显示地启动该优化操作，由于其需要将小表加载进内存所以要注意小表

2017-03-23 11:00:17 1749

转载 str_to_map hive 字符串转为map格式

mapstr_to_map(text[, delimiter1, delimiter2])Splits text into key-value pairs using two delimiters. Delimiter1 separates text into K-V pairs, and Delimiter2 splits each K-V pair. Default d

2017-03-21 14:16:07 55415 1

原创 hive-sql to_unix_timestamp的用法

我遇到的问题是：有这么一个日期字符串：16/Mar/2017:12:25:01 +0800 我想把这个字符串转化成正常的日期格式（yyyy-MM-dd hh:mm:ss）。通过to_unix_timestamp可以直接实现，语句如下：select from_unixtime(to_unix_timestamp('16/Mar/2017:12:25:01 +0800', 'dd/MMM/yyy:

2017-03-16 17:41:48 9803

转载 hive函数 -- stddev , stddev_pop , stddev_samp , var_pop , var_samp

标准差是方差的平方根1.方差公式：m为x1,x2…xn数列的期望值（平均数）s^2 = [(x1-m)^2 + (x2-m)^2 + … (xn-m)^2]/ns即为标准差s^2为方差。2.实例：hive> select * from dim_row_num limit 10; OK 0 1 2 3 4 5 6 7 8 9hive> select stddev(row_num)

2017-03-15 12:11:57 2264

转载 hive函数参考手册

1.内置运算符1.1关系运算符运算符类型说明A = B所有原始类型如果A与B相等,返回TRUE,否则返回FALSEA == B无失败，因为无效的语法。 SQL使用”=”，不使用”==”。A 所有原始类型如果A不等于B返回TRUE,否则返回FALSE。如果A或B值为

2017-03-15 11:28:46 326

转载 python dir()和vars()的区别

dir():默认打印当前模块的所有属性，如果传一个对象参数则打印当前对象的属性 vars():默认打印当前模块的所有属性，如果传一个对象参数则打印当前对象的属性 vars():函数以字典形式返回参数中每个成员的当前值，如果vars函数没有带参数,那么它会返回包含当前局部命名空间中所有成员的当前值的一个字典。 help(vars) Help on buil

2017-03-14 22:31:15 1053 1

原创 hive sql 中lateral view explode/json_tuple的使用

我有一个表tab1，表有两个字段sub_id, sub_sku_info，表中有一条数据如下：（注：第二个字段比较长，但这确实是一个字符串，请不要被换行欺骗）：sub_id : 101sub_sku_info : [{"skuId":"1017570","num":"2","price":5.8,"jd_price":23.9,"sale_price":5.8},{"skuId":"1329

2017-03-10 10:20:08 10444

原创 python PIL/Pillow图像扩展、复制、粘贴处理

遇到这么一个问题：给自己的CSDN博客修改头像，头像必须是正方形图片，但我找了个长方形图片，那么问题来了，怎么把长方形图片修改成正方形图片。注： 1、不想拉伸图片，这样会使图片失真。 2、不想用PS(当然我知道用PS处理应该会很简单，但是我就不用，因为我不会。。。)）言归正传，通过网上查资料，终于找到了方法。直接解释代码：#-*- coding: utf-8 -*-from PIL impo

2017-03-09 12:19:32 13762

转载 Python 拷贝对象（深拷贝deepcopy与浅拷贝copy）

Python 拷贝对象（深拷贝deepcopy与浅拷贝copy）转自：http://www.jb51.net/article/15714.htmPython中的对象之间赋值时是按引用传递的，如果需要拷贝对象，需要使用标准库中的copy模块。 1. copy.copy 浅拷贝只拷贝父对象，不会拷贝对象的内部的子对象。 2. copy.deepcopy 深拷贝拷贝对象及其子对象一个很好

2017-03-08 22:17:13 325

原创 python3 Django mysql数据库配置问题

说一些我遇到及处理这个问题的整个流程吧。（1）首先的开发环境是：python3.5，Django1.9，mysql5.7 在用django创建model表对象时，由于我的表中有一个models.DateTimeField()字段，导致在建表用命令python manage.py migrate建表时报错,报错内容： mysql.connector.errors.DataError: 1292 (

2017-03-07 19:20:20 1073

原创 python中MethodType的使用解析

python中MethodType的使用解析MethodType：用MethodType将方法绑定到类，并不是将这个方法直接写到类内部，而是在内存中创建一个link指向外部的方法，在创建实例的时候这个link也会被复制。情况一：把方法绑定到某个类的实例上class Student(object): passdef set_name(self, name): self.name =

2017-03-07 19:12:27 19141 5

yuanyangsdo的博客