wujiandao的专栏

数据恩仇录

重读《决战大数据》有感

满大街都能听到大数据, big data 的言论,去问问这些谈论的人,什么是大数据,能用来做什么,十有八九的回答,都会说这些数据量大,所以才叫大数据。 不仅仅是行业外的业余人员这么看大数据,业内专业IT人员,都这么叫,包括知名的招聘网站,所以看到这类招聘,直接忽略,不专业! 你知道“大数据”怎...

2018-05-27 12:44:49

阅读数:180

评论数:0

SQL 优化推荐书单

数据库的内部结构,就像是操作系统那么复杂。 它涉及到的内容,有硬件三大件,即 CPU, 内存,IO;还有与之交互的软件,SQL 和 内嵌的语言 远古时期的数据库应用,只有少数科学家在上面跑批处理,瓶颈往往都是单个硬件组件,比如 CPU, 内存,IO. 大家都知道的是老式的硬盘,往往转速不够快,...

2018-05-26 15:11:39

阅读数:1509

评论数:2

4 步搞定 Hive 增量更新

Hive 的更新很有趣。 Hive 的表有两种,一种是 managed table, 一种是 external table. managed table 是 Hive 自动帮我们维护的表,自动分割底层存储文件,自动分区,这些自动化的操作,都是 Hive 封装了与 Hadoop 交互的接口。 ...

2018-05-22 23:34:13

阅读数:3146

评论数:0

大数据在 IoT 的应用

在自己的行业待久了之后,就想着看看别的行业是怎么玩大数据的。 行业的不同,落实到数据模型和技术手段就会有不一样。 本着探索的精神,我每隔一段时间就想着搜罗一下不同的应用。 互联网总有一些喜欢分享的朋友,我最喜欢去找灵感和案例的地方,是在infoQ. 当然国内的极客邦,CSDN也不错,甚至有...

2018-05-21 20:53:57

阅读数:254

评论数:0

SQL 压力测试实战

针对数据库的测试,市面上已经有很多工具了,Google 上搜一下 sql testing tool , 他为你选出的工具,琳琅满目,看花双眼。 比如:40+ Best Database Testing Tools - Popular Data Testing Solutions 这篇文章列举了总...

2018-05-13 11:55:27

阅读数:636

评论数:0

Halloween Problem in SQL

有些问题,真的是你不知道自己不知道这回事,比如下面这例: 在40年前的一个晚上,1970年左右,IBM 的一群研究员决定给不满25000美金年薪的雇员,增加10% 的薪水。 他们写了一段 SQL,大意是这样的: update Employee Set Salary = Salary *...

2018-05-12 11:02:28

阅读数:72

评论数:0

Cross Apply 与 Outer Apply 的区别

Cross Apply 与 Outer Apply 的区别,就像是 Inner join 与 Outer Join 的区别。 Inner Join 如果两边的表,无论是 Left Table, 或者是 Right Table, 做了限制,都会被应用到两边去,即一方的结果影响了另一方的结果。而 O...

2018-05-11 22:22:38

阅读数:109

评论数:0

数据应用系统的压力测试方案

好奇于数据库压力测试方案,这两天一直在思考如何对数据库做压力测试。 在数据应用系统上线前,测试数据库能接收多少并发量,能够给自己信心,对上线不影响用户体验有充分的把握。清楚哪一块是薄弱的地方,知道怎么去弥补。 偶尔在 google 里面搜出来一个产品的测试方案基本用法,得以窥见成熟的商业方案。...

2018-05-10 20:36:59

阅读数:122

评论数:0

Python 穷举法, 二分法 与牛顿-拉夫逊方法求解平方根的性能对比

穷举法, 二分法 与牛顿-拉夫逊方法求解平方根的优劣,从左到右依次递优。 经过测试,穷举法基本超过 1 分钟,还没有出数据; 二分法只要区区1秒不到就出结果了。 牛顿-拉夫逊是秒出,没有任何的停顿。 numberTarget =int(input("Please en...

2018-05-07 22:44:12

阅读数:477

评论数:0

Python 3 的打印输出

Python 2 的打印语句 Print 从 Python 3 开始,变成了函数。 遇到想要打印的 debug 数据,着实费了一把劲才搞懂了 Python Print 的输出规则。 这是一段求解平方根的穷举法,最终结果是要返回输入数字的平方根。 如果是 2 这类无平方根的数字,则求出最接近的...

2018-05-07 21:51:02

阅读数:117

评论数:0

自动化赋值的 SQL 语句

不明就里的朋友,看上一篇就明白了,欠大家一份自动化赋值语句: Cross Apply 与 Inner Join 的对抗 其文中提到了三张表的建表语句,如下: CREATE TABLE dbo.DimUser ( UserID INT IDENTITY(1, 1) ,UserName ...

2018-05-04 23:19:58

阅读数:226

评论数:0

Cross Apply 与 Inner Join 的对抗

Cross Apply 是 SQL Server 2005 新出的特性,微软给出的定义原文是这样: The MSDN definition is: “The APPLY operator is similar to the JOIN operator, but the di...

2018-05-03 23:41:45

阅读数:181

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭