2017年04月_墨染百城

07月 06月 05月 04月 03月 02月 01月

原创职场初体验

今天是一辈子第一次上跟专业相关的班。有点小忐忑。本来以为要见识早高峰了，但是实际上并没多少人，居然还有点小不甘心。。。不过想想以后早上不用早高峰，实际上放松了好多。出了地铁站就遇到了小黄车，哈哈，运气超好。所以提前到了一会儿。在周围熟悉一下环境。然后就被HR姐姐接到楼上了。先是填了一些表，然后熟悉了一下工作环境，装了一下办公要用的软件。基本弄完以后还不到吃中饭的时间，所以就先继续看《Scala编程思

2017-04-06 22:29:59 1208

原创【书山有路】SQL必知必会第22课

第15课到21课也看过了，感觉没有什么记笔记的需要。本课很重要，一定要记一下。本课的主题是“高级SQL特性”，介绍约束、索引和触发器。概念约束：管理如何插入或处理数据库数据的规则。约束引用完整性利用键来建立一个从一个表到另一个表的引用，保证只在表中插入合法（存在于引用列）的数据。主键保证一列中的值是唯一的，且永不改动。外键有助于防止意外删除。唯一约束保证一列中的数据是唯一的。检查约束用户自定义约

2017-04-05 09:59:23 732

原创【书山有路】SQL必知必会第14课

本课的主题是“组合查询”，讲述如何利用UNION操作符将多条SELECT语句组合成一个结果集。组合查询主要有两种情况使用组合查询：在一个查询中从不同的表返回结构数据对一个表执行多个查询，按一个查询返回数据UNION规则UNION必须由两条或两条以上的SELECT语句组成。UNION中的每个查询必须包含相同的列、表达式或聚集函数列数据类型必须兼容：类型不必完全相同，但必须是DBMS可以隐式

2017-04-04 23:48:53 668

原创【书山有路】SQL必知必会第13课

本章的主题是“创建高级联结”，主要介绍如何使用表别名，如何对被联结的表使用聚集函数。提示表的别名只在查询执行中使用，不返回到客户端。使用表别名SQL允许给表名起别名，有两个主要理由：缩短SQL语句允许在一条SELECT语句中多次使用相同的表自连接自连接通常作为外部语句，用来替代从相同表中检索数据的使用子查询语句。许多DBMS处理联结远比处理子查询快得多。自然联结无论何时对表进行连接，应该至

2017-04-04 23:37:07 641

原创【书山有路】SQL必知必会第12课

本章的主题是“联结表”，主要介绍什么是联结，为什么使用联结，如何编写使用联结的SELECT语句。概念由没有联结条件的表关系返回的结果为笛卡尔积。检索出的行的数目将是第一个表中的行数乘以第二个表中的行数。笛卡尔积又称为Cross Join警告要保证所有的联结都有WHERE子句，否则DBMS将返回比想要的数据多得多的数据。DBMS在运行时关联指定的每个表，以处理联结。这种处理可能非常耗费资源，因

2017-04-04 23:14:32 721

原创【SQL练习】经典SQL练习题

准备数据建表语句CREATE TABLE students(sno VARCHAR(3) NOT NULL, sname VARCHAR(4) NOT NULL,ssex VARCHAR(2) NOT NULL, sbirthday DATETIME,class VARCHAR(5))CREATE TABLE courses(cno VARCHAR(5) NOT NULL, cname

2017-04-03 18:12:08 146725 127

原创【书山有路】SQL必知必会第11课

本章的主题是“使用子查询”，介绍什么是子查询，以及如何使用它们。提示在WHERE子句中使用子查询能够编写出功能很强且很灵活的SQL语句。对于能嵌套的子查询的书目没有限制，不过在实际使用时由于性能的限制不能嵌套太多的子查询。也可以在计算字段中使用子查询。警告使用子查询并不总是执行这类数据检索的最有效方法。子查询SQL允许创建子查询，即嵌套在其他查询中的查询。可以把一条SELECT语句返回的结

2017-04-03 15:45:20 852

原创 Flume安装及使用示例

Flume概述Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中一般的采集需求，通过对flume的简单配置即可实现Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日常数据采集场景运行机制

2017-04-03 15:33:31 519

原创【LeetCode】258. Add Digits

问题描述问题链接：https://leetcode.com/problems/add-digits/#/descriptionGiven a non-negative integer num, repeatedly add all its digits until the result has only one digit.For example:Given num = 38, the proces

2017-04-03 12:54:48 591

原创一道Hive面试题：累积报表

我们有如下的用户访问数据： userId visitDate visitCount u01 2017-01-21 5 u02 2017-01-23 6 u03 2017-01-22 8 u04 2017-01-20 3 u01 2017-01-23 6 u01 2017-02-21 8 u02 2017-01-

2017-04-02 20:29:44 2892 1

原创【书山有路】SQL必知必会第10课

本章的主题是“分组数据”，介绍如何分组数据，以便汇总表内容的子集。涉及到GROUP BY和HAVING子句。提示使用分组可以将数据分为多个逻辑组，对每个组进行聚集计算。HIVING支持所有WHERE操作符。WHERE在数据分组前进行过滤，HAVING在数据分组后进行过滤。创建分组分组是使用SELECT语句和GROUP BY子句建立的。来看下面的SQL命令：SELECT vend_id, CO

2017-04-02 19:21:44 540

原创【书山有路】SQL必知必会第9课

本章的主题是“汇总数据”，介绍什么是SQL聚集函数，以及如何利用它们汇总表的数据。警告AVG只能用来确定特定数值列的平均值，列名必须作为参数给出。为了获得多个列的平均值，必须使用多个AVG函数。AVG函数忽略列值为NULL的行。MAX函数忽略列值为NULL的行。MIN函数忽略列值为NULL的行。SUM函数忽略列值为NULL的行。DISTINCT只能用于COUNT(column)，不能用于

2017-04-02 00:08:13 463

原创【书山有路】SQL必知必会第8课

本章的主题是“使用数据处理函数”，介绍什么是函数，如何使用这些函数；还将讲解为什么SQL函数的使用可能会带来问题。概念可移植：所编写的代码可以在多个系统上运行。提示为了代码的可移植性，许多SQL程序员不赞成使用特定于实现的功能。虽然这样做很有好处，但有的时候并不利于应用程序的性能。如果不使用这些函数，编写某些应用程序代码会很艰难。必须利用其他方法来实现DBMS可以非常有效完成的工作。使用或不

2017-04-01 15:33:32 463

原创 Hive TransForm案例

Hive的 TRANSFORM 关键字提供了在SQL中调用自写脚本的功能，适合实现Hive中没有的功能又不想写UDF的情况。步骤1、先加载rating.json文件到hive的一个原始表 rat_jsoncreate table rat_json(line string) row format delimited;load data local inpath '/home/hadoop/ratin

2017-04-01 13:36:51 2863

原创 Hive中的UDF及自定义函数示例

Hive官方的UDF手册地址是：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF测试内置函数的快捷方法创建一个表dualload数据到dual表尝试内置函数自定义函数例子有时候Hive提供的内置函数不能满足我们的要求，此时就需要自定义函数。下面我们做一个自定义函数实现ToLowerCase的功能。新建Java工程需

2017-04-01 13:25:06 1348

原创广告精准推送项目介绍

广告中介商：每个用户的目标客户不同，找的广告位也就不一样。广告提供商（网站、APP）：想拉业务，也去找中介。将广告栏位提供给中介商。广告用户（各行业厂商）：想去打广告，需要去找一些广告提供商。但是很难找到靠谱的，所以需要去找中介商。如果是一个综合网站，同一个广告栏位需要根据不同的浏览者展示不同的广告。广告商应该提供一个界面，供用户选择投放对象的性别、年龄等。然后网站去判断浏览者的这些属性，如果匹配，

2017-04-01 12:16:40 3924

原创 Hive中的Join操作

Hive中有许多的Join操作，如果LEFT，RIGHT和FULL OUTER JOIN，INNER JOIN，LEFT SEMI JOIN等。那么它们都各自有什么特点呢？感觉很难说明这些区别，还是通过例子来看。准备数据如果我们有一个表，数据如下：a.txt1,a2,b3,c4,d7,y8,u另一个表中的数据如下：b.txt2,bb3,cc7,yy9,pp在Hive中建表:cre

2017-04-01 11:27:12 1367

原创【书山有路】SQL必知必会第7课

本章的主题是“创建计算字段”，介绍什么是计算字段，如何创建计算字段，以及如何从应用程序中使用别名引用它们。概念字段：基本上与列的意思相同，经常互换使用，不过数据库列一般称为列，而术语字段通常与计算字段一起使用。拼接：将值联结到一起（将一个值附加到另一个值）构成单个值。提示只有数据库知道SELECT语句中哪些列是实际的列表，哪些列是计算字段。从客户端来看，计算字段的数据与其他列的数据的返回方式

2017-04-01 10:31:56 534

原创【书山有路】SQL必知必会第6课

本章的主题是“用通配符进行过滤”，主要介绍什么是通配符，如何使用通配符以及怎样使用LIKE操作进行通配搜索。概念通配符：用来匹配值的一部分的特殊字符。搜索模式：由字面值、通配符或者两者构成的搜索条件。谓词：取值为TRUE、FALSE或UNKNOWN的表达式。提示当操作符是谓词时，它不是操作符。通配符搜索只能用于文本字段（串），非文本数据类型字段不能使用通配符搜索。通配符可在搜索模式中的

2017-04-01 09:59:23 626