躺平的十三郎,你的皇上四哥叫你呢,请你抬起头仔细听;
之前埋头血拼的十三郎跑哪去了,人送拼命十三郎;
十三郎抬头看看吧,大数据就站在你的面前,你真不打算卡住大数据的咽喉再血拼一次,重新做回你的热血拼命十三郎......
你以为的大数据是做什么的?
提起大数据有一个关键性的岗位不得不提,那就是大数据工程师,我也很好奇传说中的大数据工程师日常到底是在做什么呢,随着这种好奇我就到处百度到处问,这不答案就出来了< >
数据采集 | 找出描述用户或对业务发展有帮助的数据,并将定义相关的数据格式,交由业务开发部门负责收集对应的数据。 |
ETF工程 | 对收集到的数据,进行各种清洗、处理、转化等操作,完成格式转换,便于后续分析,保证数据质量,以便得出可以信赖的结果。 |
数仓构建 | 将数据有效治理起来,构建统一的数据仓库,让数据与数据间建立连接,碰撞出更大的价值。 |
数据建模 | 基于已有的数据,梳理数据间的复杂关系,建立恰当的数据模型,便于分析出有价值的结论。 |
数据分析 | 对数据进行各种维度的统计分析,建立指标体系,系统性地描述业务发展的当前状态,寻找业务中的问题,发现新的优化点与增长点。 |
用户画像 | 基于用户的各方面数据,建立对用户的全方位理解,构建每个特定用户的画像,以便针对每个个体完成精细化运营 |
了解了大数据的岗位,那接下来简单讲解一下面向数据分析的SQL基础知识,主要分为四个部分:
1.数据库的基本概念 2.SQL查询的基本语法
3.数据库函数、谓词和CASE表达式 4.关联查询和子查询
(一)数据库的基本概念
建议阅读:10分钟
数据库就是存储数据的仓库,其本质是一个文件系统,按照特定的格式将数据存储起来,用户可以对数据库中的数据进行增加,修改,删除及查询操作。
随着互联网的高速发展,大量的数据在不断的产生,伴随而来的是如何高效安全的存储数据和处理数据,而这一问题成为了信息时代的一个非常大的问题,而使用数据库可以高效的有条理的储存数据。
1、可以结构化存储大量的数据;
2、可以有效的保持数据的一致性、完整性;
3、读写效率极高;
数据库又分为关系型数据库和非关系型数据库
关系型数据库:指采用了关系模型来组织数据的数据库。关系模型指的就是二维表格模型,而一个关系型数据库就是由二维表及其之间的联系所组成的一个数据组织。
数据库 | 介绍 |
MySQL | 开源免费的数据库,中型的数据库.已经被Oracle收购了.MySQL6.x版本也开始收费。 |
Oracla | 收费的大型数据库,Oracle公司的产品。Oracle收购SUN公司,收购MYSQL。 |
DB2 | IBM公司的数据库产品,收费的。常应用在银行系统中. |
SQLserver | MicroSoft 公司收费的中型的数据库。C#、.net等语言常使用。 |
SQLite | 嵌入式的小型数据库,应用在手机端。 |
非关系型数据库:又被称为NoSQL(Not Only SQL ),意为不仅仅是SQL,对NoSQL 最普遍的定义是“非关联型的”,强调 Key-Value 的方式存储数据。
数据库 | 介绍 |
Redis | 是一个小而美的数据库,主要用在key-value 的内存缓存,读写性能极佳 |
HBase | HBase是列式数据库,目标是高效存储大量数据 |
MongoDB | MongoDB是文档型数据库,非常接近关系型数据库的。 |
我们本次要说的则是MYSQL数据库
MySQL是一个关系型数据库管理系统,在 WEB 应用方面,MySQL是最好的 RDBMS (Relational Database Management System,关系数据库管理系统) 应用软件,它是由瑞典MySQL AB 公司开发,目前属于 Oracle 旗下产品,MySQL 是最流行的关系型数据库管理系统中的一个。
MySQL的特点:
1.MySQL是开源的,所以你不需要支付额外的费用。
2.MySQL支持大型的数据库。可以处理拥有上千万条记录的大型数据库。
3.MySQL使用标准的SQL数据语言形式。
4.MySQL可以安装在不同的操作系统,并且提供多种编程语言的操作接口。这些编程语言包括C、C++、Python、Java、Ruby等等。
MySQL是一个需要账户名密码登录的数据库,登陆后使用,它提供了一个默认的root账号,使用安装时设置的密码即可登录,有两种登录方式。
方式一:mysql -uroot –p 回车 输入密码
方式二:mysql -uroot –p密码
MySQL图形化开发工具-DataGrip