- 博客(9)
- 收藏
- 关注
RSS订阅原创 读《大数据之路-阿里巴巴大数据实践》数据技术篇
大数据领域建模综述1从性能成本效率和质量来说2关系数据库和数据仓库：ER模型，很简单，业务变化较大的时候不啊建议建立模型维度模型：Anchor模型：3阿里的数据模型实践总述：阶段一：app-drivenODS然后DSS阶段二：四层模型ODL操作数据层BDL基础数据层IDL接口数据层ADL应用数据层阶段三：hadoop分布式计算平台，有自己的数据构架体系，什么体系呢，下一章介绍！！数据整合和体系管理onedata大数据建设的核心方法论是从业务架构设计到模型设计，从数据研发到数据服务，
2021-08-24 11:23:36
132
原创 TMD 我遇到的sql面试题，数据分析必会题目
现有交易数据表user_goods_table如下：user_name 用户名goods_kind 用户订购的的外卖品类现在老板想知道每个用户购买的外卖品类偏好分布，并取出每个用户购买最多的外卖品类是哪个。输出要求如下：user_name 用户名goods_kind 该用户购买的最多外卖品类思路：利用窗口函数 row_number求得每个用户各自购买品类数量排行分布，并取出排行第一的品类即该用户购买最多的外卖品类。参考题解：select b.user_name,b.goods_kind
2020-05-13 15:55:42
729
1
原创 读《大数据之路-阿里巴巴大数据实践》数据获取篇笔记
读《大数据之路-阿里巴巴大数据实践》随笔笔记：数据采集：数据库 日志采集 埋点 TT DataX数据计算： 数据管理 数据体系数据存储+计算（在线 离线 streamcompute）数据仓库：操作数据层-明细-汇总-应用数据服务：数据应用一.日志采集Aplus.JSUserTrack1.1. 浏览器：页面浏览日志采集（PV， UV）和页面交互日志1.1.1 页面浏览日志采集过程：点击链接HTTP请求（请求行：方法，url，版本号；请求报头：header，cookie； 征文：
2020-05-12 11:11:01
372
原创 适合初学者的scala语法2:
元组 集合 映射元组：listscala> val t = ("scala",122,241.33,"spark",("caca")) #定义这个元组t: (String, Int, Double, String, String) = (scala,122,241.33,spark,caca)scala> t._1 #取第一个位置的数据 注意下标从一开始res1: String = scalascala> t._3 #取第三个位置res2: Doubl
2020-05-11 23:52:14
171
原创 记录常用sql查询-2
窗口函数：rank()：跳跃排序； 比如11345558dense_rank()：连续排序； 比如：11123345row_number()：没有重复值的排序（记录相等也是不重复的），可以进行分页使用。某表内连续出现3词的值：编写一个 SQL 查询，查找所有至少连续出现三次的数字。±—±----+| Id | Num |±—±----+| 1 | 1 || 2 | 1 || 3 | 1 || 4 | 2 || 5 | 1 || 6 | 2 |
2020-05-11 14:43:00
124
原创 适合初学者的scala基础语法：定义，循环，方法和函数，数组，映射
scala重的值类型有7个：byte, char, long, double, flost, short, Intval 用于声明不可变的变量不能使用单引号scala> val s = 'asdas' ^ warning: symbol literal is deprecated; use Symbol("asdas") instead ^ error: unclosed character li
2020-05-10 22:24:44
166
原创 出现错误：The MySQL server is running with the --secure-file-priv option so it cannot...解决方法
mysql5.7导出数据提示–secure-file-priv选项问题的解决方法出现了：ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv option so it cannot 。。可能原因1首先可能是导入导出权限的问题：出现了：ERROR 1290 (HY000): The MySQL s...
2019-05-23 15:47:12
4385
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人