大数据
工匠小能手
顺境时善待他人,逆境时善待自己
展开
-
【学习笔记】大数据相关术语
近期在了解阿里云大数据相关产品,做个简单笔记,相关术语的含义。数据仓库:英文名称为Data Warehouse,简称DW,研究和解决从数据中获取信息,满足企业商业决策和分析、数据化运营而创建,为企业提供数据智能来指导业务流程改进和优化时间、成本、质量和控制。商业智能:英文名称为Business Intelligence,简称BI,指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技...原创 2019-11-03 21:12:00 · 525 阅读 · 0 评论 -
【学习笔记】浅识蚂蚁金服大数据产品“数据洞察分析平台DI”
信息来源:https://tech.antfin.com/docs/2/127816心得:一个报表工具,好像微软的Excel也能做。没错,简单的报表Excel能做,但是最核心的是Excel不支持外部多样的数据源。相关术语:编号 信息项 信息详情 1 数据洞察分析平台 DI 数据洞察分析平台是一个BI (商业智能Business Intelligence...原创 2019-10-29 21:53:28 · 834 阅读 · 0 评论 -
【学习笔记】浅识蚂蚁金服大数据产品“数据集成平台DIP”
信息来源:https://tech.antfin.com/docs/2/127816先一下蚂蚁金服大数据产品“数据集成平台”的相关术语,核心亮点:多数据源、任务调度编号 信息项 详情 1 数据集成平台DIP 包括:数据工厂DQS(Data query service)和任务调度服务JSS(Job scheduling service) 2 ETL脚本...原创 2019-10-29 21:56:07 · 963 阅读 · 0 评论 -
【大数据学习笔记-1】大数据hadoop平台基本组件
Hadoop是一个由Apache基金会所开发的分布式计算和存储架构。说人话的通俗描述:你在爱奇艺网站看过一次科幻片后,下次再登录爱奇艺,首页会把最新科幻动作片推送给你,目的是要向你多收点会员费。这背后的技术就是叫大数据的技术来自动判断你好什么口味的电影。行业描述:开源的分布式存储和计算框架,广泛用户海量数据的存储和处理,比如淘宝网的商品推送,爱奇艺视频的首页电影推送。Hadoo...原创 2019-02-02 12:06:06 · 1252 阅读 · 0 评论 -
【大数据学习笔记-3】将阿里云上的mysql数据库实时自动化复制到华为云mysql数据库,分析行为数据
【学习背景】近期在给一个电商客户做用户行为分析的大数据平台,计划使用华为云的mapreduce服务中的spark和hive组件。当使用华为云数据迁移服务CDM迁移完在源端阿里云的数据库后,发现没有触发增量迁移的相关功能,那么问题来了:源端阿里云上的数据库发生更新后,华为云如何感知到数据变化,如何自动实时复制增量数据呢?分析用户行为数据(检测薅羊毛、预警店铺当日最大转账额度等)都需要实时数据分析...原创 2019-03-04 21:38:08 · 1631 阅读 · 0 评论 -
【大数据学习笔记-2】将阿里云上的RDS数据库复制到华为云hive数据库
【学习背景】近期在帮我一个客户做电商大数据分析平台,需要从阿里云上将RDS数据库复制到华为云,然后利用华为云的大数据服务MRS进行分析。本文主要体验华为云的数据迁移服务CDM将阿里云RDS的一个数据库整体复制到华为云大数据平台的Hive数据库。【关键思路】1、华为云购买测试版本的数据迁移服务CDM,并分配一个公网IP和带宽。2、阿里云RDS上添加到白名单,并分配一个只读权限的账户。...原创 2019-03-02 22:13:33 · 1377 阅读 · 0 评论 -
【大数据学习笔记-4】电商数据从阿里云RDS数据库复制到华为云RDS数据库,部分表格复制失败
【问题背景】昨天用华为云CDM服务把阿里云上一个电商客户RDS mysql数据库复制到华为云上备份,提示有部分数据表复制失败了。【原因分析】通过华为云迁移服务CDM发现了哪些表格迁移失败,能看到是完成复制了多少行。进一步查看日志,发现有个字符是4字节的。根据经验,推测是移动APP的emoji表情。检查数据库的字符编码是utf-8,在数据库中占用3个字节,因此4字节的...原创 2019-03-06 20:51:38 · 485 阅读 · 0 评论