大数据
文章平均质量分 81
青春浪子
用代码将梦想照进现实
展开
-
深入理解使用白鹭引擎开发微信小游戏的构建机制
微信小游戏一经推出就受到了诸多开发者的极大关注,白鹭引擎也在第一时间推出了微信小游戏的适配方案。在这一周中白鹭引擎团队帮助许多开发者成功将现有的HTML5游戏转换为了微信小游戏,但仍有开发者遇到了一些开发问题,我们已经在上周整理发布了《使用白鹭引擎开发微信小游戏的 FAQ》以供开发者参考。这周我们来深入了解一下白鹭引擎构建微信小游戏的构建机制,开发者通过阅读这篇文章,除了更深入了解到白鹭引擎的原创 2018-01-11 13:45:15 · 1539 阅读 · 0 评论 -
3分钟搞定SpringBoot+Mybatis+druid多数据源和分布式事务
在一些复杂的应用开发中,一个应用可能会涉及到连接多个数据源,所谓多数据源这里就定义为至少连接两个及以上的数据库了。 下面列举两种常用的场景: 一种是读写分离的数据源,例如一个读库和一个写库,读库负责各种查询操作,写库负责各种添加、修改、删除。 另一种是多个数据源之间并没有特别明显的操作,只是程序在一个流程中可能需要同时从A数据源和B数据源中取数据或原创 2018-01-11 13:50:09 · 13633 阅读 · 5 评论 -
大数据开发:实战要则
实战要则大部分的人是因为看见而相信,很少部分的人是因为相信而看见。1、软件开发明细由于大数据软件需要不断迭代更新,版本替换,故每个软件需指定版本才能兼容使用,学习过程中必须统一软件开发环境。本书需要以下基础的软件开发明细:环境软件环境版本/配置开发环境模块设计工具OfficeOffi原创 2018-01-06 15:00:46 · 1700 阅读 · 0 评论 -
Kylin单机集成CDH
Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力(可以把Kylin定义为OLAP on Hadoop)。Apache Kylin于2015年11月正式毕业成为Apache基金会(ASF) 顶级项目,是第一个由中国团队完整贡献到Apache的顶级项目。 分享之前我还是要推荐下我自己创建的大数据学习资料分享群 232840209,不原创 2018-01-08 15:44:12 · 1286 阅读 · 0 评论 -
为什么看了那么多hadoop干货文章,却依然没有做好hadoop环境搭建
Hadoop - MapReduce简介一种分布式的计算方式指定一个Map(映#x5C04;)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(归约)函数,用来保证所有映射的键值对中的每一个共享相同的键组Pattern分享之前我还是要推荐下我自己创建的大数据学习资料分享群 232840209,这是全国最大的大数据学习交流的地方,2000人聚集,不管你是小白原创 2018-01-08 18:59:53 · 257 阅读 · 0 评论 -
spring boot redis分布式锁
摘要: 随着现在分布式架构越来越盛行,在很多场景下需要使用到分布式锁。分布式锁的实现有很多种,比如基于数据库、 zookeeper 等,本文主要介绍使用 Redis 做分布式锁的方式,并封装成spring boot starter,方便使用分享之前我还是要推荐下我自己创建的大数据学习资料分享群 232840209,不管你是小白还是大牛,小编我都挺欢迎,今天的源码已经上传到群文件,不定期分享转载 2018-01-10 14:42:29 · 519 阅读 · 0 评论 -
hive(02)、数据仓库Hive的基本使用
在上篇《 hive(01)、基于hadoop集群的数据仓库Hive搭建实践 》一文中我们搭建了分布式的数据仓库Hive服务,本文主要是在上文的基础上结合Hadoop分布式文件系统,将结构化的数据文件映射为一张数据库表,将sql语句转换为MapReduce任务进行运行的具体实践。Hive帮助无开发经验的数据分析人员,有能力处理大数据还可以构建标准化的MapReduce开发过程,因此我们学习大数据就有转载 2018-01-10 14:53:21 · 452 阅读 · 0 评论 -
hive(01)、基于hadoop集群的数据仓库Hive搭建实践
在前面hadoop的一系列文中,我们对hadoop有了初步的认识和使用,以及可以搭建完整的集群和开发简单的MapReduce项目,下面我们开始学习基于Hadoop的数据仓库Apache Hive,将结构化的数据文件映射为一张数据库表,将sql语句转换为MapReduce任务进行运行的实践,hadoop系列深入学习的文章还会继续。分享之前我还是要推荐下我自己创建的大数据学习资料分享群 23284转载 2018-01-10 15:12:00 · 2659 阅读 · 0 评论 -
入门Webpack
阅读本文之前,先看下面这个webpack的配置文件,如果每一项你都懂,那本文能带给你的收获也许就比较有限,你可以快速浏览或直接跳过;如果你和十天前的我一样,对很多选项存在着疑惑,那花一段时间慢慢阅读本文,你的疑惑一定一个一个都会消失;如果你以前没怎么接触过Webpack,而你又你对webpack感兴趣,那么动手跟着本文中那个贯穿始终的例子写一次,写完以后你会发现你已明明白白的走进了Webpack的原创 2018-01-10 19:06:29 · 213 阅读 · 0 评论