- 博客(6)
- 收藏
- 关注
RSS订阅原创 大数据技术原理与应用-分布式文件系统HDFS
首先介绍分布式文件系统的基本概念、结构和设计需求，然后介绍Hadoop分布式文件系统HDFS，详细阐述它的重要概念、体系结构、存储原理和读写过程，最后，介绍了一些HDFS编程实践方面的知识。
2019-04-22 16:08:58
894
原创 大数据技术原理与应用-大数据处理架构Hadoop
介绍Hadoop的发展历史、重要特性和应用现状，并详细介绍Hadoop项目结构及其各个组件，最后，演示如何在Linux操作系统下安装和配置Hadoop。
2019-04-22 11:23:43
2028
原创 大数据技术原理与应用-大数据概述
介绍了大数据发展历程、基本概念、主要影响、应用领域、关键技术、计算模式和产业发展，并阐述了云计算、物联网的概念及其与大数据之间的紧密关系。
2019-04-02 13:30:11
3811
原创 Mysql5.7 order by与limit混用注意点
背景近期开发过程中碰到了个BUG，即通过order by + limit对数据库表进行分页查询，在排序字段有数据重复的情况下，发现不同页的数据有重复。原因在MySQL 5.6的版本上，优化器在遇到order by limit语句的时候，做了一个优化，即使用了priority queue。使用 priority queue 的目的，就是在不能使用索引有序性的时候，如果要排序，并且使用了li...
2019-04-01 15:16:58
2538
1
原创 Spark概述：基本架构及原理
文章目录一、什么是Spark？二、四大特性1.高效性2.易用性3.通用性4.兼容性三、Spark与Hadoop的区别四、生态圈五、基本架构六、运行流程1、整体流程2、四种运行模式七、运行架构特点1.Executor进程专属2.支持多种资源管理器3.Job提交就近原则4.移动程序而非移动数据的原则执行八、内存管理一、什么是Spark？Spark 是一个用来实现快速而通用的集群计算的平台。在速度...
2019-03-29 15:24:43
1455
原创 CentOS下安装nginx及基础配置
一、Nginx需要依赖PCRE(Perl Compatible Regular Expressions)，先手动安装PCRE(PCRE是一个轻量级的Perl函数库，包括 perl 兼容的正则表达式库)。1. PCRE目前最新版本为8.41，可以点这里进行下载。2. 使用tar -zxvf pcre-8.41.tar.gz进行解压。3. 运行chmod -R 777 /pcre-8.41...
2018-01-05 11:05:33
149
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人