- 博客(9)
- 资源 (5)
- 收藏
- 关注
RSS订阅转载 Akka框架学习
Akka框架学习转载自Spark修炼之道一、并发编程简介多核处理器的出现使并发编程（Concurrent Programming）成为开发人员必备的一项技能，许多现代编程语言都致力于解决并发编程问题。并发编程虽然能够提高程序的性能，但传统并发编程的共享内存通信机制对开发人员的编程技能要求很高，需要开发人员通过自身的专业编程技能去避免死锁、互斥等待及竞争条件（Race Condition）等，...
2019-03-22 16:42:47
1713
转载 Spark Streaming笔记
Spark Streaming笔记转载自Spark修炼之道1. Spark流式计算简介Hadoop的MapReduce及Spark SQL等只能进行离线计算，无法满足实时性要求较高的业务需求，例如实时推荐、实时网站性能分析等，流式计算可以解决这些问题。目前有三种比较常用的流式计算框架，它们分别是Storm，Spark Streaming和Samza，各个框架的比较及使用情况，可以参见：htt...
2019-03-22 16:42:03
383
转载 Spark SQL笔记
Spark SQL笔记转载自Spark修炼之道1. Spark SQL简介Spark SQL是Spark的五大核心模块之一，用于在Spark平台之上处理结构化数据，利用Spark SQL可以构建大数据平台上的数据仓库，它具有如下特点：（1）能够无缝地将SQL语句集成到Spark应用程序当中（2）统一的数据访问方式DataFrames and SQL provide a common ...
2019-03-22 16:41:13
468
原创 Spark笔记
Spark笔记参考资料：Spark中文指南(入门篇)-Spark编程模型(一)适合小白入门Spark的全面教程Spark教程Spark修炼之道spark入门介绍(菜鸟必看)Spark学习总结（一）Spark(一): 基本架构及原理简介Spark是一个用来实现快速而通用的集群计算的平台。扩展了广泛使用的MapReduce计算模型，而且高效地支持更多的计算模式，包括交互式查询和...
2019-03-22 16:40:37
490
原创 Hive笔记4-Shell操作
Hive Shell操作参考资料：Hive详细介绍及简单应用Hive基本操作，DDL操作(创建表，修改表，显示命令)，DML操作(Load Insert Select),Hive Join,Hive Shell参数(内置运算符、内置函数)等Hive入门及常用指令1、Hive命令行语法结构hive [-hiveconf x=y]* [<-i filename>]* [&...
2019-03-20 15:24:55
362
原创 Hive笔记3-HQL操作
HQL操作参考资料：Hive详细介绍及简单应用Hive基本操作，DDL操作(创建表，修改表，显示命令)，DML操作(Load Insert Select),Hive Join,Hive Shell参数(内置运算符、内置函数)等Hive入门及常用指令Hive分区、分桶操作及其比较函数分类，HIVE CLI命令，简单函数，聚合函数，集合函数，特殊函数(窗口函数，分析函数，混合函数，UDT...
2019-03-20 15:24:19
816
原创 Hive笔记2-安装部署
二、安装部署环境：macOS High Sierra10.13.6、mysql8.0.15、Hadoop3.1.1、Hive3.1.1。参考资料：学习 Hadoop3.0 一、Hadoop3.0的安装与配置hadoop安装和配置hadoop详细安装及配置Hadoop: Setting up a Single Node Cluster安装hadoop3.0版本踩坑Hadoop _ ...
2019-03-20 15:23:33
266
原创 Hive笔记1-简介
简介参考资料：Hive详细介绍及简单应用hive核心基本概念Hive简介、什么是Hive、为什么使用Hive、Hive的特点、Hive架构图、Hive基本组成、Hive与Hadoop的关系、Hive与传统数据库对比、Hive数据存储（来自学习资料）Hive入门及常用指令Hive教程Hive学习路线图Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数...
2019-03-20 15:22:38
393
原创 Hadoop HDFS笔记
Hadoop HDFS笔记参考资料：初步掌握HDFS的架构及原理HDFS知识点总结深入理解HDFS：Hadoop分布式文件系统Hdfs详解深刻理解HDFS工作机制HDFS总结 思维导图一、简介HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的...
2019-03-18 17:00:54
651
mongo-java-driver-3.0.2.jar
2016-03-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人