- 博客(7)
- 收藏
- 关注
RSS订阅原创 hive自定义udf函数
1.创建一个简单的maven项目2.pom文件设置需要的依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.
2020-07-06 16:50:49
955
2
原创 HDFS-文件的上传、下载与合并
HDFS 是一个主从架构（Master/Slave） master ===> nameNode slave ===> dataNode文件是按照 blocksize 分 block（块）后存在不同的 dataNode 上的nameNode 的工作： 1. 维护目录树 2. 管理元数据（metadata，文件对应所有 block
2018-01-23 20:04:20
1876
原创 MapReduce详解
MapReduce 执行的过程中会有三种进程： 1. MRAppMaster：负责整个任务的调度和协调 2. MapTask：负责 map 阶段的任务处理 3. ReduceTask：负责 reduce 阶段的任务处理当我们提交任务：hadoop jar xxxx.jar /input /output 首先启动 MRAppMaster 进
2018-01-23 19:51:21
309
原创 Hadoop
Hadoop一、Hadoop 是什么？Hadoop 是 Apache 旗下的一套开源软件平台。Hadoop 可以利用计算机集群，根据用户自定义的业务逻辑对海量数据进行分布式处理。通常我们说的 Hadoop 是指一个更广泛的概念--Hadoop 生态圈。二、Hadoop 生态圈Hadoop 生态圈是指以 Hadoop 为基础发展出来的一系列技术。这些技术都是为了解决大
2018-01-23 19:08:47
611
原创 发布程序
发布程序一、课程介绍1.1 课程内容1.2 课程知识点二、Xshell 的使用在企业中服务器都是托管在 IDC 机房中的，我们需要远程登录到服务器进行操作。Xshell 就是一款优秀的在 Windows 下链接远程 Linux 主机的软件。2.1 Xshell 的下载和安装Xshell 官方下载链接安装一直下一步即可。2.2
2018-01-23 19:00:33
204
原创 Redis
Redis_初识一、课程介绍1.1 课程内容1.2 课程知识点二、NoSQL2.1 传统数据库技术发展史2.2.1 单机模型早期网站访问量不大，注重的是功能实现，用单个数据库可以轻松应付。2.2.2 缓存模型随着访问量的上升，mysql 的性能成为了系统的瓶颈，同时 web 程序不仅追求功能，也在追求性能。这个时期
2018-01-23 18:55:58
279
原创 Nginx
Nginx 基础一、课程介绍1. 介绍 Linux 中的常用命令2. 重点内容二、Nginx 介绍2.1 Nginx 是什么Nginx 是一款高性能的 HTTP 和反向代理服务器软件，是现在大中型网站的标配之一。2.2 Nginx 的主要功能反向代理负载均衡处理 HTTP 静态资源2.3 Nginx 的安装官网下载解压
2018-01-23 18:44:21
193
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人