大数据
文章平均质量分 70
基础知识+实战
美女程序员♀️
不知名精英
展开
-
mapreduce
1.mapreudce流程:官网: (1)整体流程 (input) <k1, v1> -> map -> <k2, v2> -> reduce -> <k3, v3> (output) (2)解释: 1)整个过程 跟 kv 数据类型=》 mr 2)kv: 1.The key and value classes have t...原创 2022-05-18 09:37:12 · 116 阅读 · 0 评论 -
大数据处理
1.大数据处理: (1)input (2)处理 (3)outputeg:hdfsapi 完成词频统计 (1)input: 一个文件或者 一批文件 (2)处理: 1)读取文件内容 ,一行一行的 ,按照某个指定分割符 进行拆分 =》 一堆单词 a,a,a,a,b,b => , => a,a,a,a,b,b 2)给每个单词记录次数 a,a,a,a,b,b =...原创 2022-05-18 09:36:04 · 550 阅读 · 0 评论 -
完全分布式的搭建(三台)
1.集群划分? hdfs: bigdata22 namenode datanode bigdata23 datanode bigdata24 snn datanode yarn: bigdata22 nodemanager big...原创 2022-05-17 20:05:13 · 320 阅读 · 0 评论 -
伪分布式搭建
(1)配置模板机: 1)hostname =》 ip 192.168.10.20 bigdata20 192.168.10.21 bigdata21 192.168.10.22 bigdata22 192.168.10.23 bigdata23 192.168.10.24 bigdata24 192.168.10.25 bigdata25...原创 2022-05-17 20:03:57 · 122 阅读 · 0 评论 -
Hadoop
官网: hadoop.apache.org project.apache.org源码地址: https://github.com/apache/hadoop https://github.com/apache/project 1.hadoop:分布式文件存储系统 广义:hadoop为主的生态圈(sqoophive、spark、flink、cdh) 狭义:hadoop本身2.hadoop组成: hdfs 数据存储 hbase、kudu...原创 2022-05-17 20:01:13 · 148 阅读 · 0 评论 -
Shell
一、shell概述: 什么是shell? (1)一个编程语言; (2)可执行的文件 (3)文件内容、linux命令组成二、shell语法入门 1.写一个shell命令: (1)文件名.sh结尾 (2)第一行:#!/bin/bash 2.权限: (1)无权限:sh 文件名.sh [root@hadoop100 shell]# sh ./wc.sh ...原创 2022-04-15 09:45:16 · 651 阅读 · 0 评论 -
linux
一、linux概述: 1.为什么使用linux? java、前端、大数据、算法->app 服务器->linux 2.概述: 文件操作系统(层级式的文件操作系统、最顶层目录/) 3.版本: 广义:ubuntu、小红帽、centos、debian...基于linux内核进行开发 狭义:centos(6.x、7.x现用7.5) 4.学习: (1)环境准备:虚拟化软件VMware(装入不同镜像...原创 2022-04-12 15:57:36 · 558 阅读 · 0 评论