Hadoop
文章平均质量分 84
学习Hadoop以及相关生态
DATA数据猿
路漫漫其修远兮,吾将上下而求索。
探索学习中的一枚数据猿,希望得到你的指点。
展开
-
CDH6.3.1部署
CDH部署1.准备工作资源有限,使用虚拟机进行如下配置机器配置IP主机名配置192.168.130.221CDH14G 2处理器 60G磁盘192.168.130.222CDH22G 1处理器 20G磁盘192.168.130.223CDH32G 1处理器 20G磁盘建议配置IP主机名配置192.168.130.221CDH18G 4处理器 80G磁盘192.168.130.222CDH24G 2处理器 5原创 2022-03-18 22:26:49 · 2097 阅读 · 0 评论 -
《Hadoop系列》Docker安装Hadoop集群
1.安装docker2.docker安装Hadoop集群原创 2022-01-09 13:38:51 · 1482 阅读 · 2 评论 -
《Hadoop系列》Hadoop问题处理记录
1.ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.2.云服务器启动hadoop,namenode没启动起来3.Failed to start namenode,Directory /tmp/hadoop-root/dfs/name is in an inconsistent state原创 2021-08-11 17:24:11 · 9034 阅读 · 0 评论 -
《Hadoop系列》Docker安装Hadoop
1.安装docker2.docker安装Hadoop原创 2021-08-09 13:52:52 · 6263 阅读 · 6 评论 -
《Spark系列》Spark问题处理记录
1.tried to access methos com.google.common.base.Stopwatch.<init>()V from class org.apache2.IDEA运行Spark代码异常 -> Error:scalac: IO error while decoding \Demo2.scala with UTF-83.Spark SQL错误提示(You need ... setting useSSL=false, or set useSSL=true... 和Exception原创 2021-06-08 22:45:27 · 2686 阅读 · 3 评论 -
《Hadoop系列》Hadoop实操记录
1.shell脚本配置伪分布式Hadoop2.数据直接上传到分区目录上,让分区表和数据产生关联的三种方式原创 2021-05-22 11:31:44 · 2057 阅读 · 13 评论 -
大数据学习内容
大数据学习内容:1.存储框架HDFS —— 分布式文件系统HBase —— 分布式数据库:Nosql,列式存储Kafka —— 分布式消息中间件/消息队列1.1 HDFS什么是HDFS?HDFS是Hadoop Distribute File System 的简称,意为:Hadoop分布式文件系统,是Hadoop核心组件之一,作为最底层的分布式存储服务而存在。1.易于扩展的分布式文件系统2.运行在大量普通廉价机器上提供容错机制3.为大量用户提供性能不错的存取服务HDFS基本原创 2021-05-08 14:59:31 · 193 阅读 · 0 评论