hadoop那些事
文章平均质量分 71
本人在学习hadoop以及参加hadoop有关竞赛的学习记录
小范今天学Java了嘛?
念念不忘必有回响
展开
-
[hadoop那些事] 全文目录——索引页
hadoop学习路线理论实践完全分布式高可用报错积累理论1.Hadoop组件介绍实践1.hadoop相关安装包 (115云盘平台)2.sqoop的安装及配置并且简单的从mysql传入hdfs中3.centos7环境下载并配置mysql,简单存储一些信息4.Flume的安装、配置 及其依赖Flume实时监控特定文件夹上传到HDFS5.创建虚拟机6.编译hadoop源码7.zookeeper安装完全分布式8.hadoop完全分布安装高可用9.hadoop高可用(HA)完全分布式安装原创 2020-08-31 15:15:36 · 507 阅读 · 0 评论 -
[hadoop那些事]hadoop3centos安装配置完结
任何一步骤不明白不清楚请私聊我 全力解答原创 2020-02-11 15:28:27 · 6671 阅读 · 18 评论 -
[hadoop那些事]大数据综合平台——本科时期收官之作
目录一、写在前面二、软件清单三、ubuntu LTS 16.04jdk 1.8 8u162.x64一、写在前面截至大三上学期(2020年12月),本人写《hadoop那些事》系列已经有25篇了,初衷其实就是比赛时期做笔记用,因为安装hadoop及其组件需要一直保持手感,从虚拟机的ip配置到各种小错以及hadoop、mysql、sqoop、mapreduce、hbase、hive等等;后来写博客是为了帮助同学,以及缓解老师压力,这个过程是真的很磨练人,因为要从0开始,甚至虚拟机的安装,VM的安装开始,一直原创 2021-01-30 22:45:46 · 602 阅读 · 17 评论 -
[hadoop那些事] hive安装(mysql8.0安装、hive配置)
开始了!原创 2020-10-26 09:27:57 · 5974 阅读 · 9 评论 -
[hadoop那些事]高可用Hbase安装
此博客的环境条件: zookeeper hadoop高可用此博客版本号为: hbase-2.3.0 Hadoop 3.1.2此博客规划:需要了解:habse与hadoop各版本的相互适用安装步骤1、在master中解压habse安装包2、配置环境变量(主hbase和备用hbase即可)#hbaseexport HBASE_HOME=/usr/hbase/hbase-2.3.0export PATH=$PATH:$HBASE_HOME/bin3、修改配置文件 hba原创 2020-09-22 09:16:55 · 465 阅读 · 2 评论 -
[hadoop那些事] 高可用完全分布式集群安装
愉快的假期就要结束了一、规划二、准备四台机器三、配置HA-hadoophadoop-env.sh:core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xml四、启动顺序1. 确保zookeeper启动成功2. 启动journalnode3. 格式化namenode(第一次就行)4. master同步信息slave15. 在namenode节点(其中任意一个即可)格式化zkfc6. 启动hdfs相关服务7. 启动yarn相关服务8. 启动master历史任务服原创 2020-08-31 16:27:30 · 2206 阅读 · 8 评论 -
[hadoop那些事] 快速运行一个hadoop入门例题——wordcount
这里写目录标题背景:高可用hadoop安装完毕之后为了确认平台的可用性,所以需要快速运行一个案例,不如就拿官网的例子来吧! 特此做个笔记~hadoop笔记及教程一、新建一个文件并写入一些单词二、创建input路径三、将test.txt传入hdfs四、运行案例一五、运行案例二背景:高可用hadoop安装完毕之后为了确认平台的可用性,所以需要快速运行一个案例,不如就拿官网的例子来吧! 特此做个笔记~hadoop笔记及教程一、新建一个文件并写入一些单词mkdir fzyvi test.txt内容原创 2020-08-31 15:29:10 · 235 阅读 · 0 评论 -
【大数据笔记】hadoop基础——各组件介绍
目录故事背景Hadoop 与大数据之间到底是什么关系?1、数据存储:HDFS,一个分布式文件系统2. 数据分析:MapReduce 计算引擎HDFS(Hadoop 分布式文件系统)MapReduce(分布式计算模型)离线计算Yarn(分布式资源管理器)Spark(内存计算)HBase(分布式列存储数据库)Hive(数据仓库)Oozie(工作流调度器)Sqoop 与 PigFlume(日志收集工具)Kafka(分布式消息队列)ZooKeeper(分布式协作服务)Ambari(大数据运维工具)摘自 高俊峰(原创 2020-07-31 12:26:47 · 902 阅读 · 0 评论 -
[hadoop那些事]hadoop及其组件资源 115/百度云
https://115.com/s/sw3vs2x33md#bigdata访问码:j024原创 2020-05-15 11:14:46 · 316 阅读 · 1 评论 -
[hadoop那些事] 错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster
hadoop classpathLinux返回类似这样的代码/usr/hadoop/hadoop-3.1.2/etc/hadoop:/usr/hadoop/hadoop-3.1.2/share/hadoop/common/lib/:/usr/hadoop/hadoop-3.1.2/share/hadoop/common/:/usr/hadoop/hadoop-3.1.2/share/hadoop/hdfs:/usr/hadoop/hadoop-3.1.2/share/hadoop/hdfs/lib/原创 2020-05-15 11:01:25 · 886 阅读 · 1 评论 -
[hadoop那些事]sqoop的安装及配置,简单的从mysql传入hdfs中
基于Linux安装mysql 的传送门在这里了(注意文章结尾的权限设置):https://editor.csdn.net/md/?articleId=106111959本文主要为学习笔记,主题为sqoop的安装和配置,顺便做一个从mysql传入hdfs的实例。本文默认安装并有一个可用mysql库表,默认mysql权限已设置,默认hadoop集群已启动(目前本人实验不是从高可用上,等有空实验好了再完善本篇文章)music:http://music.163.com/song?id=1446768955原创 2020-05-15 02:14:11 · 421 阅读 · 2 评论 -
[hadoop那些事]centos7环境下载并配置mysql
本篇文章主要是为sqoop测试写的笔记,所以不太涉及理论方面的问题一、下载weget二、下载yum repo配置文件安装repo三、安装mysql四、启动使用mysql获取暂时密码重设密码创建新库新表新数据一、下载wegetyum -y install wget二、下载yum repo配置文件wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm安装reporpm -ivh mysql57-commu原创 2020-05-14 09:30:17 · 993 阅读 · 1 评论 -
[hadoop]Flume的安装、配置 及其依赖Flume实时监控特定文件夹上传到HDFS
代码驿站一、简单理解作用基本构成二、Flume的安装及使用安装及配置写properties文件启动flume三、启动之后一、简单理解作用Flume提供一种分布式的,可靠地,对大量数据的日志进行高效处理,聚集,移动的服务。flume只能在Unix的环境下运行。Flume基于流式框架,容错性强,也灵活简单。Flume,Kafka用来进行数据收集的,Spart,Storm用来实时处理数据,impala用来实时查询。基本构成Source 用于采集数据,Source是产生数据流的地方,同时Sour原创 2020-05-11 07:47:01 · 2314 阅读 · 2 评论 -
[hadoop 基础] 安装虚拟机VMware15和Linux centOS (Linux 基础) 搭建你可靠的学习平台!
VMware15、Linux centOS的简单安装(学习笔记)VMware15各版本区别个人计算机的基础设置centos安装的截图说明下载地址VMware15链接:https://www.vmware.com/cn/products/workstation-pro/workstation-pro-evaluation.html各版本区别CentOS-7-DVD版本:DVD是标准安装盘...原创 2020-04-28 22:30:45 · 342 阅读 · 1 评论 -
[hadoop 那些事] Hadoop源码的编译
文章目录1.首先新建一个干净的虚拟机2.查看编译所需配件3.进入(配件)安装步骤3.1JDK安装3.2 ant安装3.3maven 安装3.4 findbugs3.5 cmake安装3.6 protobuf安装4 编译hadoop源码千辛万苦踩了居多坑之后把hadoop安装好了,进行文件put ls 等一系列操作的时候竟然给我警告,就很烦。如下图接下来较为详细的说明一下编译hadoop源码...原创 2020-03-16 10:22:55 · 468 阅读 · 2 评论 -
[hadoop那些事]Linux的zookeeper的安装
推荐一首音乐:一些规律(许飞/姚晨) 巨好听hadoop的搭建请移步这里个人感觉还算详细吧。 还有一些基本操作此篇文章不会再做赘述。如图将zookeeper传入虚拟机中,并且解压。1.设置hosts192.168.111.147 master master.root192.168.111.137 slave1 slave1.root192.168.111.132 slave2 sl...原创 2020-03-14 15:21:18 · 636 阅读 · 2 评论 -
[hadoop 的坑] 如何查看虚拟机ip network不能成功启动等情况
问题:写这篇文章只是希望告诉你不只是你一个人有这种苦难~解决办法:跟我一步步走输入ip addr上图下面部分是输入ip addr之后产生的 注意观察!这里是你MAC地址咯把他记下来先,后面用得着vi /etc/sysconfig/network-scripts/ifcfg-ens33还需要添加的是:HWADDR=你的MAC地址 就是刚才让你记下来的然后重启网络服...原创 2020-02-23 23:05:37 · 2064 阅读 · 0 评论 -
[hadoop 的坑] there is no HDFS_NAMENODE_USER defined
问题:ERROR: Attempting to operate on hdfs namenode as rootERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.Starting datanodesERROR: Attempting to operate on hdfs datanode as roo...原创 2020-02-23 22:16:15 · 7661 阅读 · 0 评论 -
CentOS 7 中使用ifconfig命令发现ens33 的ip地址没有显示的解决方法
CentOS 7 中ifconfig命令显示不了ip地址的解决方法:一、在任务管理器的服务那里查看VMware NAT Service服务是否停止,若停止了,重新启动即可二、 CentOS 7 默认是不启动网卡的,可以进入配置文件查看网卡是否启动vi /etc/sysconfig/network-scripts/ifcfg-ens33将ONBOOT=yes退出后重新启动网络服务su...原创 2020-02-22 13:40:01 · 1506 阅读 · 0 评论 -
[hadoop 配置文件] hdfs-site.xml 有关知识点
<configuration> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.name...原创 2020-02-21 19:36:39 · 592 阅读 · 1 评论 -
[hadoop 配置文件] core-site.xml有关知识点
<configuration> <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> <property> <...原创 2020-02-21 19:25:23 · 1269 阅读 · 0 评论 -
[hadoop那些事] 通过克隆虚拟机搭建hadoop集群,开启hadoop后,只出现了slave2
克隆虚拟机,配置hadoop完全分布式。每台机器都配置完静态ip,主机名,主机和ip映射。开启hadoop集群,(start-dfs.sh),master主机上namenode和secondarynamenode,slave1主机上的datanode,slave2主机上的slave2主机上的datanode都开启了,但是在master:50070网址上live node 只有一个,这个node 是...原创 2020-02-21 11:03:04 · 516 阅读 · 1 评论 -
[hadoop 的坑] hadoop的配置文件slaves/workers
hadoop3.0以后slaves更名为workers记录一下2020年2月21日晚2:16原创 2020-02-21 02:16:51 · 5081 阅读 · 4 评论 -
[hadoop] ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes
在启动hadoop后,查看jps时看不到应该启动起来的东西其中一个问题是报but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes直接解决在Hadoop安装目录下找到sbin文件夹在里面修改四个文件1、对于start-dfs.sh和stop-dfs.sh文件,添加下列参数:#!/...原创 2020-02-20 20:18:45 · 1326 阅读 · 3 评论 -
centos安装jdk1.8时出现没有/lib/ld-linux.so.2:这个文件的原因分析
-bash: /usr/local/jdk/jdk1.8.0_181/bin/java: /lib/ld-linux.so.2: bad ELF interpreter: No such file or directorysudo yum install glibc.i686使用上述代码安装即可再次使用java -version 查看效果...原创 2020-02-20 16:43:54 · 524 阅读 · 1 评论 -
[hadoop那些事] ens33路径配置(遇到ens33中无ip地址情况)
首先找到ens33在哪里并进行编辑vi etc/sysconfig/network-scripts/ifcfg-ens33TYPE="Ethernet" #网卡类型(通常是Ethemet以太网)PROXY_METHOD="none" #代理方式:为关闭状态BROWSER_ONLY="no" #只是浏览器:否BOOTPROTO="static" #网卡的引导协议【static:静态IP...原创 2020-02-11 09:09:10 · 3680 阅读 · 1 评论