Hadoop大数据平台
从0到1学系Hadoop大数据平台
孟意昶
life_statues in ('打工','干饭')
展开
-
通过hive对hdfs写入数据
已经在linux云服务器上搭建了hadoop和hive,现在通过hive往hdfs写入数据,并通过9870端口查看数据确认hadoop中相关进程已经开启,再开启hive,当前进程可通过jps命令查看[root@cloudmyc tmp]# jps4689 Jps2561 NodeManager2167 SecondaryNameNode1930 DataNode2428 ResourceManager1791 NameNode进入hive命令行后,新建表create table t原创 2022-01-29 23:56:00 · 3077 阅读 · 0 评论 -
基于linux服务器搭建hadoop平台
因为在阿里云租了一台linux服务器,所以打算在上面搞点东西,这次先安装hadoop平台。原创 2021-12-31 00:04:57 · 1446 阅读 · 0 评论 -
基于阿里云linux服务器登录hadoop的网址http://localhost:9870/
在阿里云linux服务器上搭建了hadoop的Pseudo-Distributed Operation,可通过两种方式登录http://localhost:9870/,从linux云服务器登录:此处若想直观看到可视化网页,需要先配置linux的可视化图形界面https://help.aliyun.com/knowledge_detail/41227.html?spm=从windows登录...原创 2022-01-19 23:40:56 · 2678 阅读 · 0 评论 -
linux云服务器实现hadoop官方本地模式案例
需要更改路径/usr/hadoop/hadoop-3.3.1/etc/hadoop原创 2022-01-04 23:27:46 · 700 阅读 · 0 评论 -
基于Hadoop集群实现wordcount案例
之前是在linux云服务器上的hadoop本地模式实现了wordcount案例:linux云服务器实现wordcount案例这次改用hadoop的集群模式实现此案例。首先需要确保已完成了Pseudo-Distributed Operation伪分布式搭建,如果没有完成,可参考linux云服务器实现hadoop的Pseudo-Distributed Operation伪分布式搭建搭建完成,并执行sbin/start-dfs.sh后,通过jps命令可查看已存在如下进程31254 DataNode3原创 2022-01-22 12:46:25 · 2010 阅读 · 0 评论 -
hadoop笔记
hadoop是分布式基础架构,分布式是指:有100T的数据量,使用1000台机器去存储,即将海量数据分散给很多个机器去处理。原创 2022-01-09 11:12:16 · 60 阅读 · 0 评论 -
linux云服务器实现hadoop的Pseudo-Distributed Operation伪分布式搭建
在搭建Pseudo-Distributed Operation伪分布式架构之前,建议先参考基于linux服务器搭建hadoop平台,完成hadoop的安装。搭建伪分布式结构可分以下几步修改etc/hadoop/core-site.xml文件内容,在文件末尾增加如下代码:<!--指定HDFS中NameNode的地址--><configuration> <property> <name>fs.defaultFS</name原创 2022-01-09 18:37:35 · 919 阅读 · 0 评论 -
linux云服务器实现wordcount案例
在hadoop安装目录下创建wcinput文件夹mkdir input在input文件夹下创建文件touch wc.input在 wc.input文件内添加文本内容vi wc.inputhadoop yarnhadoop mapreduceatguiguatguigu在hadoop安装目录下执行wordcount程序hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount wcinpu.原创 2022-01-05 00:04:27 · 1226 阅读 · 0 评论