[hadoop那些事]大数据综合平台——本科时期收官之作

置顶 于 2021-01-30 22:45:46 发布
阅读量606 收藏 2
点赞数 7
分类专栏： hadoop那些事 文章标签： 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44172732/article/details/113447191
版权

目录

一、写在前面

截至大三上学期（2020年12月），本人写《hadoop那些事》系列已经有25篇了，初衷其实就是比赛时期做笔记用，因为安装hadoop及其组件需要一直保持手感，从虚拟机的ip配置到各种小错以及hadoop、mysql、sqoop、mapreduce、hbase、hive等等；后来写博客是为了帮助同学，以及缓解老师压力，这个过程是真的很磨练人，因为要从0开始，甚至虚拟机的安装，VM的安装开始，一直到 跑MR程序，那是2020年上半年，在家经过疫情的时候，给同学开远程协助都一直开到半夜两三点。然而到现在从这里写一些博客成了我的一个解压方式，因为把曾经我掌握的技术总结分享到网络上影响别人是一件很幸福的事情，在这个过程中我也经历了查阅很多很多博客，官方文档，请教其他同学，浏览器上面的标签密密麻麻，最终调试成功的时候只是我一个人的喜悦，通过博客，可以变成很多人的喜悦，同时每次博客写成后我都会让舍友同学照做一遍看看我遗漏了哪些细节并及时改正，真的很喜欢这段时光，我可以和键盘交流，可以和正在学习的你交流。

——感谢霏霏同学踩坑~~~

二、软件清单

  • VMware® Workstation 15 Pro-15.5.6 build-16341506

  • ubuntu LTS 16.04

  • hadoop 3.1.3

  • jdk 1.8 8u162.x64

  • hbase 2.2.2

  • hive 3.1.2

  • mysql 5.1.40

  • scala 2.11.8

  • spark 2.4.0

  • sbt 1.3.8

  • maven 3.6.3

     如果有大佬看到我这篇文章请先不要谈论用docker部署，问就是在部署docker了

在这里插入图片描述

三、ubuntu LTS 16.04

下载地址：https://releases.ubuntu.com/16.04.7/
官网有可能下载慢，但是比非会员百度云和迅雷云快吧。

如果发现不能用xftp或者xshell传输文件或者编辑，方法如下：传输文件可以用rz -E 需要下载lrzsz ,编辑文件可以更改文件的权限例如chmod 777 文件名称。解决

安装应该就像之前一样，这次默认是桌面版本。
如下图:我新建的相关配置
我新建的相关配置

然后就等呀等，等不到头。 如下图：
在这里插入图片描述
如箭头所示 ，点击一下，就会出现如下图。在这里插入图片描述
点击skip即可。 由于网络问题所以下载东西会非常慢。到后面就很顺畅了。

修改 /etc/sudoers
如下在这里插入图片描述

三、jdk 1.8 8u162.x64

jdk老版本聚集地：https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html
在这里插入图片描述
配置环境变量

vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_162
export PATH=$PATH:$JAVA_HOME/bin

测试是否安装成功如下

java -version

在这里插入图片描述

四、hadoop 3.1.3

vi /etc/profile

export HADOOP_HOME=/usr/hadoop/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin

检测是否安装成功

hadoop version

免密服务（先ssh-keygen）
切换到ssh目录：cd ~/.ssh/

ssh-keygen -t rsa -P ""
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

在这里插入图片描述

core-site.xml

在这里插入图片描述

yarn-site.xml

在这里插入图片描述

hdfs-site.xml
在这里插入图片描述

mapred-site.xml

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

hadoop-env.sh

在这里插入图片描述

必做（去链接里面照做即可）：解决no HDFS_NAMENODE_USER问题

格式化namenode

hdfs namenode -format

最后启动即可：
在这里插入图片描述
测试一个例子：

hadoop jar /usr/hadoop/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar pi 5 5

在这里插入图片描述

hadoop就先到此为止了

五、Maven 3.6.3

下载地址：
https://maven.apache.org/download.cgi?Preferred=https%3A%2F%2Fdownloads.apache.org%2F
在这里插入图片描述
转移位置 配置环境变量

export MAVEN_HOME=/usr/maven
export PATH=$PATH:$MAVEN_HOME/bin

在这里插入图片描述
在这里插入图片描述

六 、scala 2.11.8

vi etc/profile

#scala
export SCALA_HOME=/usr/scala/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin

source /etc/profile
在这里插入图片描述

七 、sbt-1.3.8

wget https://piccolo.link/sbt-1.3.8.tgz
tar -xvf sbt-1.3.8.tgz
cd sbt
mv sbt/ sbt-1.3.8

export SBT_HOME=/usr/sbt/sbt-1.3.8
export PATH=$PATH:$SBT_HOME/bin

source /etc/profile

sbt sbtVersion
在这里插入图片描述

八、mysql 5.1.40

add-apt-repository 'deb http://archive.ubuntu.com/ubuntu trusty main universe'

apt-get update

#命令1
sudo apt-get update
#命令2
sudo apt-get install mysql-server

vim /etc/mysql/mysql.conf.d/mysqld.cnf

注释掉bind-address = 127.0.0.1
在这里插入图片描述

sudo mysql -uroot -p
GRANT ALL ON *.* TO root@'%' IDENTIFIED BY "123456" with grant option;
flush privileges;
exit

systemctl restart mysql

在这里插入图片描述
windows上也可连接成功

九、hbase 伪分布式

http://archive.apache.org/dist/hbase/2.2.2/

环境变量

export HBASE_HOME=/usr/hbase/hbase-2.2.2
export PATH=$PATH:$HBASE_HOME/bin

配置文件

修改 conf/hbase-site.xml

<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://ubuntu:9000/hbase</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/tmp/zookeeper</value>
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
</configuration>

接着修改conf/hbase-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_162
export HBASE_MANAGES_ZK=true

在这里插入图片描述

十、hive 3.1.2

https://mirror-hk.koddos.net/apache/hive/hive-3.1.2/

环境变量

export HIVE_HOME=/usr/hive/hive-3.1.2
export PATH=$PATH:$HIVE_HOME/bin

配置文件

cd /usr/hive/hvie-3.1.2/conf
cp hive-env.sh.template hive-env.sh
vi hive-env.sh

在这里插入图片描述

vi hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- jdbc-url -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://ubuntu:3306/hive?createDatabaseIfNotExist=true&amp;useUnicode=true&amp;characterEncoding=UTF-8&amp;useSSL=false</value>
    </property>
    <!-- jdbc-driver -->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <!-- 数据库用户名 -->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!-- 数据密码-->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <property>
        <name>datanucleus.readOnlyDatastore</name>
        <value>false</value>
    </property>
    <property>
        <name>datanucleus.fixedDatastore</name>
        <value>false</value>
    </property>
    <property>
        <name>datanucleus.autoCreateSchema</name>
        <value>true</value>
    </property>
    <property>
        <name>datanucleus.schema.autoCreateAll</name>
        <value>true</value>
    </property>
    <property>
        <name>datanucleus.autoCreateTables</name>
        <value>true</value>
    </property>
    <property>
        <name>datanucleus.autoCreateColumns</name>
        <value>true</value>
    </property>
    <property>
        <name>hive.metastore.local</name>
        <value>true</value>
    </property>
    <!-- 显示表的列名 -->
    <property>
        <name>hive.cli.print.header</name>
        <value>true</value>
    </property>
    <!-- 显示数据库名称 -->
    <property>
        <name>hive.cli.print.current.db</name>
        <value>true</value>
    </property>
    <property>
        <name>hive.exec.local.scratchdir</name>
        <value>/usr/hive/hive-3.1.2</value>
        <description>Local scratch space for Hive jobs</description>
    </property>
    <!-- 自定义目录start -->
    <property>
        <name>hive.downloaded.resources.dir</name>
        <value>/usr/hive/hive-3.1.2/hive-downloaded-addDir/</value>
        <description>Temporary local directory for added resources in the remote file system.</description>
    </property>
    <property>
        <name>hive.querylog.location</name>
        <value>/usr/hive/hive-3.1.2/querylog-location-addDir/</value>
        <description>Location of Hive run time structured log file</description>
    </property>
    <property>
        <name>hive.server2.logging.operation.log.location</name>
        <value>/usr/hive/hive-3.1.2/hive-logging-operation-log-addDir/</value>
        <description>Top level directory where operation logs are stored if logging functionality is enabled</description>
    </property>
    <!-- 自定义目录end -->
</configuration>

包的适配

解决版本冲突和 jar 包依赖问题

cp /usr/hive/hive-3.1.2/lib/jline-2.12.jar /usr/hadoop/hadoop-3.1.3/share/hadoop/yarn/lib/

下载mysql驱动包到hive目录下的lib目录下

wget http://central.maven.org/maven2/mysql/mysql-connector-java/6.0.6/mysql-connector-java-6.0.6.jar

或者下载好传进去

hive lib下

删除hive中低版本的guava-19.0.jar包，将hadoop中的guava-27.0-jre.jar复制到hive的lib目录下即可。

# 格式化数据库
schematool -dbType mysql -initSchema

# 启动hive
hive

# 查看数据库
hive> show databases;

在这里插入图片描述
在这里插入图片描述

十一、spark

https://archive.apache.org/dist/spark/spark-2.4.0/
在这里插入图片描述

环境变量

export SPARK_HOME=/usr/spark/spark-2.4.0
export PATH=$PATH:$SPARK_HOME/bin

配置文件

cp spark-env.sh.template spark-env.sh
写入如下

export SCALA_HOME=/usr/scala/scala-2.11.8
export JAVA_HOME=/usr/java/jdk1.8.0_162
export SPARK_MASTER_IP=ubuntu
export SPARK_WORKER_MEMORY=4G

启动

sbin/start-all.sh

spark-shell

print(“hello spark!”)
在这里插入图片描述

十二、相关资源

迅雷：

链接：https://pan.xunlei.com/s/VMTtjnW2uYkilC8e5SykA7SbA1 提取码：jzg3

百度云（含虚拟机 paike 123456）

链接：https://pan.baidu.com/s/1BY8eIt-NS5tBZR1-OV1CYQ 提取码：djgw
复制这段内容后打开百度网盘手机App，操作更方便哦–来自百度网盘超级会员V3的分享

在这里插入图片描述

小范今天学Java了嘛？
关注
专栏目录
最全大数据学习路线指南：大数据知识点汇总保姆级教程（2万字长文）
大模型大数据攻城狮的专栏
08-19 170
在大数据的浩瀚海洋中，数据可视化工具就如璀璨的明珠，帮助我们将复杂的数据转化为清晰易懂的图形和图表。PowerBIPowerBI 由微软推出，是一款功能强大的商业智能工具。它提供了丰富多样的可视化选项，从常见的条形图、折线图、饼图，到更复杂的地图、漏斗图等，应有尽有。用户可以根据数据的特点和分析需求，选择最合适的图表类型来呈现数据。其交互式数据分析功能更是一大亮点。用户可以通过点击、筛选、钻取等操作，深入探索数据的细节，发现隐藏在数据背后的规律和趋势。
大数据到底能做什么？需要学习哪些知识？
chengaiyong7640的博客
06-10 160
相信很多大数据的初学者或者想转行大数据开发的朋友最关注的问题就是大数据开发到底可以做什么。 什么是大数据？ "大数据"这个词频繁的出现在媒体是2007年之后的事了。尽管已经过去了10多年的时间，但是大家对它的理解并不统一，甚至有时候会对它有误解，比如很多人将”大数据“跟“大规模数据”混为一谈。 要想知道大数据能做什么，我们得首先搞清楚到底什么是大数据，它有哪些特征。 大数据最明显的特征就是体量...
Hive之——启动问题及解决方案
冰河的专栏
06-02 2万+
问题1： Caused by: javax.jdo.JDODataStoreException: Required table missing : "`VERSION`" in Catalog "" Schema "". DataNucleus requires this table to perform its persistence operations. Either your MetaD
大数据涉及到哪些内容以及有哪些具体的岗位
ehaiju的博客
03-30 1559
首先，从技术体系结构上来看，当前的大数据技术已经趋于成熟，其内容涉及到数据的采集、传输、整理、存储、分析和应用等多个方面，在就业岗位上涉及到大数据开发、大数据分析和大数据运维等岗位。大...
bash: schematool: 未找到命令的解决办法
热门推荐
huicooling的博客
01-26 3万+
初始化hive百度了一下是，输入后报错，如下： [root@cluster-1 conf]# schematool -dbType mysql -initSchema bash: schematool: 未找到命令... 于是我就通过yum命令安装嘛，出错，报错如下： [root@cluster-1 conf]# yum -y install schematool 已加载插件：faste...
普通程序员，如何转为当前紧缺的大数据相关人才？
大数据是什么
06-29 457
对于程序员来说，技术进步大大超过世人的想象，如果你不跟随时代进步，就会落后于时代。 我其实已经听过很多人跟我说过类似的话。只不过不同人嘴里提到的词汇各有不同——大数据、数据挖掘、机器学习、人工智能…… 这些当前火热的概念各有不同，又有交叉，总之都是推动我们掌控好海量数据，并从中提取到有价值信息的技术。 如果你准备入行大数据，关于2019大数据目前的 【发展前景】戳我阅读 【就业...
2019普通程序员，如何转为当前紧缺的大数据相关人才？
lele989的博客
05-31 368
对于程序员来说，技术进步大大超过世人的想象，如果你不跟随时代进步，就会落后于时代。 我其实已经听过很多人跟我说过类似的话。只不过不同人嘴里提到的词汇各有不同——大数据、数据挖掘、机器学习、人工智能…… 这些当前火热的概念各有不同，又有交叉，总之都是推动我们掌控好海量数据，并从中提取到有价值信息的技术。 现在很多人对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路...
薪资翻倍！普通程序员是如何成功转行大数据工程师？
gyx950724的博客
04-03 6986
对于程序员来说，技术进步大大超过世人的想象，如果你不跟随时代进步，就会落后于时代。我其实已经听过很多人跟我说过类似的话。只不过不同人嘴里提到的词汇各有不同——大数据、数据挖掘、机器学习、人工智能…… 这些当前火热的概念各有不同，又有交叉，总之都是推动我们掌控好海量数据，并从中提取到有价值信息的技术。大数据相关职位的面试邀请占比与日俱增很多候选人对大数据相关岗位的青睐并非偶然互联网行业的快速发展，让...
SDCC 2017优秀专题线上展第一站：大数据技术实战峰会首解密
博客
09-05 657
SDCC始创于2007年，十年长空，历久弥新——2016年，SDCC已分别在上海、深圳、成都、杭州、北京五地举办系列峰会，广受当地开发者欢迎。其中，北京作为年度收官之作，聚焦最前沿技术成果，汇聚年度最强实践案例，为中国软件开发者们呈献了一份年度技术实战解析全景图。 精彩从未止步，就在3月19日，为期三日的SDCC 2017首站于上海圆满收官（PPT下载），以绝对干货的技术分享赢得...
「大数据干货」基于Hadoop的大数据平台实施——整体架构设计.pdf
最新发布
12-24
【大数据平台实施——整体架构设计】 大数据作为信息技术领域的一个热门话题，已经成为众多企业和组织追求的新方向。尽管对于大数据是否适合每个公司或组织尚存争议，但不可否认的是，大数据已经在互联网上被广泛...
链家网大数据平台枢纽——工具链
02-25
链家网于2015年成立大数据部门，开始构建基于Hadoop的技术体系，初期大数据部门以运营数据报表需求、公司核心指标需求为主。随着2015年链家网发力线上业务，toB与toC业务齐头并进，数据需求量激增的情况也随之在2016...
[hadoop 的坑] there is no HDFS_NAMENODE_USER defined
qq_44172732的博客
02-23 8449
问题： ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes ERROR: Attempting to operate on hdfs datanode as roo...
[hadoop那些事]hadoop3centos安装配置完结
qq_44172732的博客
02-11 7251
任何一步骤不明白不清楚请私聊我 全力解答
[hadoop那些事] hive安装(mysql8.0安装、hive配置)
qq_44172732的博客
10-26 6894
开始了！
[hadoop 的坑] hadoop的配置文件slaves/workers
qq_44172732的博客
02-21 5137
hadoop3.0以后slaves更名为workers 记录一下2020年2月21日晚2：16
[hadoop那些事] ens33路径配置（遇到ens33中无ip地址情况）
qq_44172732的博客
02-11 3756
首先找到ens33在哪里并进行编辑 vi etc/sysconfig/network-scripts/ifcfg-ens33 TYPE="Ethernet" #网卡类型（通常是Ethemet以太网） PROXY_METHOD="none" #代理方式：为关闭状态 BROWSER_ONLY="no" #只是浏览器：否 BOOTPROTO="static" #网卡的引导协议【static：静态IP...
[hadoop]Flume的安装、配置 及其依赖Flume实时监控特定文件夹上传到HDFS
qq_44172732的博客
05-11 2453
代码驿站一、简单理解作用基本构成二、Flume的安装及使用安装及配置写properties文件启动flume三、启动之后 一、简单理解 作用 Flume提供一种分布式的，可靠地，对大量数据的日志进行高效处理，聚集，移动的服务。flume只能在Unix的环境下运行。 Flume基于流式框架，容错性强，也灵活简单。 Flume，Kafka用来进行数据收集的，Spart，Storm用来实时处理数据，impala用来实时查询。 基本构成 Source 用于采集数据，Source是产生数据流的地方，同时Sour
[hadoop那些事] 高可用完全分布式集群安装
qq_44172732的博客
08-31 2348
愉快的假期就要结束了一、规划二、准备四台机器三、配置HA-hadoophadoop-env.sh：core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xml四、启动顺序1. 确保zookeeper启动成功2. 启动journalnode3. 格式化namenode(第一次就行)4. master同步信息slave15. 在namenode节点（其中任意一个即可）格式化zkfc6. 启动hdfs相关服务7. 启动yarn相关服务8. 启动master历史任务服
评论 17
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小范今天学Java了嘛？

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值