Hadoop
Hadoop的搭建以及Hadoop的相关例子。
不羁_神话
追寻先烈的遗志,纵观古今得心志。
要么一往无前,要么一败涂地。
故不积跬步,无以至千里。
大道至简,短小精悍。
有志者,事竟成。
展开
-
spark-2.4.7的搭建以及pyspark的简单例子
今天,接着跟大家分享一下spark的搭建,spark是一个分布式的计算框架,与MapReduce的区别在于可以准实时处理大数据,是Apache的顶级开源项目之一,目前呢spark稳定版本是spark-2.4.7,所以,我是用的spark-2.4.7,请各位朋友留意一下。关于spark呢,大家如果有兴趣可以自己再找一些资料查阅一下。spark包的获取地址,大家根据hadoop版本,自行对应下载:spark-2.4.7我选择的是因为我的hadoop版本是hadoop-2.7.7的。首先,将spark包传入原创 2020-12-23 22:12:58 · 1862 阅读 · 0 评论 -
sqoop搭建
今天,接着跟大家分享一波sqoop的搭建。我们要通过以下的安装包搭建sqoop,链接:https://pan.baidu.com/s/1Bo6kZjeWCdcB7TvDc40vRw提取码:csdn复制这段内容后打开百度网盘手机App,操作更方便哦用xftp工具将sqoop包传入对应hadoop目录下面安装过程,如下图:解压过程,如下图:重命名:配置sqoop的环境变量,命令:vi /etc/profile大家根据自己对应的sqoop路径配置,我这里的配置如下:之后,我们可以测试一原创 2020-12-23 21:24:28 · 242 阅读 · 0 评论 -
flume搭建
关于flume,我个人的理解是这样的,flume是一款不错的日志监控工具,可以分布式部署,flume的代理Agent由source(数据采集器),channel(缓存消息队列),sink(接收器)构成。所以,flume的核心角色是Agent,通过Agent可以从其他服务中采集数据,并通过内部event流的形式传输到sink,并根据需求最终向下一个Agent传输或者进行集中式存储。Flume日志采集系统分为简单结构和复杂结构。接下来就是搭建过程。所需材料:flume安装包,hadoop集群,telnet连接原创 2020-12-01 12:27:28 · 347 阅读 · 0 评论 -
Hive搭建
对于Hive的搭建,我们需要准备的材料有:hive包:apache-hive-2.3.7-bin.tar.gz,Java包:mysql-connector-java-5.1.49.jar原创 2020-11-30 12:00:13 · 367 阅读 · 0 评论 -
Centos7安装mysql80.0.22
今天,接着补齐发文,我的课程开Hadoop的课。自己觉得挺有意思就自学了。最近一直安装docker,redis等软件,开始熟悉Xshell等工具的使用。所以,发文的时间有点抽不出来,不过有时间就一定发文。对于搭建Hive,前提是搭建好hadoop集群和mysql数据库。对于hadoop集群的搭建,我之前的文章写了,大家如果没有搭建的可以参照:Hadoop集群搭建1。如果在搭建过程遇到问题的朋友,可以跟我私聊,我给你想办法。因为我在搭建hadoop的过程中也遇到了许多问题,导致搭建了几十次。。不过,到最后算原创 2020-11-29 18:06:48 · 218 阅读 · 0 评论 -
Zookeeper的搭建
我今天又学会搭建Zookeeper,我看完书上的介绍后,对zookeeper的理解是这样的,当集群运行时,难免会出现故障/bug等问题导致任务失败,namenode节点又是很关键的节点,如果,namenode节点失败,那么集群也就不工作了。在Hadoop1.x的版本中就是因为单点故障,导致Hadoop1.x的使用效果并不很理想。在Hadoop2.x的版本中因为出现了zookeeper,所以针对单点故障的解决有了办法,就是使用zookeeper创建备份的namenode节点,每隔一段时间,namenode节点原创 2020-11-04 16:51:07 · 218 阅读 · 0 评论 -
Hadoop集群搭建2
我们接着Hadoop集群搭建1的文章继续搭建Hadoop集群。我们先前在Hadoop集群搭建1的时候已经克隆好了slave1和slave2两台虚拟机了。现在,我们如果是16G或者是更高内存的朋友,可以直接打开三台虚拟机,否则,最好一台一台的开,我们先修改slave1的配置。因为,从master直接克隆过来的slave1IP地址和主机名都是相同的,所以,我们需要修改。先停止防火墙服务,再修改主机名。修改IP地址,如下图:重启网络服务,查看IP地址,如下图:重启虚拟机slave1,完成配置。原创 2020-11-02 12:17:44 · 169 阅读 · 0 评论 -
Hadoop集群搭建1
现在,我这学期开了Hadoop的课,虽然老师讲的不动听,但是我自己对Hadoop还是很感兴趣的,所以,就看Hadoop的书,学了一些Hadoop的搭建,和Hadoop连接Eclipse等东西。在这个过程中,自己也学到了一些关于linux的操作命令,和vi编辑器简单使用方法。注意!!要求本机内存至少8G-12G,要不然4G内存会卡死的,我之前不熟悉这些硬件的作用,我笔记本内存是4G的,打开虚拟机直接卡死屏幕黑掉,动也动不了,只能强制关机。我现在是台式机内存24G的,运行虚拟机压力不是很大,如下图:本机内原创 2020-11-02 11:31:36 · 170 阅读 · 0 评论