Hadoop
文章平均质量分 70
Joker_Jiang3
码畜
展开
-
报java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows错误
报java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows错误解决方法:在C:/Windows/System32 添加文件:hadoop.dll各版本hadoop的 hadoop.dll下载地址:https://github.com/4ttty/winutils如果还不行再配置hadoop的环境变量各版本Hadoop的下载地址:https://archive.apache.org/dist/had原创 2021-07-04 21:53:15 · 838 阅读 · 2 评论 -
基于Flume日志采集框架(完整版)
基于Flume日志采集框架(完整版)一.框架流程图这篇博客有讲Spring boot+log4j+flume+Kafka的日志实现的上半部分,这里是在上半部分的基础上完成下半部分,形成一整套流程二.配置文件设置1.在/usr/local/flume/test的目录下,复制demo.properties 文件为flume1.conf这是采集的配置文件cp demo.properties flume1.conf2.创建输送数据的配置文件flume2.conf所有配置文件的IP都改成自己的#原创 2020-08-17 10:26:56 · 676 阅读 · 0 评论 -
Hadoop分布式集群搭建
Hadoop分布式集群搭建一.分布式环境搭建之环境介绍之前的博客我已经介绍了如何在单机上搭建伪分布式的Hadoop环境,而在实际情况中,肯定都是多机器多节点的分布式集群环境,所以本文将简单介绍一下如何在多台机器上搭建Hadoop的分布式环境。我这里准备了三台虚拟机作为服务器,IP地址配置如下:192.168.150.10192.168.150.11192.168.150.122.修改三台服务器主机名为hadoop01、hadoop02、hadoop03vim /etc/hostnam原创 2020-08-13 21:04:35 · 218 阅读 · 0 评论 -
Hadoop伪分布式安装
Hadoop伪分布式安装一.配置虚拟机静态IP安装好虚拟后在菜单栏选择编辑→ 虚拟网络编辑器,打开虚拟网络编辑器对话框,选择Vmnet8 Net网络连接方式,随意设置子网IP,点击NAT设置页面,查看子网掩码和网关,后面修改静态IP会用到。检查宿主机VM8 网卡设置,打开网络和共享中心→ 更改适配器设置→,在VMware Network Adapter VMnet8上单击右键,选择属性按钮打开属性对话框。3.虚拟机配置vim /etc/sysconfig/network-sc原创 2020-08-11 20:38:54 · 509 阅读 · 0 评论