大数据
文章平均质量分 65
Steve_Monster
这个作者很懒,什么都没留下…
展开
-
java.lang.ClassNotFoundException: org.apache.flume.clients.log4jappender.Log4jAppender
java.lang.ClassNotFoundException: org.apache.flume.clients.log4jappender.Log4jAppender在使用Log4j日志信息放入到Flume时,根据官网 http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html 的提示,在Log4j中加入如下配置信息...原创 2020-02-01 17:19:41 · 626 阅读 · 0 评论 -
在用maven项目写spark程序的时候出现的错误
Exception in thread “main” java.lang.NoSuchMethodError: scala.Product.initinitinit(Lscala/Product;)V出现这一问题,从网上找到了很多的信息,主要是在讲说,在project Structure 的 Global Libraries的有添加Scala SDK 并且在Maven的pom.xml中也有写了s...原创 2020-01-13 10:07:45 · 364 阅读 · 1 评论 -
MapReduce实现单词计数原理及Java编程:WordCount
MapReduce实现单词计数:WordCount单词计数的文本信息(hello.txt):hello can i help youi have a dreammaybe you can help me 实现过程: Map过程:并行读取文本,对读取的单词进行Map操作,每个词将会形成<key,value>。 第一行将会形成:<hello,1>...原创 2020-01-07 16:40:32 · 1419 阅读 · 0 评论 -
WARN No appenders could be found for logger
问题描述: 在Idea中开发Hadoop程序时,出现如下log4j的Warm。log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).log4j:WARN Please initialize the log4j system prope...原创 2020-01-05 20:15:31 · 286 阅读 · 0 评论 -
Windows下安装Hadoop测试环境
Windows下安装Hadoop测试环境hadoop2.7.7https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop for windows2.7.1https://github.com/steve-monster/winUtils第一步: 把hadoop-2.7.7.tar.gz解压后...转载 2019-12-27 13:56:25 · 340 阅读 · 1 评论 -
\Windows下 测试Hadoop时,使用hadoop -version时出现如下错误
Windows下 测试Hadoop时,使用hadoop -version时出现如下错误Error: JAVA_HOME is incorrectly set.Please update D:\profession\bigdata\hadoop-2.7.7\hadoop-2.7.7\conf\hadoop-env.cmd‘-Xmx512m’但在测试Java时,Java一切正常。 出现这个...原创 2019-12-27 11:43:45 · 1763 阅读 · 0 评论 -
Windows下安装Hadoop报错:No class configured for D, dfs.namenode.edits.journal-plugin.D is empty
在Windows下安装Hadoop-2.7.7,格式化NameNode的时候报错:No class configured for D, dfs.namenode.edits.journal-plugin.D is empty 根据提示可以看出,这是因为没有找到 “ D ”,这个类。但自己并没有写什么" D " 这个类。最后发现,在指定路径的时候,用到了"D"。 路径在找的时候,将我的盘符直...原创 2019-12-27 10:50:20 · 1823 阅读 · 3 评论 -
Storm安装
Storm安装搭建介绍软件名版本apache-zookeeperapache-zookeeper-3.5.5.tarapache-stormapache-storm-2.1.0.tarIPHostName192.168.159.111master192.168.159.112slave1192.168.159.113sl...原创 2019-12-09 15:37:46 · 297 阅读 · 0 评论 -
hadoop Storm Spark 的区别
hadoop — Storm — Spark 的区别StormHadoopSpark计算模式流式处理批次处理流式批次处理计算等级内存计算磁盘计算内存计算核心Spouts/BoltHDFS/MPSDD适用场景实时性流数据离线处理实时/离线处理延时性低高中吞吐量低高中结束时间手动关闭任务结束任务结束...原创 2019-12-06 15:39:27 · 279 阅读 · 0 评论 -
Storm入门
Storm入门1. 简介 Apache Storm是一款免费且开源的分布式实时计算系统,Storm被业界称为实时版Hadoop。随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等,大数据实时处理解决方案(流计算)的应用日趋广泛,目前已是分布式技术领域最新爆发点,而Storm更是流计算技术中的佼佼者和主流。 ...原创 2019-12-06 14:19:45 · 178 阅读 · 0 评论 -
Linux虚拟机网络配置(即能连接内网,也能连接外网)
Linux虚拟机网络配置(即能连接内网,也能连接外网)在网卡后加入DNS配置DNS1=8.8.8.8DNS2=144.144.144.1448.8.8.8是一个IP地址,是Google提供的免费DNS服务器的IP地址,Google提供的另外一个免费DNS服务器的IP地址是:8.8.4.4 。用户可以使用Google提供的DNS服务器上网。114.114.114.114是国内移动、电信和...原创 2019-11-19 17:39:06 · 938 阅读 · 0 评论 -
Linux安装Java(使用yum直接安装)
Linux安装Java因为在此之前,我们在连接网络时,Linux是静态IP,同时也能访问外网。且Linux自带的下载器,默认下载的是网络仓库中的软件库,所以直接可以使用yum下载yum install -y java-1.8.0-openjdk-devel.x86_64...原创 2019-11-07 16:54:07 · 1761 阅读 · 0 评论 -
Spark入门
Spark入门 Spark是用scala语句实现,是一种快速运行在廉价集群中的计算引擎,他提供了高级的Java API,同时支持Scala , Python 和R等多种语言,同时他也拥有高级组件如用于处理结构化数据的Spark Sql,机器学习算法库MLlib,实时流数据处理Spark Streaming,以及图计算框架GraphxSpark特点 1.高速性 park在内存中对数据...原创 2019-11-19 16:16:05 · 141 阅读 · 0 评论 -
Kafka简介
Kafka简介官方文档http://kafka.apache.org/documentation/#introductionKafka是一种分布式发布-订阅消息系统。1.起因 在大数据系统中,常常会碰到一个问题,整个大数据是由各个子系统组成,数据需要在各个子系统中高性能,低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。为了已在同时搞定在线应用(消息)和离线应用(数据文...原创 2019-11-19 16:10:37 · 96 阅读 · 0 评论 -
Ambari的安装
Ambari的安装环境说明主机 hadoop1 192.168.10.225 Centos 7.2 hadoop2 192.168.10.243 Centos 7.2 hadoop3 192.168.10.219 Centos 7.2软件包 Hadoop软件镜像压缩包 Am...原创 2019-11-19 16:08:35 · 305 阅读 · 0 评论 -
Ambari介绍
Ambari介绍官方文档https://ambari.apache.org/ Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目。Ambari主要是通过软件的方式,使得Hadoop及相关组件(HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等...原创 2019-11-19 16:04:20 · 448 阅读 · 1 评论 -
安装zookeeper,中myId设置脚本
前提:该脚本是通过服务器的主机名,读取主机号,进而设置zookeeper中的myid参数笔者的主机名格式为:slave1,slave2,slave3…通过$(hostname##*e)来将读取到的主机名,截取单词e之前的,保留最终的数字,最后通过数字+1来追加到myid中#!/bin/bashhostname=`hostname`a=${hostname##*e}echo `expr...原创 2019-11-07 17:02:20 · 3428 阅读 · 0 评论