Hadoop知识
Hadoop自学配置及知识
哒哒卡
这个作者很懒,什么都没留下…
展开
-
集群模式下Zookeeper报错“Error contacting service. It is probably not running”的解决办法
执行: zkServer.sh status 报如下错误:ZooKeeper JMX enabled by defaultUsing config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfgError contacting service. It is probably not running.这是由于你的zookeeper数据目录下有历史生成的文件等数据,需删除。解决办法:删除你配置文件内dataDir目录下除myid以外的所有文件(每原创 2021-03-30 19:16:01 · 539 阅读 · 0 评论 -
Did not find winutils.exe: java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME
报错: Did not find winutils.exe: java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME,虽然部分代码仍不影像其运行,但建议处理掉该问题,防止项目中调用出现问题。原因主要有:由于windows环境上没有安装hadoop或者是在haooop的bin目录下缺少winutils.exe文件导致。解决办法–只需要在windows上配置一下hadoop,然后把winutils.exe文件放到h原创 2021-03-25 14:07:37 · 9582 阅读 · 0 评论 -
Windows:IDEA配置Maven、Hadoop详细教程
1.配置Maven1)打开IDEA:File–>Settings,*注意Settings.xml文件配置:仓库地址:python<localRepository>D:\software\repository</localRepository>阿里云镜像:<mirror> <id>alimaven</id> <name>aliyun maven</name> <url原创 2021-03-25 13:24:53 · 4105 阅读 · 1 评论 -
Map-Reduce优缺点
优点MapReduce 易于编程 :它简单的实现一些接口,就可以完成一个分布式程序,这个分布式程序可以分布到大量廉价的PC机器上运行。也就是说你写一个分布式程序,跟写一个简单的串行程序是一模一样的。就是因为这个特点使得MapReduce编程变得非常流行。良好的扩展性 :当你的计算资源不能得到满足的时候,你可以通过简单的增加机器来扩展它的计算能力。高容错性 :MapReduce设计的初衷就是使程序能够部署在廉价的PC机器上,这就要求它具有很高的容错性。比如其中一台机器挂了,它可以把上面的计算任务转移到原创 2020-09-07 11:22:53 · 646 阅读 · 0 评论 -
完整Hadoop伪分布式搭建,明确配置文件修改
1. 运行环境配置通过Xftp、Winscp等将Hadoop jar包上传上传至虚拟机,执行tar -zxvf jar_name -C 指定安装目录(ps:Hadoop安装前应安装好java)1.关闭防火墙关闭防火墙:systemctl stop firewalld.service禁用防火墙:systemctl disable firewalld.service查看防火墙:systemctl status firewalld.service2.修改IPa.配置ipvi /etc/sysc原创 2020-08-27 11:16:14 · 749 阅读 · 0 评论 -
MapReduce开发总结
MapReduce优缺点优点1.MapReduce易于编程;2.良好的扩展性;3.高容错性;4.适合PB级的数据的离线处理;缺点1.不擅长做实时计算、流式计算、DAG计算MapReduce核心思想分布式的运算程序往往需要分成至少2个阶段;第一个阶段的maptask并发实例,完全并行运行,互不相干;第二个阶段的reduce task并发实例互不相干,但是他们的数据依赖于上一...原创 2019-09-11 15:58:27 · 139 阅读 · 0 评论 -
Spark的全分布模式配置
Spark的全分布模式配置主要涉及两个配置文件:spark-env.sh 与 slaves首先需要将安装包解压后的/conf目录下的spark-env.sh.template与slaves.template分别改为spark-env.sh与slaves接下来开始配置全分布模式首先vi spark-env.sh,在末尾添加如下配置参数#配置JDK位置export JAVA_HOME=/o...原创 2019-06-17 13:53:42 · 214 阅读 · 0 评论 -
scala的模式匹配
Scala的模式匹配主要关键字为:match和case匹配变量var str:String = "Hello World"str(7) match{ case 'a' =>println("This is a") case 'b' =>println("This is b") case 'W' =>println("This is W") // _表示其他情况 ...原创 2019-06-12 22:01:24 · 405 阅读 · 0 评论