- 博客(8)
- 资源 (11)
- 收藏
- 关注
原创 Hadoop默认端口表及用途
端口 用途 9000 fs.defaultFS,如:hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address,DataNode会连接这个端口 50070 dfs.namenode.http-address 50470 dfs.namenode.https-address 50100 dfs.namenod
2017-04-14 11:01:12 7029
原创 kafka集群搭建
环境说明选用hadoop集群中的三个节点hadoop01,hadoop02,hadoop03来装kafka,且该三个节点上已安装了zookeeper,如没有安装zookeeper,请参考上一篇文章:搭建三个节点的zookeeper安装kafka需要的其余软件包有scala,slf4j-1.7.6中的slf4j-nop-1.7.6.jar文件,本文使用的各软件包的版本如下:kafka_2.9.2,
2017-04-11 14:45:09 378
原创 搭建三个节点的zookeeper
本文所用环境,如果没有请结合自身环境进行搭建4个hadoop节点,hadoop版本为2.7.1,主机名称分别为hadoop01、hadoop02、hadoop03、hadoop04,且ssh已经建立zookeeper版本为3.4.5,所存放目录为/opt/moudles下 1. 解压zookeeper执行如下命令:cd /opt/moudles/tar –zxvf zookeeper-3.
2017-04-09 17:18:38 2373
转载 Spark性能优化指南——基础篇
本文引自:http://tech.meituan.com/spark-tuning-basic.html前言在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。在美团•大众点评,已经有很多同学在各种项目中尝试使用Sp
2017-04-06 08:28:02 362
转载 Spark性能优化指南——高级篇
本文引自:https://zhuanlan.zhihu.com/p/22024169美团点评技术团队8 个月前前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。数据倾斜调优调优概述有的时候,我
2017-04-06 08:25:14 1160
原创 Idea基于scala语言构建spark开发环境搭建
需要文件 intellij idea需要安装scala 本实验使用的是spark-1.6.1 将spark文件夹下的lib目录下的spark-assembly-1.6.1-hadoop2.6.0.jar拷出作为备用创建spark项目选择File->New->Project 点击Next,输入项目名称,本实验中使用的项目名称为:ScalaWordCount 点击Fini
2017-04-04 22:28:14 1064
原创 Idea基于maven,java语言的spark环境搭建
环境介绍:IntelliJ IDEA开发软件,hadoop01-hadoop04的集群(如果不进行spark集群测试可不安装)准备工作首先在集群中的hdfs中添加a.txt文件,将来需在项目中进行单词统计 构建Maven项目点击File->New->Project… 点击Next,其中GroupId和ArtifactId可随意命名 点击Next 点击Finish,出现如下界面:
2017-04-04 16:48:48 7652 2
原创 解决java.net.UnknownHostException: 主机名: 主机名: 未知的名称或服务
问题场景:使用maven调试构建spark开发环境,于本地执行spark程序,报java.net.UnknownHostException:主机名:主机名:未知的名称或服务错误 解决方式: 修改本地的hosts文件,添加[127.0.0.1 主机名]的映射,比如我的主机名为HaSpark,如下图所示: 修改etc/hosts文件前后对比如下: 修改前: 修改后: 最终运
2017-04-04 09:52:09 78143 3
新一代人工智能发展白皮书.tar.gz
2019-12-25
深入浅出PMP(中文版)
2018-05-23
时间序列分析及应用:R语言(原书第2版)
2018-04-08
《spark机器学习》电影数据集
2017-03-10
libaio-devel-0.3.105-2.x86_64.rpm
2017-01-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人