大数据
Lee_Sung
这个作者很懒,什么都没留下…
展开
-
Ubuntu16.04下CDH 5.14.0 集群使用parcel包的方式接入KAFKA
1、查看kafka与CDH的版本对应https://docs.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_kafka2、下载parcel包和kafka的jar包(1)centos下载el系列,我的CDH版本是5.14.0,搭建在ubuntu16.04上,所以...原创 2019-10-18 11:11:13 · 678 阅读 · 0 评论 -
Hadoop常见问题
本文摘自简书,gk4030 的文章《个人总结:在大数据hadoop路上跳过的坑》 环境说明: CentOS-6.4-x86_64-bin-DVD1.iso hadoop-2.4.1.tar.gz hbase-0.98.3-hadoop2-bin.tar.gz jdk-7u79-linux-x64.tar.gz scala-2.10.4.tgz spark-1.2.0-bin-hadoop转载 2016-11-03 18:28:48 · 4702 阅读 · 0 评论 -
Spark+Scala环境搭建
当时上云计算课的时候,搭建的Hadoop+开发IDE及插件+spark的笔记,这里是第二部分Spark+Scala环境搭建。一、 系统环境CentOS 6.5 Jdk 1.8 Hadoop 2.6.0二、下载安装Scala我们默认jdk云云都已经安装配置好了(JDK+Hadoop的安装配置见另一篇文章),只是单纯的安装配置Scala。Scala的安装和配置较为简单。首先,我们选择从官网(http原创 2016-11-03 19:44:23 · 1407 阅读 · 0 评论 -
Scala与MapReduce开发的IDE插件
Scala与MapReduce的开发需要有一个IDE支持才更方便,本文介绍两个Eclipse插件,方便在Eclipse上开发Scala程序和MapReduce程序。一、 系统环境CentOS 6.5 JDK 1.8 Hadoop 2.6.0 Spark 1.6.0 Scala 2.10.4二、 Eclipse的安装我们这里选择的版本是eclipse-java-juno-SR2-linux,即原创 2016-11-03 21:42:01 · 1968 阅读 · 0 评论 -
RDD Java API 学习总结
RDD Java API 学习总结简介初始操作1 创建入口对象2 创建RDD数据集RDD操作1 转化操作2 合并操作3 获取RDD数据集中的部分或者全部元素向Spark传递函数1 Function TR2 Function T1T2R3FlatMapFunction TR针对每个元素的转化操作1Map2filter3flatMap集合操作行动操作1 reduce原创 2017-05-07 15:33:33 · 2087 阅读 · 1 评论 -
关于在Spark集群中读取本地文件抛出找不到文件异常的问题
关于在Spark集群中读取本地文件抛出找不到文件异常的问题一般情况下,我们在本地ide里写好程序,打成jar包上传到集群取运行,有时候需要读取数据文件,这个时候需要注意,如果程序中读取的是本地文件,那么,要在所有的节点都有这个数据文件,只在master中有这个数据文件时执行程序时一直报找不到文件解决方式1:让每个Worker节点的相应位置都有要读取的数据文件。解决方式2:直接将数据文件原创 2018-01-22 11:23:05 · 3488 阅读 · 0 评论 -
关于在Spark集群中读取本地文件抛出找不到文件异常的问题
关于在Spark集群中读取本地文件抛出找不到文件异常的问题一般情况下,我们在本地ide里写好程序,打成jar包上传到集群取运行,有时候需要读取数据文件,这个时候需要注意,如果程序中读取的是本地文件,那么,要在所有的节点都有这个数据文件,只在master中有这个数据文件时执行程序时一直报找不到文件解决方式1:让每个Worker节点的相应位置都有要读取的数据文件。解决方式2:直接将数据文件上传到hd原创 2018-01-22 11:23:59 · 1342 阅读 · 0 评论 -
常见hdfs操作
常见的HDFS操作命令Hadoop版本2.6.0,命令均在Hadoop-2.6.0/bin目录下操作1、创建目录命令格式:hadoop fs -mkdir [目录名]Eg.:hadoop fs -mkdir /input #在根目录下建立名为input的目录2、上传文件命令put命令从本地文件系统中复制单个或多个源路径到目标文件系统,也支持从标准输入设备中读取输入并写入目标文件系统。分为本地上传和原创 2018-01-22 14:27:12 · 462 阅读 · 0 评论