Hadoop
文章平均质量分 60
易悠
事在人为
展开
-
Hadoop2.6.3 安装配置
下载 解压Hadoop2.6.3 tar文件下载链接:http://hadoop.apache.org/releases.html解压文件,至当前文件夹:tar -xzvf hadoop-2.6.3.tar.gz 新建自己的Hadoop目录,移动文件至该目录中新建hadoop目录mkdir /usr/local/hadoop移动解压后的文件到自己新建的hadoop目录当中mv hadoop-2原创 2016-01-10 17:47:03 · 3004 阅读 · 0 评论 -
Maven编译Spark源码总结
1 通过Git下载Spark源码git clone https://github.com/apache/spark.git2 切换Spark源码分支git branch -a git checkout v1.6.3(或者直接下载对应分支的Spark源代码),确保要有make-distribution.sh文件3 修改 make-distribution.sh 文件MVN="/home/hjr/Mav原创 2017-03-06 22:03:06 · 2000 阅读 · 1 评论 -
Hadoop2.6.5/Spark1.6.3 HA集群构建
1 规划部署一共9台机器,HA架构:2台Master,6台Worker,1台Client1.1 网络规划:主机名: sparker001 IP: 192.168.1.101 网关 192.168.1.254 主机名: sparker002 IP: 192.168.1.102 网关 192.168.1.原创 2017-08-02 21:55:20 · 1737 阅读 · 0 评论 -
CDH5.9.0集群部署与搭建
最近新购了一台工作站,急切的想试一下手,就搭建个CDH集群吧,练练手,顺便了解一下最新版的CDH长成什么样子了…… 工作站的配置:Thinkpad P50,Intel(R)Xeon E3 1505M v5@2.80GHz 2.81GHz ;内存48G;显卡4G……1 下载CDH各种RPM包1.1 下载cloudera-manager-installer.bin这个地址可以选择最新的CM的安装文原创 2016-11-23 20:59:55 · 13475 阅读 · 6 评论 -
Hive 1.2.1 安装测试
1 安装MySQL安装服务器:sudo apt-get install mysql-server(注意:期间需要设置root用户的密码哟) 安装客户端:sudo apt-get install mysql-clientsudo apt-get install libmysqlclient-dev检查系统中是否有MySQL服务,出现下面的大概就是成功了sudo netstat -tap|g原创 2016-12-23 20:50:53 · 1699 阅读 · 0 评论 -
Spark1.6.0 on Hadoop-2.6.3 安装配置
安装配置Scala1 下载scala 下载解压scala包:略 附:下载链接 http://www.scala-lang.org/download/2.10.4.html移动scala到指定目录mkdir /usr/local/scalamv scala-2.10.4 /usr/local/scala 2 配置scala环境变量export SCALA_HOME=/usr/l原创 2016-01-14 14:05:46 · 2174 阅读 · 0 评论 -
Spark2.0源码阅读环境搭建 开发环境搭建
Spark2.0源码阅读环境和Spark开发环境,我们选择使用IDEA社区版,所以下载IDEA社区版;并且使用Java8环境。1 jdk8安装下载略 解压到当前目录tar -xzvf jdk-8u101-linux-x64.tar.gz ………… 查看 移动到相应目录(自己新建的目录)mv jdk1.8.0_101 /home/hjr/develop/java82 IDEA 安装原创 2016-08-20 16:05:20 · 6436 阅读 · 2 评论 -
bad symbolic reference. A signature in RDD.class refers to term hadoop in package org.apache which i
Error:scalac: bad symbolic reference. A signature in RDD.class refers to term hadoopin package org.apache which is not available.It may be completely missing from the current classpath, or the versio原创 2016-06-20 13:58:07 · 3907 阅读 · 4 评论 -
Spark Streaming实战(三)
Spark Streaming实战原创 2016-03-27 19:18:20 · 37645 阅读 · 0 评论 -
Spark Streaming实战(二)
Spark Streaming实战原创 2016-03-27 19:17:06 · 536 阅读 · 0 评论 -
Spark Streaming实战(一)
Spark Streaming实战原创 2016-03-27 19:16:41 · 569 阅读 · 0 评论 -
Spark实战-Spark SQL(三)
SparkSQL实战原创 2016-03-27 19:15:21 · 698 阅读 · 0 评论 -
Spark实战-Spark SQL(二)
SparkSQL实战原创 2016-03-27 19:09:31 · 584 阅读 · 0 评论 -
Caused by: java.io.IOException: Permission denied at java.io.UnixFileSystem.createFileExclus
[hjr@master bin]$ ./spark-shellPicked up _JAVA_OPTIONS: -Xmx2048m -XX:MaxPermSize=512m -Djava.awt.headless=truePicked up _JAVA_OPTIONS: -Xmx2048m -XX:MaxPermSize=512m -Djava.awt.headless=true16/03/3原创 2016-03-31 15:58:54 · 11407 阅读 · 0 评论 -
Spark实战-Spark SQL(一)
本文是按照周志胡老师的博客实践的,再次特别感谢周老师!Spark修炼之道(进阶篇)——Spark入门到精通:第十节 Spark SQL案例实战(一) http://blog.csdn.net/lovehuangjiaju/article/details/50639287分为以下主要的几步:获取数据 创建DataFrame DataFrame方法实战 DataFrame注册成临时表使用实战首先原创 2016-02-06 18:02:02 · 4183 阅读 · 0 评论 -
Ubuntu15.10 安装配置SSH服务
## 下载安装SSH ##Ubuntu 下的命令:apt-get install ssh启动SSH服务/etc/init.d/ssh start使用命令验证服务是否启动成功ps -e | grep ssh设置免密码登录SSH生成公钥(id_rsa.pub)和私钥(id_rsa)将公钥(id_rsa.pub)追加到authorized_keys中(authorized_keys中保存所有用户允许以原创 2016-01-08 14:51:47 · 2822 阅读 · 0 评论 -
Hadoop集群安装过程详细记录
1:配置集群静态IP2:安装SSH,设置SSH无密钥登录3: 设置 hostname(ip-hostname)4: 配置Jdk5: 检查防火墙状态,确认为关闭状态ubuntu下查看防火墙状态 :sudo ufw status,默认为关闭(Status inactive)CentOS默认为打开状态6:下载Hadoop,做相关配置core-site.xmlhdfs-site.xmlmaped原创 2016-01-02 23:36:03 · 645 阅读 · 0 评论 -
Spark 临时记录
讯方实训平台 xunfangBD项目基础Jar包设置日志输出级别// import org.apache.log4j.{Level, Logger}Logger.getRootLogger.setLevel(Level.WARN)0 本地开Jar包添加 1 添加Spark源码,调试Spark程序可以参原创 2016-04-07 10:10:10 · 2011 阅读 · 0 评论