Hadoop&Spark环境配置
dabokele
这个作者很懒,什么都没留下…
展开
-
Win7 Eclipse Hadoop2.4插件配置
准备工作: 1、下载hadoop2x-eclipse-plugin-master.zip Github地址:https://github.com/winghc/hadoop2x-eclipse-plugin 百度网盘地址:http://www.pan1234.com/result.jsp?wp=0&op=0&ty=gn&q=hadoop原创 2015-11-05 20:53:10 · 972 阅读 · 0 评论 -
win7 VMware CentOS桥接(bridge)模式网络配置
主要内容参考自:centos下vmware 桥接设置静态ip例子关于虚拟机网络配置的文章:Win7+VMware Workstation环境下的CentOS-Linux网络连接设置(推荐阅读)win7 访问本机的CentOS 6.3 上的web项目以及 互相通信访问( CentOS运行于本机VMware虚拟机中)Win7下虚拟机上Li原创 2015-09-22 10:03:31 · 5762 阅读 · 0 评论 -
CentOS配置
1、在Vmware中安装好虚拟机。2、客户机(即虚拟机中的centos)网络连接使用仅主机模式Host-only3、在主机中网络配置上,配置IP地址1、使用PieTTY远程连接该虚拟机2、使用winSCP可以用于主机,客户机之间的文件传递将该会话保存,就不需要每次进行设置。3、给linux安装jdk 使用winSCP将原创 2015-09-22 10:07:21 · 618 阅读 · 0 评论 -
Hadoop-1.0.4伪分布安装与配置
1、采用伪分布模式安装 将hadoop-****.tar.gz复制到linux的/usr/local目录下。2、解压,重命名 #tar -xzvf hadoop-1.0.4.tar.gz #mv hadoop-1.0.4 hadoop3、配置环境变量 vi /etc/profile,在文件java_home后添加,原创 2015-09-22 10:09:48 · 852 阅读 · 0 评论 -
安装配置Kafka
1,下载kafka安装包,解压缩,tar -zxvf kafka_2.10-0.8.2.1.tgz2,修改/etc/profile文件,增加KAFKA_HOME变量3,进入KAFKA_HOME/config目录(1)修改server.properties文件broker.id=0host.name=master(在slave1中,master-->slave原创 2015-09-24 10:06:16 · 811 阅读 · 0 评论 -
flume1.4.0 保存文件到hdfs错误调试
报错如下解决方案:将FLUME_HOME/lib目录下的jar文件,替换成HADOOP_HOME/share/hadoop/common/lib下版本更新的jar文件原创 2015-09-24 10:09:37 · 593 阅读 · 0 评论 -
Win7 Eclipse Hadoop2.4插件配置
准备工作: 1、下载hadoop2x-eclipse-plugin-master.zip Github地址:https://github.com/winghc/hadoop2x-eclipse-plugin 百度网盘地址:http://www.pan1234.com/result.jsp?wp=0&op=0&ty=gn&q原创 2015-09-24 10:12:24 · 537 阅读 · 0 评论 -
Spark程序开发-环境搭建-程序编写-Debug调试-项目提交
1,使用IDEA软件进行开发.在idea中新建scala project, File-->New-->Project.选择Scala-->Scala2,在编辑窗口中完成WordCount程序的编写,完整程序如下:object WordCount { def main(args: Array[String]) { val conf = new Spark原创 2015-09-24 10:33:16 · 1785 阅读 · 0 评论