- 博客(9)
- 收藏
- 关注
RSS订阅原创 IDEA2016.3.5安装
初学SPARK，查找一些资料，建议用IDEA作为编程软件，在此mark一下。1、下载：http://www.jetbrains.com/idea/download/#section=linux解压：tar zxvf ideaIC-15.0.2.tar -C /home /softwares/2、进入$IDEA_HOME目录,输入bin/idea.sh启动，选择右下角plugi
2017-03-09 17:29:22
477
原创 spark集群安装
一、Scala1、scala安装：http://www.scala-lang.org/download/2.10.6.html2、解压： tar -zxvf /home/tools/scala-2.10.6.tgz -C /home/softwares/3、配置环境变量：vi /etc/profileexport SCALA_HOME=/home/softwares/scala
2017-03-08 11:12:16
480
原创 Hadoop集群搭建过程遇到问题
1、 在安装jdk时环境变量都已经配置完成，在java–version时出现的版本号是以前的版本，如图：解决方法：删除旧的链接，把新安装的链接指向给java2、在安装eclipse时，遇到无法找到in、out文件夹单击左键，选择confugaration path，选择application，选择当前文件，选择右侧Aggregate，
2017-03-03 12:46:30
345
原创 eclipse闪退
问题：在hadoop环境下 安装eclipse进行程序编写，可是一打开eclipse或者按自动补全功能键时就出现闪退解决方法：出现此类问题时，在eclipse.ini的后面加入以下三行：-Dorg.eclipse.swt.browser.DefaultType=mozilla-Dorg.eclipse.swt.browser.UserWebKitGTK=true-Dor
2017-03-03 12:41:24
370
原创 离开安全模式
在启动hadoop时，在控制台会提示处于安全模式。在控制台进入hadoop目录下输入bin/hadoop dfsadmin -safemode leave离开安全模式
2017-03-03 12:38:50
508
原创 flume1.6.0安装
1、下载apache-flume-1.6.0-bin.tar.gz解压tar -zxvf apache-flume-1.6.0-bin.tar.gz2、配置环境变量：vi /etc/profileexport?FLUME_HOME=/A/soft/flume-1.6.0??export?FLUME_CONF_DIR=$FLUME_HOME/conf??export?PATH=$
2017-03-03 12:35:27
533
原创 hive安装
hive1.2.1安装：之前已有hadoop2.6.0集群环境1、安装mysqlyum install mysql-server安装好mysql后，进入mysql：mysql -uroot -p 创建hive用户：CREATE USER 'hive' IDENTIFIED BY 'hive'; 赋予权限：GRANT ALL PRIVILEGES ON *.* TO '
2017-03-03 12:32:38
320
原创 Hadoop集群安装
集群安装：1、下载编译下载hadoop2.6.0，解压2、修改配置文件打开hadoop-env.sh(一般在hadoop-2.6.0/etc/hadoop/文件夹下)修改：export JAVA_HOME=/A/soft/jdk1.7.0_79修改core-site.xml,将下面的内容copy到core-site.xml中指定namenode地址-->
2017-03-03 10:25:44
290
原创 Hadoop环境准备——Linux环境
准备工作：虚拟机VM，这个大家自行下载安装就好了，Linux环境支持，折柳这里选择：Centos7系统集群配置：主机名IP进程Master .Hadoop59.67.152.31NameNode、DataNode、NodeManager、JobHistorySlave1.Hado
2017-03-02 21:34:51
454
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人