大数据学习
文章平均质量分 58
yiran9741
这个作者很懒,什么都没留下…
展开
-
Spark集群搭建及测试中的问题
hadoop成功搭建成功了,在这上面继续搭建spark。在这里交代一下我的每个安装包的版本。Java是1.8.0,Hadoop是1.2.1,spark是1.3.0,scala是2.10.4。 将scala,spark等环境都写入了~/.bashrc中去。 在安装配置Spark应注意以下: 1、在master、slave1、slave2中的spark-env.sh的SPARK_MASTER-IP原创 2016-10-22 15:57:46 · 541 阅读 · 0 评论 -
虚拟机怎么将屏幕放大?
在使用lunix的虚拟机,发现屏幕太小,很多的软件下面的按钮都看不到。所以有很多不方便。琢磨很久,最终知道安装VMwareTools可以调整。 接下来是调整的步骤: 1、关闭虚拟机,编辑虚拟机配置。将光盘修改为使用物理CD光驱。重新启动虚拟机。如图: (这步很重要!之前就是这步没有设置,导致一直不成功!) 2、加载VMwareTools镜像 3、找到VMwareTools的安装包,拷到原创 2016-10-23 21:35:29 · 37956 阅读 · 0 评论 -
在IDEA中开发代码,并运行在Spark集群中的问题
在IDEA中编写scala代码及编译。这里就不详细赘述了。1、spark-submit提交时,总是发现加载失败! 有一个问题是在每个主机的spark-env.sh这个配置文件中SPARK_MASTER_IP=Master,不能是直接的IP地址。这里改好我的程序就没问题了。 2、详细的说明见 :https://my.oschina.net/cjun/blog/509247 如下: 最后运行原创 2016-10-24 19:37:26 · 400 阅读 · 0 评论 -
Hadoop搭建过程中的问题
作为一个liunx的菜鸟,搭建Hadoop集群过程中遇到了很多的问题!为了以后的学习的方便,我将记下搭建的主要步骤及遇到的问题和问题的解决方法!在这次搭建的过程中,我为了简化权限问题,将直接用Root用户的身份登录,但是Ubuntu在默认的情况下并没有开启Root用户,所以需要做以下的设置: 一.开启Root用户 sudo -s vim /etc/lightdm/lightdm.conf原创 2016-10-20 22:04:24 · 282 阅读 · 0 评论 -
hadoop集群启动后没有启动namenode
今天重新启动Hadoop,发现namenode节点没有启动。(昨天好不容易将没有出现的datanode启动来。) 最后学习后是因为namenode默认在/tmp下建立临时文件,但关机后,/tmp下文档自动删除。再次启动Master造成文件不匹配,所以namenode启动失败。在core-site.xml中指定临时文件位置,然后重新格式化。 hadoop.tmp.dir /usr/grid/原创 2016-10-21 10:06:22 · 3081 阅读 · 0 评论 -
hive搭建中的问题
终于搭建好了,纠结了一天!好开心。特此记录自己的心酸过程。 准备: Hadoop-2.6.5 Jdk1.8.0-101 hive-2.1.0 mysql 一、安装mysql apt-get install mysqlserve mysqlclent mysql -uroot -p1234 (-u:用户名,-p:密码,-h:主机) mysql>create database hi原创 2016-11-01 22:02:28 · 1072 阅读 · 1 评论 -
hadoop 2.6.5 HA 分布式搭建
Ha模式是有两个namenode,一个NN(active),一个NN(standby),这样一个active的NN发生故障时standby的NN就可以转成active。 首先要搭建zookeeper。 将zookeeper的安装位置写在~/.bashrc 修改配置文件zoo.cfg 如下:# The number of milliseconds of each ticktickTim原创 2016-11-29 21:30:22 · 316 阅读 · 0 评论 -
启动Hadoop时,出现错误:Unable to load native-hadoop library for your platform
今天启动Hadoop时,发现以下问题:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable网上搜索是说安装的hadoop-2.6.5是在32位的机子上编译的,但是现在运行在64位的机子上,所以出现原创 2016-11-02 20:44:40 · 1287 阅读 · 0 评论