云计算
文章平均质量分 62
lda_ming
这个作者很懒,什么都没留下…
展开
-
安装hive后使用mysql作为数据库无法正常启动问题
安装了mysql,并且成功创建hive用户和hive数据库后下载hive apache-hive-0.13.1-bin.tar.gz 版本,解压,并配置hive-site.xml和hive-env.xml文件后,启动hive,发现hive无法启动,报错如下:Exception in thread "main" java.lang.RuntimeException: java.lang.Ru原创 2015-09-08 14:20:11 · 2324 阅读 · 0 评论 -
intellij idea 搭建scala环境和一些问题
开发scala的IDE目前主要有三种,eclipse加scala插件,intellij idea,NetBeans。eclipse开发scala效率太差了,用了几次之后经常想摔电脑,于是改用intellij,倒是快了很多,但是感觉现在版本还不是很成熟,偶尔会出现啥都没干然后内存飙升的情况。NetBeans没有用过就不评论了。下面主要介绍一下intellij搭建scala开发环境的过程安装的版本原创 2016-05-17 17:21:39 · 11942 阅读 · 0 评论 -
运行hadoop程序遇到的一些问题及解决方案
hadoop版本2.2.0在安装完hadoop后经常遇到的一些问题有:1、发现datanode启动不起来可能原因:格式化namenode后datanode和namenode的版本ID不一致解决方式:找到namenode下面的VERSION文件的clusterID、namespaceID,拷贝到datanode去,路径name/current/VERSION如果不知道na原创 2015-08-24 18:22:59 · 2633 阅读 · 0 评论 -
hdfs的balancer功能、hadoop增删节点小试
版本:hadoop2.2.0近期发现,试验环境2个datanode节点,往hdfs put数据,无数据备份情况下每次都只往节点1写数据,于是想自己动手平衡一下数据。操作:在hadoop sbin目录下的脚本start-balancer.sh,调整平衡的范围执行脚本 ./start-balance.sh -threshold 5以上命令的意思是先统计hdfs利用率,比如node1原创 2016-03-16 17:21:13 · 889 阅读 · 0 评论 -
启动spark-shell提示scala版本不一致的解决
spark版本:1.3.1scala版本:2.10.5前段时间为了折腾scala IDE环境,对配置文件进行了折腾,最后不知道修改了哪个配置,今天想启动spark-shell发现提示错误,错误信息如下:error: while compiling: during phase: namer library version: version 2原创 2016-02-19 16:45:15 · 5917 阅读 · 0 评论 -
解决hive客户端无法连接远程hive server问题
问题描述远端主机 hadoop01 安装了hive server并且已经启动在hadoop02机器上安装hive作为客户端想登陆server,发现提示错误:Logging initialized using configuration in jar:file:/opt/hive/lib/hive-common-0.13.1.jar!/hive-log4j.properties原创 2015-09-15 11:25:37 · 8369 阅读 · 1 评论 -
mysql出现权限问题无法创建新数据库&启动mysql失败问题,问题解决
1、mysql错误码1044,权限错误当用root创建新数据库时,发现很奇怪的问题,root权限居然无法创建数据库,看了网上很多文档说是root创建密码问题,按照网上方法修改仍然没有起效后来发现自已原来安装过mysql,已经创建了var/lib/mysql 文件夹,然后卸载重装没有删除这个文件夹,这个文件夹里面的mysql权限文件是原来的mysql用户的,新的mysql用户虽然用户名也是m原创 2015-09-07 23:55:44 · 9576 阅读 · 0 评论 -
问题安装完hadoop后无法连接dfs
安装好namenode和datanode后,1)格式化hdfs成功namenode -format:格式化Hdfs文件系统2)启动所有hadoop成功3)但是查看hdfs hadoop dfsadmin -report :查看报告显示连接失败15/06/16 11:02:39 INFO ipc.Client: Retrying connect to server原创 2015-06-16 23:40:13 · 1292 阅读 · 0 评论 -
在eclipse配置hadoop开发环境
配置环境:虚拟机安装伪分布式hadoop环境虚拟机环境:centos 6.6eclipse环境:win7hadoop版本:2.2.0eclipse 插件:hadoop2x-eclipse-plugin需要注意的问题:hadoop 2X与hadoop1X相比配置上有了比较大的改变,如果之前搭过1X环境的要注意这些改变,要不然很容易因为惯性思维导致配置错误。这其中最大的差别就是多了原创 2015-08-20 11:45:55 · 637 阅读 · 0 评论 -
spark利用MLlib实现kmeans算法实例
spark版本 1.3.1scala系统环境2.10.4 程序编译版本2.11.8需要注意的是,训练数据和待测试数据都要是浮点型的,如果是int型的数据的话会报错package Kmeansimport org.apache.spark.mllib.clustering.KMeansimport org.apache.spark.mllib.linalg.Vector原创 2016-07-05 10:36:13 · 2876 阅读 · 0 评论