Hadoop
文章平均质量分 63
henry860916
水滴石穿
展开
-
Hadoop Yarn集群 主节点的 data node没有启动成功
在启动hadoop集群的时候,jps发现主节点的data node没有启动。首先查看loggedit /usr/local/hadoop/logs/hadoop-tizen-datanode-samsung.log如下:capacity-scheduler/*.jarSTARTUP_MSG: build = https://git-wip-us.apache.org/r原创 2016-01-17 14:47:59 · 2830 阅读 · 0 评论 -
eclipse + pydev + spark + hadoop
1. java 安装http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmljdk我选择linux x86版本gz注意安装好后,需要更新/usr/bin/java 软连接为解压后的javajava -version要显示下载后的版本号2. eclipse 安装htt原创 2017-05-24 16:01:30 · 1168 阅读 · 0 评论 -
spark 命令行环境 python
1. 安装python,安装好后查看python版本$ python --versionPython 2.7.6从下面的pyspark.sh中可以看出,默认是支持2.7的python(spark版本是spark-1.6.0-bin-hadoop2.6)if hash python2.7 2>/dev/null; then # Attempt to use Python 2.7,原创 2016-01-24 10:09:35 · 7798 阅读 · 0 评论 -
我理解的云计算与大数据
刚接触云没多久,这里针对当前的云概念,提出自己的个人看法,每个人都有自己的见解与抉择,不喜勿喷~~首先,大家都知道根据云层次不同,主要分为以下三层SAAS:software as a service,即软件作为一种服务提供给用户PAAS:platform as a service,即平台作为一种服务提供给用户IAAS:infrastructure as a service,即基础设原创 2016-01-04 20:23:25 · 2050 阅读 · 0 评论 -
基于eclipse maven 开发 spark 集群计算
1. 根据前面的文章,搭建好spark on yarn的集群,即hadoop和spark均搭建成功/usr/local/hadoop/sbin/start-all.sh启动hadoo yarn6661 NameNode7163 ResourceManager7300 NodeManager7012 SecondaryNameNode3119 7512 Jps6795 Dat原创 2016-01-23 21:51:14 · 569 阅读 · 0 评论 -
Spark on Hadoop Yarn 部署
前提:haoop yarn已经部署完毕,关于hadoop yarn的部署已经在前面文章中说明1. 安装scala下载scala-2.11.7.tgzsudo ln -s /home/tizen/share/software/scala-2.11.7 scalaexport SCALA_HOME=/usr/local/scalaexport PATH=$PATH:$SCA原创 2016-01-19 19:38:39 · 555 阅读 · 0 评论 -
32 位 的hadoop 编译hadoop 2.7.1
1. 安装jdk, 直接apt get openjdk-7-jdk2. 安装openssl ,直接apt get openssl3. 安装maven,直接apt get maven4. 安装protobuftar -zxf protobuf-2.5.0.tar.gzcd protobuf-2.5.0 ./configure --prefix=/u原创 2016-01-17 21:28:03 · 557 阅读 · 0 评论 -
Hadoop Yarn 集群 从节点的data node没有启动成功
jps发现主节点的datanode启动成功,但是次节点的datanode没有启动成功发现log如下:the: ssh: connect to host the port 22: Connection timed outOpenJDK: ssh: connect to host openjdk port 22: Connection timed outtizen@datanode's原创 2016-01-17 15:50:03 · 1730 阅读 · 0 评论 -
Hadoop Yarn connection refused 警告
$ start-dfs.sh 16/01/17 16:17:04 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableStarting namenodes on [OpenJDK Cli原创 2016-01-17 16:18:48 · 1297 阅读 · 0 评论 -
hadoop Yarn 搭建集群时错误 主节点 NameNode 没有启动成功
执行start-dfs.sh发现namenode没有启动成功,查看日志后发现如下错误2016-01-17 14:32:11,562 INFO org.apache.hadoop.util.GSet: Computing capacity for map NameNodeRetryCache2016-01-17 14:32:11,562 INFO org.apache.hadoop.原创 2016-01-17 14:06:57 · 2601 阅读 · 0 评论 -
Hadoop Yarn 集群搭建
1. 服务器部署192.168.0.101 主名字节点192.168.0.101 备名字节点192.168.0.101 数据节点1192.168.0.102 数据节点22. /etc/hosts 设置192.168.0.101 namenode192.168.0.102 datanode3. ssh 免密码登录$ ssh-keygen -t原创 2016-01-17 14:04:36 · 602 阅读 · 0 评论