Spark
文章平均质量分 82
skdskd
这个作者很懒,什么都没留下…
展开
-
JDK7 install
转:http://blog.csdn.net/luxiaoyu_sdc/article/details/7303155ubuntu 安装jdk7,现在来总结一下:第一步:下载jdk-7-linux-i586.tar.gz直接在ORACLE的官网中下载就可以:http://www.oracle.com/technetwork/java/javase/downloads/java-se...原创 2015-04-05 21:13:19 · 93 阅读 · 0 评论 -
集群地址列表
集群状态信息 :http://localhost:50070/作业信息 :http://localhost:8088/cluster原创 2015-05-14 20:53:27 · 298 阅读 · 0 评论 -
VirtualBox虚拟机网络设置(四种方式)
VirtualBox的提供了四种网络接入模式,它们分别是: 1、NAT 网络地址转换模式(NAT,Network Address Translation) 2、Bridged Adapter 桥接模式 3、Internal 内部网络模式 4、Host-only Adapter 主机模式 第一种 NAT模式 解释: NAT模式是最简单的实现虚拟机上网的方式,你可以这样理解:Vhost访问网...原创 2015-04-17 16:55:22 · 926 阅读 · 1 评论 -
配置Hadoop分布式集群环境
1.查看master IP地址master@master-VirtualBox:~$ ifconfigeth0 Link encap:Ethernet HWaddr 08:00:27:14:8a:71 inet addr:10.0.2.15 Bcast:10.0.2.255 Mask:255.255.255.0master@master-VirtualB...原创 2015-04-17 16:54:51 · 440 阅读 · 0 评论 -
Slave2
1.mountslave1@slave1-VirtualBox:~$ sudo mkdir /mnt/shared[sudo] password for slave1: mkdir: cannot create directory ‘/mnt/shared’: File existsslave1@slave1-VirtualBox:~$ sudo mount -t vboxsf slave...原创 2015-04-17 14:46:36 · 298 阅读 · 0 评论 -
Slave1
1.mountslave1@slave1-VirtualBox:~$ sudo mkdir /mnt/shared[sudo] password for slave1: mkdir: cannot create directory ‘/mnt/shared’: File existsslave1@slave1-VirtualBox:~$ sudo mount -t vboxsf slave...原创 2015-04-17 08:28:45 · 412 阅读 · 0 评论 -
常见错误
1.jps没有datanode进程************************************************************/2015-04-16 16:14:49,728 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: registered UNIX signal handlers for [TERM...原创 2015-04-16 18:18:54 · 123 阅读 · 0 评论 -
vmware 与 联网
详见附件需要注意一下几点1.手动配置DNSVMware中选择编辑-virtual network editor-nat-nat setting-DNS setting (自己主机的DSN)原创 2015-04-14 14:11:50 · 100 阅读 · 0 评论 -
ubuntu 14.04 x64 下完美安装搜狗拼音输入法
1:到搜狗官网下载搜狗拼音输入法,选择你系统对应的软件包,我系统是64位的,所以我选择了amd64的http://pinyin.sogou.com/linux/?r=pinyin2:用gdebi这个软件安装,它能够安装所有依赖关系,如果你没有安装gdebi,请先安装该软件; sudo apt-get install gdebi我用的是这种方法,其它的方法我没试过,所以不知道行不行...原创 2015-04-13 16:30:56 · 159 阅读 · 0 评论 -
转:linux下文件夹的创建、复制、剪切、重命名、清空和删除命令
在home目录下有wwwroot目录,wwwroot下有sinozzz目录,即/home/wwwroot/sinozzz 一、目录创建 在/home/wwwroot目录下新建一个sinozzz123的文件夹 mkdir /home/wwwroot/sinozzz123 二、目录复制 1.把/home/wwwroot/sinozzz里面的文件和文件夹等复制到...原创 2015-04-12 10:57:57 · 153 阅读 · 0 评论 -
eclipse中配置hadoop2.6开发程序
如附件所示,同时需要注意两点:1.无需编译插件,直接在网上下载插件https://github.com/winghc/hadoop2x-eclipse-plugin/realease/2.需要在官方网站下载Eclipse原创 2015-04-12 08:23:28 · 97 阅读 · 0 评论 -
伪分布式版
sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml[html] view plaincopy<configuration> <property> <name>hadoop.tmp.dir</name> ...原创 2015-04-10 18:56:09 · 164 阅读 · 0 评论 -
Spark1.3+ubuntu 14.10+hadoop 2.6(单机版)
单机版在Ubuntu下创建hadoop用户组和用户hadoop的管理员最好就是以后要登录桌面环境运行eclipse的用户,否则后面会有拒绝读写的问题出现。当然不是也有办法办法解决。 1. 创建hadoop用户组; sudo addgroup hadoop 2. 创建hadoop用户;、 sudo adduser -i...原创 2015-04-10 15:31:20 · 120 阅读 · 0 评论 -
SSH
ssh: connect to host localhost port 22: Connection refused 问题2012年10月11日 ⁄ 综合 ⁄ 共 388字 ⁄ 字号 小 中 大 ⁄ 评论关闭命令:ssh localhost错误信息:ssh: connect to host localhost port 22: Connection refused 错误原因...原创 2015-04-10 09:24:27 · 96 阅读 · 0 评论 -
spark应用程序的运行架构
几个基本概念:(1)job:包含多个task组成的并行计算,往往由action催生。(2)stage:job的调度单位。(3)task:被送到某个executor上的工作单元。(4)taskSet:一组关联的,相互之间没有shuffle依赖关系的任务组成的任务集。一个应用程序由一个driver program和多个job构成。一个job由多个stage组成。一个stage由多...原创 2015-08-21 12:12:24 · 141 阅读 · 0 评论