![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
工程开发技术
文章平均质量分 54
小孩真笨
南理工在读研究生,Hadoop爱好者。熟悉计算机C#/J2EE编程,研究方向为云计算
展开
-
GitHub入门:如何上传与下载工程?
由于经常要在家写代码,所以需要有个能够方便访问代码管理工具。最近尝试了一下GitHub。经过了一翻纠结之后,基本上掌握了他的使用方式。 要使用GitHub需要首先在其网站上进行注册。其官方网站是https://github.com/。注册的流程在这里就不多少了,大家按照它的提示,一步一步操作就可以了。执行完注册流程之后,需要在本地安装一个git bash,通过这个在控制台完成对代码的管理。转载 2015-03-31 15:19:35 · 347 阅读 · 0 评论 -
(待翻译)github入门之遇到SSH Permission Denied问题的原因和解决
安装好Github之后,要在一台电脑上使用github从服务器上clone一个项目,则必须确保该机器的SSH指纹加入了你的Github账号设置中。如果没有设置的话,则会显示:严重错误,权限拒绝等提示。 将机器指纹加入设置的过程,其实相当于认证账号,实现免密码登录的过程。生成一个机器的公有密钥提供给Github记住,一旦机器以对应的私有密钥身份访问Github时,就会与公钥进行配原创 2015-08-25 21:35:20 · 2651 阅读 · 0 评论 -
eclipse离线安装Android ADT 插件
使用eclipse开发Android程序时,需要安装Android开发插件,一般都采用在线url安装的方式。这种方式由于众所周知的GFW的原因,有时很难保证下载的来插件。本文在官网上查到一种离线安装的方式。原创 2015-05-18 13:13:26 · 776 阅读 · 0 评论 -
Hadoop配置机架感知(python脚本)
有些hadoop集群在运行的时候,不完全是绝对平均的分配,不过需要尽可能平均的分配任务,避免某一台或者某几台服务器任务过重,其他服务器无事可做。这个,一方面是需要用到balancer,一个就是机架感知了。通常,balancer是自动启动的。而机架感知则需要单独配置和编写脚本。不过,机架感知,不是说是感知哪个服务器坏了,是根据机架位置的拓扑结构来选取服务器进行任务的权重分配。转载 2015-05-04 16:39:06 · 609 阅读 · 0 评论 -
启动Hadoop集群失败,LiveNode 0
安装好Hadoop集群的NameNode和DataNode,并配置好路径。在终端中输入命令:start-all.sh。,发现出现下面界面:看起来集群似乎已经启动起来了,然而,打开master:50070发现,Live Node为0。多次调试之后发现,系统在一开始确实是启动了。但是随着时间流逝,节点死亡了。(通过jps命令来查看),产生这种问题的原因分析如下:1)防火墙设置问题:==原创 2015-05-04 16:11:57 · 3027 阅读 · 0 评论 -
Win下Eclipse提交Hadoop程序出错:org.apache.hadoop.security.AccessControlException: Permission denied: user=D
描述:在Windows下使用Eclipse进行Hadoop的程序编写,然后Run on hadoop 后,出现如下错误:11/10/28 16:05:53 INFO mapred.JobClient: Running job: job_201110281103_000311/10/28 16:05:54 INFO mapred.JobClient: map 0% reduce 0%转载 2015-04-21 22:34:58 · 304 阅读 · 0 评论 -
利用eclipse管理Hadoop集群文件系统
成功安装Hadoop源代码,并对其进行路径配置和环境配置后,面临如何图形化直观管理Hadoop集群的文件系统,以及如何使用Hadoop集群进行程序开发的问题了。本文着重解决上述两个问题,即使用eclipse插件来配置集群管理的目标。需要准备的软件1. Hadoop0.20系列的源代码,本文使用的是: hadoop-0.20.203.0,使用这个版本考虑到该版本作为稳定版提供使原创 2015-04-17 15:50:20 · 712 阅读 · 0 评论 -
CentOS 设置静态IP 方法
1.修改网卡配置 编辑:vi /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 #描述网卡对应的设备别名,例如ifcfg-eth0的文件中它为eth0 BOOTPROTO=static #设置网卡获得ip地址的方式,可能的选项为static,dhcp或bootp,分别对应静态指定的 ip地址,通过dhcp协议获得的ip转载 2015-04-15 16:22:26 · 382 阅读 · 0 评论 -
eclipse更新插件plugin之后如何clean使之生效
平时使用eclipse之后,难免需要进行相应的插件安装。一般采用的方式就是直接将需要的插件jar包复制到eclipse/plugins路径下。之后重启eclipse使之生效即可。但是,在更新或者第二次安装修改的同名jar包之后,执行上述操作后,eclipse重启后并不能检测到jar包的变化,不能生效。此时需要利用eclipse的clean命令。需要注意的是:此处所说的clean命令不同于e原创 2015-04-16 22:43:45 · 3886 阅读 · 0 评论 -
myeclipse怎么样统一全部文件编码
程序员利用myeclipse进行开发时,如果不修改默认的编码方式,myeclipse会根据操作系统的平台默认选择开发方式,造成对新建网页中的编码格式不支持。有时候会提示另存为其他编码,但是还是很浪费时间的。因此,可以通过修改默认编码方式来实现对编码方式的统一支持。 myeclipse下怎么样统一全部文件编码?windows---->preferences----原创 2015-03-31 15:44:37 · 533 阅读 · 0 评论 -
MyEclipse10中修改servlet & jsp的模板代码
这是在MyEclipse10中修改servlet 以及 jsp模板代码的方法,怕自己忘记,做点记录。Servlet : MyEclipse\Common\plugins\com.genuitec.eclipse.wizards_9.0.0.me201108091322.jar com.genuitec.eclipse.wizards_9.0.0.me2011080转载 2015-03-31 15:43:21 · 676 阅读 · 0 评论 -
使用Docker部署Spark集群
使用Docker部署Spark集群克隆包含启动脚本的git仓库启动Spark0.8.0集群并切换至Spark Shell环境不带参数运行部署脚本*运行一些小的例子终止集群克隆包含启动脚本的git仓库*git clone -b blogpost git@github.com:amplab/docker-scripts.git当然,在这之前你必须已经配置了Github的SSH密钥认证,如果没原创 2015-08-25 21:55:40 · 1069 阅读 · 0 评论