- 博客(10)
- 收藏
- 关注
原创 关于批量下载那些小事
今天编写批量下载apk的脚本,使用了linux shell中的awk以及sed,发现这两个工具在处理文本的时候真的是很方便的啊。同时wget也是一款不错的下载软件。要多多学习shell才行呀!
2013-09-23 18:44:05 576
转载 hadoop集群默认配置和常用配置
配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop版本不同,导致无法生效。浏览更多的配置,有两个方法:1.选择相应版本的hadoop,下载解压后,搜索*.xml,找到core-default.xml,hdf
2013-09-13 18:25:49 798
转载 JAVA操作HDFS API(hadoop)
HDFS API详解 Hadoop中关于文件操作类基本上全部是在"org.apache.hadoop.fs"包中,这些API能够支持的操作包含:打开文件,读写文件,删除文件等。库中最终面向用户提供的接口类是FileSystem,该类是个抽象类,只能通过来类的get方法得到具体类。get方法存在几个重载版本,常用的是这个: static FileSystem get
2013-09-11 17:18:28 1851
转载 HadoopWord第一个实例运行的介绍(甲壳虫)
首先确保hadoop已经正确安装、配置以及运行。拷贝WordCount.java到我们的文件夹,下载的hadoop里带有WordCount.java,路径为:hadoop-0.20.203.0/src/examples/org/apache/hadoop/examples/WordCount.java进行拷贝操作[plain] view plai
2013-09-11 11:21:20 1126
转载 StringTokenizer类的详解
StringTokenizer是一个用来分隔String的应用类,相当于VB的split函数。1.构造函数public StringTokenizer(String str)public StringTokenizer(String str, String delim)public StringTokenizer(String str, String delim, boolean
2013-09-09 08:52:02 839
原创 在linux环境下安装hadoop环境和配置
今天下午花了一下午的时间在虚拟机的linux平台下面配置了hadoop,其中出现了一些问题,但是通过自己上网查找资料都一一进行了解决。最后成功的配置了伪分布式hadoop。什么是伪分布式hadoop呢?一般而言,可以把伪分布的hadoop当做只有一个节点的集群,在这个集群中,这个节点即是master,也是一个slave,即是一个NameNode,也是一个DataNode,即是一个JobTracke
2013-09-08 19:56:49 4477
转载 Ubuntu安装遭遇 VMware上的Easy install模式
在VMware中安装Ubuntu 10.04时,你会发现虚拟机在对ubuntu安装时直接跳过了手动分区的过程,而是在你配置了主机名和密码等设置好后直接进入了安装过程。显然,进入这样安装好后的Ubuntu,系统只默认挂载了/分区和一个swap分区。对于略懂linux的用户来说,这样分区实在很dirty。那虚拟机怎么就不让手动分区了能,仔细的就会发现,在你选择guest OS安装方式时,选择了is
2013-09-05 21:22:17 947
原创 关于在win8下面安装虚拟机出现的一些问题
今天在win8下面安装虚拟机VMware Station 9。具体的版本号码为“VMware-workstation-9.0.0-812388.exe”。这个虚拟机是可以支持64位操作系统的,因为我安装的操作系统本身是64位的,我担心在64位下面无法找到64的VMware Station。后来发现这个担心真是多余的了,好像现在的VMvare Station 的高级版本都是可以在64位操作系统下安装
2013-09-05 18:05:35 1871
原创 关于jdk环境变量配置问题的解决
今天实验室换了新电脑,安装了win8新的系统,所以很多的软件需要重新安装。我又再次安装了jdk1.6并且配置了环境变量,在测试的时候出现了一些问题。测试了一个很简单的程序。在javac编译的时候没有问题,但是在执行java的时候,反复出现了Exception in thread main java.lang.NoClassDefFoundError. 我刚开始以为是文件名称和类的名字不一致所引
2013-09-04 21:36:00 1226
原创 第一篇日志-----开始学习hadoop
今天刚开始学习hadoop,只是看了第一章,对hadoop有了一个完整的概念,但是还没有开始看后面的章节,所以只是“似懂非懂”。尤其是对数据库和文件、处理部分理解起来很有难度,大概是没有学习过操作系统的缘故吧。只是一个开始,加油!明天在linux环境下配置一下hadoop代码。
2013-08-31 22:47:54 627
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人