- 博客(246)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Hadoop 实战之运行AveragingWithCombiner(二)
环境:Vmware 8.0 和ubuntu11.04Hadoop 实战之运行AveragingWithCombiner---使用计数器统计缺失值个数的MapClass第一步:首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化
2012-10-22 09:07:27
852
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Hadoop 实战之Streaming(十二)
环境:Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming(十二)---通过脚本使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo rm -rf /tmp/*rm -rf /home/tanglg1
2012-10-22 09:06:01
466
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Hadoop 实战之Streaming(十一)
环境:Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming(十)---通过Aggregate包使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo rm -rf /tmp/*rm -rf /home/
2012-10-22 09:05:45
363
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Hadoop 实战之Streaming(十)
环境:Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming(十)---通过Aggregate包使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo rm -rf /tmp/*rm -rf /home/
2012-10-22 09:05:29
324
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Hadoop 实战之Streaming(九)
环境:Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming(八)---通过Aggregate包使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo rm -rf /tmp/*rm -rf /home/
2012-10-22 09:05:13
355
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Hadoop 实战之Streaming(八)
环境:Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming(八)---通过脚本使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo rm -rf /tmp/*rm -rf /home/tanglg19
2012-10-22 09:04:54
350
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Hadoop 实战之Streaming(七)
环境:Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming(七)---通过脚本使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo rm -rf /tmp/*rm -rf /home/tanglg19
2012-10-22 09:04:37
342
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Hadoop 实战之Streaming(六)
环境:Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming(六)---通过脚本使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo rm -rf /tmp/*rm -rf /home/tanglg19
2012-10-22 09:04:19
461
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Hadoop 实战之Streaming(五)
环境:Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming(五)---通过脚本使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo rm -rf /tmp/*rm -rf /home/tanglg19
2012-10-22 09:04:03
359
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Hadoop 实战之Streaming(四)
环境:Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming(四)---通过脚本使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo rm -rf /tmp/*rm -rf /home/tanglg19
2012-10-22 09:03:32
457
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Hadoop 实战之Streaming(三)
环境:Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming(三)---通过脚本使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo rm -rf /tmp/*rm -rf /home/tanglg19
2012-10-22 09:03:16
449
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Hadoop 实战之Streaming(二)
环境:Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming(三)---通过Unix命令使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo rm -rf /tmp/*rm -rf /home/tang
2012-10-22 09:02:55
468
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Hadoop 实战之Streaming(一)
环境:Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming(一)---通过Unix命令使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo rm -rf /tmp/*rm -rf /home/
2012-10-22 09:02:32
706
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Hadoop 实战之运行CitationHistogram
环境:Vmware 8.0 和Ubuntu11.04Hadoop 实战之运行CitationHistogram---计算不同引用次数专利的数目第一步:首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:
2012-10-19 10:13:50
3901
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Hadoop 实战之分析专利引用数据集(三)
环境:Vmware 8.0 和Ubuntu11.04Hadoop 实战之分析专利引用数据集(三)---从专利引用数据集中计算专利被引用的次数第一步:首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:
2012-10-19 10:13:31
4531
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Hadoop 实战之分析专利引用数据集(二)
环境:Vmware 8.0 和Ubuntu11.04Hadoop 实战之分析专利引用数据集(二)---计算专利引用数据并排序第一步:首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo
2012-10-19 10:13:12
5705
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Hadoop 实战之使用RegexMapper
环境:Vmware 8.0 和Ubuntu11.04Hadoop 实战之RegexMapper第一步:首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo rm -r
2012-10-19 10:12:07
3907
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Hadoop 实战之MapReduce链接作业之预处理
环境:Vmware 8.0 和Ubuntu11.04Hadoop 实战之MapReduce链接作业之预处理第一步:首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo
2012-10-18 14:10:14
5598
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Hadoop 实战之分析专利引用数据集(一)
环境:Vmware 8.0 和Ubuntu11.04Hadoop 实战之分析专利引用数据集(一)---计算专利引用数据并排序第一步:首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo
2012-10-18 14:08:08
6843
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Hadoop 实战之运行DataJoin
环境:Vmware 8.0 和Ubuntu11.04Hadoop 实战之运行DataJoin第一步:首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下: sudo rm -rf /tmp/*
2012-10-16 22:03:55
10230
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Hadoop 实战之运行PutMerge
环境:Vmware 8.0 和Ubuntu11.04Hadoop 实战之运行PutMerge----把本地一组文件合并后复制到HDFS文件第一步:首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:su
2012-10-16 21:42:28
10483
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Hadoop 实战之运行AveragingWithCombiner
环境:Vmware 8.0 和ubuntu11.04Hadoop 实战之运行AveragingWithCombiner---使用combiner提升性能第一步:首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenod
2012-10-16 21:14:25
9453
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Ubuntu下eclipse开发hadoop应用程序环境配置
环境:Vmware 8.0 和Ubuntu11.04Ubuntu下eclipse开发hadoop应用程序环境配置第一步:下载eclipse-SDK-4.2.1-linux-gtk.tar.gzhttp://mirrors.ustc.edu.cn/eclipse/eclipse/downloads/drops4/R-4.2.1-201209141800/eclipse-SDK-4.2
2012-10-16 20:28:13
10144
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Ubuntu下搭建Hadoop开发环境
环境:Vmware 8.0 和ubuntu11.04Ubuntu下搭建Hadoop开发环境第一步:首先安装jdk和hadoop1.1 下载jdk1.7注意:一定要下linux 下32位的jdk1.7,不要下64位的jdk1.7http://download.oracle.com/otn-pub/java/jdk/7u7-b10/jdk-7u7-linux-i586.tar.
2012-10-15 23:20:39
9301
1
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Hadoop 实战之单词计数wordcount
环境:Vmware 8.0 和Ubuntu11.04Hadoop 实战之单词计数wordcount第一步:首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo rm -rf /tmp/*
2012-10-15 22:13:56
9455
1
原创 手动使得modem crash
主要内容:1. 为什么需要手动modem crash2. Kernel端相关设定3. Qxdm发相关指令4. Qpst Software DownLoad获取modem core dump 详细内容:1. 为什么需要手动mdoem crash在调试rf card过程中,有时候无法确定rfcard端,相关mi
2017-03-08 19:17:59
1700
原创 登录shell 非登录shell /etc/bash.bashrc /etc/profile ~/.bashrc ~/.profile
登录shell 和非登录shell 对于用户而言的区别就是:在登录和执行时shell时 启动文件不同 登录shell 登录时对应 /etc/profile 执行时 ~/.bash_login or ~/.bash_profile or ~/.profile非登录shell 执行时 /etc/bash.bashrc ~/.bashrc
2013-04-12 20:52:39
893
1
原创 寻求个人做人准则
毕业了,要上班了,要脱离象牙塔,进入这个社会了。社会是复杂的,我总是听人这么说,虽然没有切身体会过。我觉得大道至简,你想得越复杂,这个世界就会越复杂,你定位越简单,这个世界也就会简单。我觉得,现实的世界如同数学一样,他们最最开始是由几个基本的定理演绎而来。定好自己人生的基本定理,这个世界就会简单而美好。至于这些准则的评判标准,个人觉得首先这些标准是1.通用的。不以时间空间做限制
2013-04-10 13:28:13
754
原创 sssss
环境:Vmware 8.0 和Ubuntu11.04第一步:首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:[plain] view plaincopyprint?
2012-10-17 17:25:48
92
原创 java 后台返回json数据给前台
第一步:新建一个JsonBinder.java类,代码如下:import java.io.IOException;import java.text.DateFormat;import java.text.SimpleDateFormat;import java.util.HashMap;import java.util.Map;import org.apache.log4j
2012-10-16 14:59:59
42902
2
原创 如何随机产生唯一的app_key和app_secret
UUID含义是通用唯一识别码 (Universally Unique Identifier),这 是一个软件建构的标准,也是被开源软件基金会 (Open Software Foundation, OSF) 的组织应用在分布式计算环境 (Distributed Computing Environment, DCE) 领域的一部份。UUID 的目的,是让分布式系统中的所有元素,都能有唯一的辨识
2012-10-16 13:21:14
11446
1
原创 Base64
Base64是网络上最常见的用于传输8Bit字节代码的编码方式之一,大家可以查看RFC2045~RFC2049,上面有MIME的详细规范。Base64编码可用于在HTTP环境下传递较长的标识信息。例如,在Java Persistence系统Hibernate中,就采用了Base64来将一个较长的唯一标识符(一般为128-bit的UUID)编码为一个字符串,用作HTTP表单和HTTP GET U
2012-10-16 13:10:58
497
原创 MD5
Message Digest Algorithm MD5(中文名为消息摘要算法第五版)为计算机安全领域广泛使用的一种散列函数,用以提供消息的完整性保护。该算法的文件号为RFC 1321(R.Rivest,MIT Laboratory for Computer Science and RSA Data Security Inc. April 1992)下面是java的MD5实现:impo
2012-10-16 13:02:18
327
原创 cuteftp 连接linux
利用cutefTP 进行连接Linux的步骤:1.linux中service vsftpd restart;2.cuteftp中 输入正确的地址 用户名 密码 然后点连接常出现的问题1.处于持续连接状态,根本就没登陆 。。。可能原因 linux中没有 service vsftpd restart2.需要持续输入密码 或者说是 客户端连接ftp后提示 500 OOPS:c
2012-08-28 15:47:01
1880
原创 arm linux nfs配置
利用nfs进行虚拟机下linux与arm的共享的1。首先硬件连接;2。软件设置。1。硬件连接是前提,是用网线将装有linux的电脑与arm连接。 1.1这个很容易,但是对于许多讲arm的视频教程中并没有直接告诉要硬件连接。。。。导致像我这样一点都不了解的人,弄了好长时间才知道需要网线的。。。。 1.2一定要确保网线没问题,确保连接的稳定性。在查阅资料的过程中,有
2012-08-25 13:18:26
744
原创 2012.8.24 单词 An ice treat for animals
来源:http://www.bbc.co.uk/worldservice/learningenglish/language/wordsinthenews/2012/08/120823_witn_an_ice_treat_for_animals.shtmlAn ice treat for animalsCode red heat warnings have bee
2012-08-24 07:32:55
504
我对 大内核锁BKL 的理解
可以将内核代码分为三部分:①无论是单核还是多核均不需要加锁的代码;②单CPU情况需要加锁的代码(如果单CPU需要加锁,那么多CPU也肯定要加锁);③单CPU下不需要加锁,但是SMP情况下需要加锁的代码。对于②,再没引进CMP时,就有了相关的加锁机制,在此种加锁机制上,升级该机制,使得其无论是单CPU还是多CPU都可以达到同步互斥的作用。对于③,为了达到同步互斥就引进了大内核S
2012-08-23 14:01:11
145
转载 大内核所BKL
来源:http://hi.baidu.com/_kouu/item/91c7be36166f4c149cc65ed9神奇的大内核锁Big Kernel Lock(BKL)(大内核锁),是linux内核中使用到的一种锁,它跟普通的锁原理上的一样的:lock_kernel();/* 临界区 */unlock_kernel();但是它又有一些非常诡异的地方。从表面上看:
2012-08-23 13:30:09
446
原创 2012.8.22 单词 Let the Alternative Games begin
来源:http://www.bbc.co.uk/worldservice/learningenglish/language/wordsinthenews/2012/08/120821_witn_alternative_games.shtmlLet the Alternative Games beginReportThe events at the Lon
2012-08-22 08:21:14
567
转载 内存映射文件
来源:http://www.hudong.com/wiki/%E5%86%85%E5%AD%98%E6%98%A0%E5%B0%84%E6%96%87%E4%BB%B6内存映射文件编辑词条分享内存映射文件与虚拟内存有些类似,通过内存映射文件可以保留一个地址空间的区域,同时将物理存储器提交给此区域,只是内存文件映射的物理存储器来自一
2012-08-21 13:31:47
338
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人