- 博客(246)
- 收藏
- 关注
RSS订阅
原创 Hadoop 实战之运行AveragingWithCombiner（二）
环境：Vmware 8.0 和ubuntu11.04Hadoop 实战之运行AveragingWithCombiner---使用计数器统计缺失值个数的MapClass第一步：首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件，每次启动虚拟机都要删除/tmp目录下的全部文件，重新格式化
2012-10-22 09:07:27
845
原创 Hadoop 实战之Streaming（十二）
环境：Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming（十二）---通过脚本使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件，每次启动虚拟机都要删除/tmp目录下的全部文件，重新格式化namenode，代码如下：sudo rm -rf /tmp/*rm -rf /home/tanglg1
2012-10-22 09:06:01
453
原创 Hadoop 实战之Streaming（十一）
环境：Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming（十）---通过Aggregate包使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件，每次启动虚拟机都要删除/tmp目录下的全部文件，重新格式化namenode，代码如下：sudo rm -rf /tmp/*rm -rf /home/
2012-10-22 09:05:45
355
原创 Hadoop 实战之Streaming（十）
环境：Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming（十）---通过Aggregate包使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件，每次启动虚拟机都要删除/tmp目录下的全部文件，重新格式化namenode，代码如下：sudo rm -rf /tmp/*rm -rf /home/
2012-10-22 09:05:29
316
原创 Hadoop 实战之Streaming（九）
环境：Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming（八）---通过Aggregate包使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件，每次启动虚拟机都要删除/tmp目录下的全部文件，重新格式化namenode，代码如下：sudo rm -rf /tmp/*rm -rf /home/
2012-10-22 09:05:13
345
原创 Hadoop 实战之Streaming（八）
环境：Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming（八）---通过脚本使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件，每次启动虚拟机都要删除/tmp目录下的全部文件，重新格式化namenode，代码如下：sudo rm -rf /tmp/*rm -rf /home/tanglg19
2012-10-22 09:04:54
341
原创 Hadoop 实战之Streaming（七）
环境：Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming（七）---通过脚本使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件，每次启动虚拟机都要删除/tmp目录下的全部文件，重新格式化namenode，代码如下：sudo rm -rf /tmp/*rm -rf /home/tanglg19
2012-10-22 09:04:37
326
原创 Hadoop 实战之Streaming（六）
环境：Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming（六）---通过脚本使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件，每次启动虚拟机都要删除/tmp目录下的全部文件，重新格式化namenode，代码如下：sudo rm -rf /tmp/*rm -rf /home/tanglg19
2012-10-22 09:04:19
452
原创 Hadoop 实战之Streaming（五）
环境：Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming（五）---通过脚本使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件，每次启动虚拟机都要删除/tmp目录下的全部文件，重新格式化namenode，代码如下：sudo rm -rf /tmp/*rm -rf /home/tanglg19
2012-10-22 09:04:03
347
原创 Hadoop 实战之Streaming（四）
环境：Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming（四）---通过脚本使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件，每次启动虚拟机都要删除/tmp目录下的全部文件，重新格式化namenode，代码如下：sudo rm -rf /tmp/*rm -rf /home/tanglg19
2012-10-22 09:03:32
446
原创 Hadoop 实战之Streaming（三）
环境：Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming（三）---通过脚本使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件，每次启动虚拟机都要删除/tmp目录下的全部文件，重新格式化namenode，代码如下：sudo rm -rf /tmp/*rm -rf /home/tanglg19
2012-10-22 09:03:16
437
原创 Hadoop 实战之Streaming（二）
环境：Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming（三）---通过Unix命令使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件，每次启动虚拟机都要删除/tmp目录下的全部文件，重新格式化namenode，代码如下：sudo rm -rf /tmp/*rm -rf /home/tang
2012-10-22 09:02:55
459
原创 Hadoop 实战之Streaming（一）
环境：Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming（一）---通过Unix命令使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件，每次启动虚拟机都要删除/tmp目录下的全部文件，重新格式化namenode，代码如下：sudo rm -rf /tmp/*rm -rf /home/
2012-10-22 09:02:32
692
原创 Hadoop 实战之运行CitationHistogram
环境：Vmware 8.0 和Ubuntu11.04Hadoop 实战之运行CitationHistogram---计算不同引用次数专利的数目第一步：首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件，每次启动虚拟机都要删除/tmp目录下的全部文件，重新格式化namenode，代码如下：
2012-10-19 10:13:50
3894
原创 Hadoop 实战之分析专利引用数据集（三）
环境：Vmware 8.0 和Ubuntu11.04Hadoop 实战之分析专利引用数据集（三）---从专利引用数据集中计算专利被引用的次数第一步：首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件，每次启动虚拟机都要删除/tmp目录下的全部文件，重新格式化namenode，代码如下：
2012-10-19 10:13:31
4514
原创 Hadoop 实战之分析专利引用数据集（二）
环境：Vmware 8.0 和Ubuntu11.04Hadoop 实战之分析专利引用数据集（二）---计算专利引用数据并排序第一步：首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件，每次启动虚拟机都要删除/tmp目录下的全部文件，重新格式化namenode，代码如下：sudo
2012-10-19 10:13:12
5676
原创 Hadoop 实战之使用RegexMapper
环境：Vmware 8.0 和Ubuntu11.04Hadoop 实战之RegexMapper第一步：首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件，每次启动虚拟机都要删除/tmp目录下的全部文件，重新格式化namenode，代码如下：sudo rm -r
2012-10-19 10:12:07
3901
原创 Hadoop 实战之MapReduce链接作业之预处理
环境：Vmware 8.0 和Ubuntu11.04Hadoop 实战之MapReduce链接作业之预处理第一步：首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件，每次启动虚拟机都要删除/tmp目录下的全部文件，重新格式化namenode，代码如下：sudo
2012-10-18 14:10:14
5591
原创 Hadoop 实战之分析专利引用数据集（一）
环境：Vmware 8.0 和Ubuntu11.04Hadoop 实战之分析专利引用数据集（一）---计算专利引用数据并排序第一步：首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件，每次启动虚拟机都要删除/tmp目录下的全部文件，重新格式化namenode，代码如下：sudo
2012-10-18 14:08:08
6808
原创 Hadoop 实战之运行DataJoin
环境：Vmware 8.0 和Ubuntu11.04Hadoop 实战之运行DataJoin第一步：首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件，每次启动虚拟机都要删除/tmp目录下的全部文件，重新格式化namenode，代码如下： sudo rm -rf /tmp/*
2012-10-16 22:03:55
10189
原创 Hadoop 实战之运行PutMerge
环境：Vmware 8.0 和Ubuntu11.04Hadoop 实战之运行PutMerge----把本地一组文件合并后复制到HDFS文件第一步：首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件，每次启动虚拟机都要删除/tmp目录下的全部文件，重新格式化namenode，代码如下：su
2012-10-16 21:42:28
10472
原创 Hadoop 实战之运行AveragingWithCombiner
环境：Vmware 8.0 和ubuntu11.04Hadoop 实战之运行AveragingWithCombiner---使用combiner提升性能第一步：首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件，每次启动虚拟机都要删除/tmp目录下的全部文件，重新格式化namenod
2012-10-16 21:14:25
9440
原创 Ubuntu下eclipse开发hadoop应用程序环境配置
环境：Vmware 8.0 和Ubuntu11.04Ubuntu下eclipse开发hadoop应用程序环境配置第一步：下载eclipse-SDK-4.2.1-linux-gtk.tar.gzhttp://mirrors.ustc.edu.cn/eclipse/eclipse/downloads/drops4/R-4.2.1-201209141800/eclipse-SDK-4.2
2012-10-16 20:28:13
10114
原创 Ubuntu下搭建Hadoop开发环境
环境：Vmware 8.0 和ubuntu11.04Ubuntu下搭建Hadoop开发环境第一步：首先安装jdk和hadoop1.1 下载jdk1.7注意：一定要下linux 下32位的jdk1.7，不要下64位的jdk1.7http://download.oracle.com/otn-pub/java/jdk/7u7-b10/jdk-7u7-linux-i586.tar.
2012-10-15 23:20:39
9293
1
原创 Hadoop 实战之单词计数wordcount
环境：Vmware 8.0 和Ubuntu11.04Hadoop 实战之单词计数wordcount第一步：首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件，每次启动虚拟机都要删除/tmp目录下的全部文件，重新格式化namenode，代码如下：sudo rm -rf /tmp/*
2012-10-15 22:13:56
9446
1
原创 手动使得modem crash
主要内容：1. 为什么需要手动modem crash2. Kernel端相关设定3. Qxdm发相关指令4. Qpst Software DownLoad获取modem core dump 详细内容：1. 为什么需要手动mdoem crash在调试rf card过程中，有时候无法确定rfcard端，相关mi
2017-03-08 19:17:59
1661
原创 登录shell 非登录shell /etc/bash.bashrc /etc/profile ~/.bashrc ~/.profile
登录shell 和非登录shell 对于用户而言的区别就是:在登录和执行时shell时 启动文件不同 登录shell 登录时对应 /etc/profile 执行时 ~/.bash_login or ~/.bash_profile or ~/.profile非登录shell 执行时 /etc/bash.bashrc ~/.bashrc
2013-04-12 20:52:39
860
1
原创 寻求个人做人准则
毕业了，要上班了，要脱离象牙塔，进入这个社会了。社会是复杂的，我总是听人这么说，虽然没有切身体会过。我觉得大道至简，你想得越复杂，这个世界就会越复杂，你定位越简单，这个世界也就会简单。我觉得，现实的世界如同数学一样，他们最最开始是由几个基本的定理演绎而来。定好自己人生的基本定理，这个世界就会简单而美好。至于这些准则的评判标准，个人觉得首先这些标准是1.通用的。不以时间空间做限制
2013-04-10 13:28:13
738
原创 sssss
环境：Vmware 8.0 和Ubuntu11.04第一步：首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件，每次启动虚拟机都要删除/tmp目录下的全部文件，重新格式化namenode，代码如下：[plain] view plaincopyprint?
2012-10-17 17:25:48
78
原创 java 后台返回json数据给前台
第一步：新建一个JsonBinder.java类,代码如下：import java.io.IOException;import java.text.DateFormat;import java.text.SimpleDateFormat;import java.util.HashMap;import java.util.Map;import org.apache.log4j
2012-10-16 14:59:59
42827
2
原创 如何随机产生唯一的app_key和app_secret
UUID含义是通用唯一识别码 (Universally Unique Identifier)，这 是一个软件建构的标准，也是被开源软件基金会 (Open Software Foundation, OSF) 的组织应用在分布式计算环境 (Distributed Computing Environment, DCE) 领域的一部份。UUID 的目的，是让分布式系统中的所有元素，都能有唯一的辨识
2012-10-16 13:21:14
11408
1
原创 Base64
Base64是网络上最常见的用于传输8Bit字节代码的编码方式之一，大家可以查看RFC2045～RFC2049，上面有MIME的详细规范。Base64编码可用于在HTTP环境下传递较长的标识信息。例如，在Java Persistence系统Hibernate中，就采用了Base64来将一个较长的唯一标识符（一般为128-bit的UUID）编码为一个字符串，用作HTTP表单和HTTP GET U
2012-10-16 13:10:58
487
原创 MD5
Message Digest Algorithm MD5（中文名为消息摘要算法第五版）为计算机安全领域广泛使用的一种散列函数，用以提供消息的完整性保护。该算法的文件号为RFC 1321（R.Rivest,MIT Laboratory for Computer Science and RSA Data Security Inc. April 1992）下面是java的MD5实现：impo
2012-10-16 13:02:18
317
原创 cuteftp 连接linux
利用cutefTP 进行连接Linux的步骤：1.linux中service vsftpd restart；2.cuteftp中 输入正确的地址 用户名 密码 然后点连接常出现的问题1.处于持续连接状态，根本就没登陆 。。。可能原因 linux中没有 service vsftpd restart2.需要持续输入密码 或者说是 客户端连接ftp后提示 500 OOPS:c
2012-08-28 15:47:01
1866
原创 arm linux nfs配置
利用nfs进行虚拟机下linux与arm的共享的1。首先硬件连接；2。软件设置。1。硬件连接是前提，是用网线将装有linux的电脑与arm连接。 1.1这个很容易，但是对于许多讲arm的视频教程中并没有直接告诉要硬件连接。。。。导致像我这样一点都不了解的人，弄了好长时间才知道需要网线的。。。。 1.2一定要确保网线没问题，确保连接的稳定性。在查阅资料的过程中，有
2012-08-25 13:18:26
728
原创 2012.8.24 单词 An ice treat for animals
来源：http://www.bbc.co.uk/worldservice/learningenglish/language/wordsinthenews/2012/08/120823_witn_an_ice_treat_for_animals.shtmlAn ice treat for animalsCode red heat warnings have bee
2012-08-24 07:32:55
493
我对 大内核锁BKL 的理解
可以将内核代码分为三部分：①无论是单核还是多核均不需要加锁的代码；②单CPU情况需要加锁的代码（如果单CPU需要加锁，那么多CPU也肯定要加锁）；③单CPU下不需要加锁，但是SMP情况下需要加锁的代码。对于②，再没引进CMP时，就有了相关的加锁机制，在此种加锁机制上，升级该机制，使得其无论是单CPU还是多CPU都可以达到同步互斥的作用。对于③，为了达到同步互斥就引进了大内核S
2012-08-23 14:01:11
131
转载 大内核所BKL
来源：http://hi.baidu.com/_kouu/item/91c7be36166f4c149cc65ed9神奇的大内核锁Big Kernel Lock（BKL）（大内核锁），是linux内核中使用到的一种锁，它跟普通的锁原理上的一样的：lock_kernel();/* 临界区 */unlock_kernel();但是它又有一些非常诡异的地方。从表面上看：
2012-08-23 13:30:09
434
原创 2012.8.22 单词 Let the Alternative Games begin
来源：http://www.bbc.co.uk/worldservice/learningenglish/language/wordsinthenews/2012/08/120821_witn_alternative_games.shtmlLet the Alternative Games beginReportThe events at the Lon
2012-08-22 08:21:14
558
转载 内存映射文件
来源：http://www.hudong.com/wiki/%E5%86%85%E5%AD%98%E6%98%A0%E5%B0%84%E6%96%87%E4%BB%B6内存映射文件编辑词条分享内存映射文件与虚拟内存有些类似，通过内存映射文件可以保留一个地址空间的区域，同时将物理存储器提交给此区域，只是内存文件映射的物理存储器来自一
2012-08-21 13:31:47
328
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人