- 博客(23)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 linux上从文件的最后向前查看
less file然后Ctrl+G然后 按f键,是向前查看 forword按b键,是向后查看 backword
2015-05-30 16:48:49
24585
1
转载 hadoop2.x MapReduce过程
http://blog.csdn.net/fengzaibiao/article/details/41046661
2015-05-29 18:05:29
396
原创 hadoop2的配置参数
namevaluedescriptionmapreduce.jobtracker.jobhistory.location If job tracker is static the history files are stored in this single well known place. If No value is set here, by default, i
2015-05-29 18:00:24
1671
转载 MR, Unable to initialize any output collector
http://stackoverflow.com/questions/26926571/cdh5-2-mr-unable-to-initialize-any-output-collectorChecking the full task log of the failed attempt attempt_1415950730849_0001_m_000000_0 will help te
2015-05-29 17:56:21
1153
原创 hadoop1 的suffle过程
map端的suffle过程1.map task向环形内存缓冲区中写数据2.当环形内存缓冲区中的数据达到阀值时,开始将环形内存缓冲区中的数据spill到文件中3.每次调用sortAndSpill方法都会产生一个输出文件4.在spill的过程中:首先对map的输出数据按照key进行排序然后将排序后的数据按照分区顺序写到输出文件中5.map task结束后会产生大量的spil
2015-05-29 16:49:04
539
转载 Java线程问题
http://www.importnew.com/12773.html不管你是新程序员还是老手，你一定在面试中遇到过有关线程的问题。Java语言一个重要的特点就是内置了对并发的支持，让Java大受企业和程序员的欢迎。大多数待遇丰厚的Java开发职位都要求开发者精通多线程技术并且有丰富的Java程序开发、调试、优化经验，所以线程相关的问题在面试中经常会被提到。在典型的Java面试中，
2015-05-29 16:30:36
558
转载 Eclipse 和 MyEclipse控制台console不停的自动跳动，跳出来解决方案http://jmhmlu.blog.163.com/blog/static/16161229820124311
http://jmhmlu.blog.163.com/blog/static/1616122982012431113853962/按下面的设置，可以让它自动跳出来(或不跳出来)：windows -> preferences -> run/debug -> console 在右边面板勾选或去掉"Show when program writ
2015-05-28 10:06:26
7837
转载 Log4j日志级别
http://blog.sina.com.cn/s/blog_9c7ba64d01012z02.html日志记录器(Logger)是日志处理的核心组件。log4j具有5种正常级别(Level)。日志记录器(Logger)的可用级别Level (不包括自定义级别 Level)， 以下内容就是摘自log4j API (http://jakarta.apache.org/lo
2015-05-27 10:06:37
420
原创 hive sum函数的顶级应用(配合开窗函数OVER)
首先参考http://jingyan.baidu.com/article/8cdccae969e758315413cd1e.html(可能需要使用hdfs用户,运行hive命令)create table tmp.hive_sum(id string COMMENT '会员ID',bank_name string COMMENT '银行名称',create_time stri
2015-05-21 18:33:37
3941
原创 hadoop 2 cachefile 分布式缓存 和 Configuration set get 的用法
package com.wc;import java.io.BufferedReader;import java.io.FileReader;import java.io.IOException;import java.net.URI;import java.util.HashSet;import java.util.Set;import java.util.StringToken
2015-05-20 13:46:56
1776
1
原创 Apache Hadoop 2.6.0 MapReduce Tutorial
http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html
2015-05-20 13:43:19
395
转载 linux远程登录ssh免密码
http://blog.csdn.net/zhuying_linux/article/details/7049078
2015-05-18 17:03:16
366
转载 Eclipse将引用了第三方jar包的Java项目打包成jar文件的两种方法
http://www.cnblogs.com/lanxuezaipiao/p/3291641.html
2015-05-15 16:00:33
658
转载 kafka auto.offset.reset介绍
http://shift-alt-ctrl.iteye.com/blog/1930791kafka + zookeeper,当消息被消费时,会想zk提交当前groupId的consumer消费的offset信息,当consumer再次启动将会从此offset开始继续消费.在consumter端配置文件中(或者是ConsumerConfig类参数)有个"autooffset.re
2015-05-07 11:15:46
31805
原创 log4j.properties未包含在maven打成的jar中
原因可能是没有log4j.properties文件没有放在resources的文件夹中,我开始将log4j.properties放在了resource中了,所以打完jar包后,jar中总是不包含log4j.properties文件
2015-05-06 17:08:23
2422
原创 在centos6.4 上安装apache (httpd-2.2.29.tar.gz) 和php(php-5.6.8.tar.gz)
参考:http://php.net/manual/zh/install.unix.apache2.php参考:http://blog.csdn.net/yzzst/article/details/12045801当前 Apache 2.x 有两个流行的版本 - 2.0、2.2。虽然选择某个版本会有种种原因，但是如果可以考虑的话，我们还是建议使用最新的 Apache 2.2 版本
2015-05-01 22:37:21
777
转载 apache启动报错(98)Address already in use: make_sock: could not bind to address [::]:80
http://peaceweb.blog.51cto.com/3226037/745083
2015-05-01 21:11:56
841
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人