2015年11月_冥想者-定

转载类 ConcurrentLinkedQueue<E>

ConcurrentLinkedQueue 的API用法。http://www.cjsdn.net/Doc/JDK60/java/util/concurrent/ConcurrentLinkedQueue.html

2015-11-30 09:58:16 289

原创 linux grep ，tab 制表符命令用法

有一个日志文件，比如说有两列，中间使用 \t制表符分割了。则在grep查找的时候使用： '$'\t''\+ 代替我们的\t制表符 6.10.0 9渠道标记grep '6.10.0'$'\t''\+9渠道标记' test.csv | wc -l

2015-11-27 11:32:52 8468

转载 vi set命令集

2015-11-24 16:13:07 405

转载 mapreduce

public class AppUserProfileChangeChannelJoin { public static class Mapper extends Mapper { private UserProfile up = new UserProfile(); @Override protected void

2015-11-24 14:54:30 257

原创 linux 命令多一个窗口

第一步： screen -r 创建一个新的窗口第二部：在窗口里面操作第三部：ctrl + a 松开键盘 + d 退出屏幕第四部： screen -r 再次进入刚才窗口

2015-11-21 18:11:29 1485

原创 ls- 查看linux 文件的大小

ls -alh total 11Gdrwxrwxr-x 2 caojian caojian 4.0K Nov 21 15:50 .drwxr-xr-x 13 caojian caojian 4.0K Nov 21 18:06 ..-rw-rw-r-- 1 caojian caojian 5.3K Nov 6 10:47 2015110123.csv-rw-rw-

2015-11-21 18:09:46 419

原创 String null "null"打印的情况一样

String brand = "null"; //这两情况打印出来的都是一样的 null String brand = null; // 这种情况打印出来的也是一样的 null String dimensionZero ="D6:" + brand + 0; System.out.println(dimensionZe

2015-11-21 10:58:20 563

原创大数据经验教训

做大数据开发注意事项：1、一定要小心上线因为你的错误，可能当前的数算错了，那么就错了好多天，需要去补跑数据，这个补跑的过程，可能通宵达旦，中间还可能中断，快挂了，很煎熬2、开发是一定要小心3、测试时一定要仔细检查大部分数据，不要拿小部分数据说话。4、上线时一定要想清楚再上线，否则就是死的很惨。5、大数据开发不容易啊，一定要动脑筋啊。还有积累经验。

2015-11-20 09:42:01 620

转载【甘道夫】HBase（0.96以上版本）过滤器Filter详解及实例代码

http://blog.csdn.net/u010967382/article/details/37653177 HBase FilterHBaseFilter说明：本文参考官方Ref Guide，Developer API和众多博客，并结合实测代码编写，详细总结HBase的Filter功能，并附上每类Filter的相应代码实现。本文尽量遵从Re

2015-11-19 20:08:40 434

转载快速理解 Phoenix : SQL on HBASE

http://blog.csdn.net/colorant/article/details/8645081作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/更多云计算相关项目快速理解文档 http://blog.csdn.net/col

2015-11-12 23:03:56 395

转载 linux 对于文件的处理

1、sed -n '1,12p' testCaojianMR.csv读取这个文件的1-12行数据 2、我们可以使用split命令对大文件进行切分。Linux命令之大文件切分与合并http://www.2cto.com/os/201408/326881.html

2015-11-12 20:13:59 486

转载 idea 自动生成get set方法

快捷键百度就好了，你是有多懒。算了，还是告诉你吧，alt+insert.

2015-11-09 20:23:35 66342 20

转载 Mapreduce不设置reduce，只执行map的输出结果

http://m.blog.csdn.net/blog/yhc13429826359/9962047Mapreduce不设置reduce，只执行map的输出结果2013-8-14阅读3070 评论5在写MR程序时候，有时我们不需要reduce，比如对原始数据做Format等，这样我们在MR程序中就不需要写reduce函数，同样在main函数配置中也不需要

2015-11-06 15:49:02 7760 2

原创 idea maven 加入jar的依赖，需要刷新

（以后在pom中加入?jar的依赖后，都要点击maven project的刷新button 刷下缓存）这个刷新按钮在哪里？在maven视图的最左上角的那个两个圈圈

2015-11-06 15:16:29 9554

转载 Phoenix性能优化

http://outofmemory.cn/code-snippet/7879/Phoenix-performance-tuningPhoenix性能优化一．建表优化Salting 翻译成中文是加盐的意思，本质是在hbase的rowkey的byte数组的第一个字节位置设定一个系统生成的byte值，这个byte值是由主键生成rowkey的byte数组做一个哈希算

2015-11-06 15:05:07 2887

转载 Phoenix二级索引那些事儿（下）

http://www.icaijing.com/hot/article4940159/Phoenix二级索引那些事儿（下）作者：中兴大数据| 发表时间：2015-7-30 03:31:18索引配置公共配置hbase-site.xmlhbase.regionserv

2015-11-06 15:04:26 1774 1

转载 HBase的Block Cache实现机制分析

http://www.cnblogs.com/panfeng412/archive/2012/09/24/hbase-block-cache-mechanism.html本文结合HBase 0.94.1版本源码，对HBase的Block Cache实现机制进行分析，总结学习其Cache设计的核心思想。1. 概述HBase上Regionserver的内存分为两个部分，一部

2015-11-06 14:58:50 400

转载 vim 怎么取消多行缩为一行的设置？

vim 的zi 模式你可以看看:set fdm?的执行结果是什么。一般默认的是 manual。如果不是，你可以在 ~/.vimrc 里把它设置成这个。不建议按楼上说的彻底关闭折叠，因为有的时候折叠还是有点用的。另外在普通模式下， zi 可以在折叠和展开之间切换。

2015-11-06 11:44:19 1051

转载 Hadoop YARN配置参数剖析(4)—Fair Scheduler相关参数

http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-fair-scheduler/本博客微信公共账号：hadoop123（微信号为：hadoop-123），分享hadoop技术内幕，hadoop最新技术进展，发布hadoop相关职位和求职信息，hadoop技术交流聚会、讲座以及会议等。二维码如下

2015-11-05 17:17:22 364

转载 Hadoop 设置任务执行的队列以及优先级

http://blog.csdn.net/wisgood/article/details/39075883作业提交到的队列：mapreduce.job.queuename作业优先级：mapreduce.job.priorityPig版本：SET mapreduce.job.queuename root.etl.distcp;SET m

2015-11-05 17:15:44 1515

转载 Linux 的cp命令

http://www.cnblogs.com/xd502djj/archive/2011/11/25/2263562.html功能: 复制文件或目录说明: cp指令用于复制文件或目录，如同时指定两个以上的文件或目录，且最后的目的地是一个已经存在的目录，则它会把前面指定的所有文件或目录复制到此目录中。若同时指定多个文件或目录，而最后的目的地并非一个已存在的目录，则会出现错误信息

2015-11-05 11:55:31 354

转载 java.nio.ByteBuffer用法小结

http://blog.csdn.net/zhoujiaxq/article/details/22822289在NIO中,数据的读写操作始终是与缓冲区相关联的.读取时信道(SocketChannel)将数据读入缓冲区,写入时首先要将发送的数据按顺序填入缓冲区.缓冲区是定长的,基本上它只是一个列表,它的所有元素都是基本数据类型.ByteBuffer是最常用的缓冲区,它提供了读

2015-11-04 17:12:02 424

转载 MapReduce操作HBase

http://www.cnblogs.com/liqizhou/archive/2012/05/17/2504279.htmlMapReduce操作HBase运行HBase时常会遇到个错误，我就有这样的经历。 ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 tim

2015-11-04 17:08:14 429

转载全民情敌

剧情简介编辑希什（威尔·史密斯饰）是纽约城的传奇人物，隐姓埋名的他从事着极具梦幻色彩的职业——约会专家。因为大多数男人都会在求爱的过程中遇到困境，这种障碍来自于试图讨取欢心时迷失了自我。于是，“全民情敌”希什出现了，作为爱情战术顾问，凭借多年在情场摸爬滚打的经全民情敌剧照 (6张) 验，“全民情敌”擅长为顾客量身打造约会时完美的第一形象，其中的

2015-11-04 11:32:26 1300

转载 Phoenix：在Apache HBase上执行SQL查询

http://blog.csdn.net/ricohzhanglong/article/details/8587493本文来源于我在InfoQ中文站翻译的文章，原文地址是：http://www.infoq.com/cn/news/2013/02/Phoenix-HBase-SQL近日，Salesforce.com开源了Phoenix，这是一个Java中间

2015-11-04 11:31:11 712

转载 Phoenix实现用SQL查询HBase

博客已转移，请借一步说话，http://www.weixuehao.com/archives/111 博客已转移，请借一步说话，http://www.weixuehao.com/archives/111 HBase，一个NoSQL数据库，可存储大量非关系型数据。HBase，可以用HBase shell进行操作，也可以用HBase Java api进行操作。HBase虽然是

2015-11-04 08:52:32 821

转载关于困觉

虽然累了也要等待中午才能去睡觉，现在睡觉影响不好，必须坚持。反正已经睡过了必须坚持一下

2015-11-03 10:40:14 401

转载 Hadoop的调度器总结

http://dongxicheng.org/mapreduce/hadoop-schedulers/随着MapReduce的流行，其开源实现Hadoop也变得越来越受推崇。在Hadoop系统中，有一个组件非常重要，那就是调度器，它的作用是将系统中空闲的资源按一定策略分配给作业。在Hadoop中，调度器是一个可插拔的模块，用户可以根据自己的实际应用要求设计调度器。Hadoop中常见

2015-11-03 10:30:43 511

转载 hadoop调度器

http://blog.sina.com.cn/s/blog_8d955f8c0101c7px.html1:默认调度器 :FIFO 这个调度器的特点是先进先出,英文名是first in first out,所有任务提交到一个队列里面,然后由jobtracker按照作业的优先级高低及提交顺序执行HOD调度器: 此调度器的原理是一个hadoop物理机群中,

2015-11-03 10:29:24 560

转载 java中queue的使用

http://www.cnblogs.com/end/archive/2012/10/25/2738493.htmlQueue接口与List、Set同一级别，都是继承了Collection接口。LinkedList实现了Queue接口。Queue接口窄化了对LinkedList的方法的访问权限（即在方法中的参数类型如果是Queue时，就完全只能访问Queue接口所定义的方法了，而不

2015-11-03 09:38:37 304

转载 python学习过程

Python 基础语法===脚本式编程》 http://www.runoob.com/python/python-basic-syntax.html

2015-11-02 22:47:55 621

转载 Python 中文编码

http://www.runoob.com/python/python-chinese-encoding.html前面章节中我们已经学会了如何用 Python 输出 "Hello, World!"，英文没有问题，但是如果你输出中文字符"你好，世界"就有可能会碰到中文编码问题。Python 文件中如果未指定编码，在执行过程会出现报错：#!/usr/bin/pyth

2015-11-02 20:20:19 327

转载快速理解Kafka分布式消息队列框架

作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/==是什么 == 简单的说，Kafka是由Linkedin开发的一个分布式的消息队列系统(Message Queue) 目标Scope（解决什么问题）

2015-11-02 14:58:42 424

qiezikuaichuan的专栏