- 博客(23)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 Shell 脚本
#! /bin/sh #打印输出两个时间字符串日期 date="$1" enddate=`date -d " +0 day $2" +%Y%m%d` date2="$1" enddate2=`date -d " +0 day $2" +%Y-%m-%d` while [[ $date < $enddate && $date2 < $enddate2 ]] do #echo $
2015-05-28 11:38:46
487
转载 全文检索、数据挖掘、推荐引擎系列6---基于KMean的文本自动算法
全文检索、数据挖掘、推荐引擎系列6---基于KMean的文本自动算法 http://blog.csdn.net/clouderyu/article/details/6761915 对一系列文章进行自动聚类可以做为基于内容的推荐引擎的基础，如果要实现文本的自动聚类，首先按照本系列5中所介绍的，对文章进行分词，然后计算得出文章的术语向量表示，即求文章中每个不同的单词以其所对应的
2015-05-22 18:34:49
657
转载 HBase数据迁移（1）
学习资料：http://www.importnew.com/all-posts HBase数据迁移（1） http://www.importnew.com/3226.html 全文检索引擎Solr系列——整合中文分词组件IKAnalyzer http://www.importnew.com/12918.html
2015-05-22 18:32:57
445
转载 HBase 系统架构
HBase 系统架构 http://www.cnblogs.com/shitouer/archive/2012/06/04/2533518.html HBase是Apache Hadoop的数据库，能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的，分布式的，多版本的，面向列的存储模型。它存储的是松散型数据。 HBase特性： 1
2015-05-21 09:11:27
423
转载 Yarn基本架构
YARN角色 1.RM ResourceManager a)调度器：分配container给应用程序 b)应用程序管理器：管理应用程序（程序提交，与调度器交互启动AM，监控AM等） 2.ApplicationMaster：管理每个应用程序，与RM交互要container，与NM交互运行task 3.NodeManager：运行应用程序AM的task，与RM交互汇报C
2015-05-20 10:59:35
501
转载 YARN的工作流程
YARN的工作流程 hadoop数据mapreduceyarn工作流 1、用户向YARN中提交应用程序，其中包括ApplicationMaster（AM）程序，启动AM的命令，用户程序等。 2、ResourceManger(RM)为该程序分配第一个Container，并与对应的NodeManger通讯，要求它在这个Container 中启
2015-05-20 10:00:37
788
转载 mongodb的监控与性能优化
一.mongodb的监控 mongodb可以通过profile来监控数据，进行优化。 查看当前是否开启profile功能用命令 db.getProfilingLevel() 返回level等级，值为0|1|2，分别代表意思：0代表关闭，1代表记录慢命令，2代表全部 开始profile功能为 db.setProfilingLevel(level); #
2015-05-16 12:46:22
777
转载 Redis学习手册(内存优化)
Redis学习手册(内存优化)： http://www.cnblogs.com/stephen-liu74/archive/2012/04/11/2370521.html 一、特殊编码： 自从Redis 2.2之后，很多数据类型都可以通过特殊编码的方式来进行存储空间的优化。其中，Hash、List和由Integer组成的Sets都可以通过该方式来优化存
2015-05-16 12:33:49
427
转载 Redis高级特性：虚拟内存的使用技巧
Redis高级特性：虚拟内存的使用技巧 转载：http://tech.it168.com/a2012/1011/1406/000001406917.shtml 【IT168 专稿】首先说明下redis的虚拟内存与操作系统的虚拟内存不是一码事，但是思路和目的都是相同的。就是暂时把不经常访问的数据从内存交换到磁盘中，从而腾出宝贵的内存空间用于其他需要访问的数据。
2015-05-16 12:32:24
587
原创 NoSQL数据库之Redis数据库管理六 (Redis的高级应用之事务处理、持久化操作、pub_sub、虚拟内存)
NoSQL数据库之Redis数据库管理六 (Redis的高级应用之事务处理、持久化操作、pub_sub、虚拟内存) 1：事务处理： Redis对事务的支持目前还是是比较简单的，Redis只能保证一个Client 发起的事务中的命令可以连续的执行，而中间不会插入其他的Client的命令。 当一个Client在一个连接中发出的multi命令时，这个连接会进入一个事务的上下文
2015-05-16 12:30:22
620
原创 NoSQL数据库之Redis数据库管理二(string类型和hash类型)
NoSQL数据库之Redis数据库管理二(string类型和hash类型) Redis 的数据类型：Strings类型 String是最简单的类型，一个key对应一个value， String类型是二进制安全的，Redis的String可以 包含任何数据，比如jpg的图片或者序列化的对象 1：set方法：设置key对应的的值为String类型的value 2：s
2015-05-16 12:26:03
496
转载 Redis学习笔记12(虚拟内存)
http://www.cnblogs.com/stephen-liu74/archive/2012/04/04/2366803.html 一、简介： 和大多NoSQL数据库一样，Redis同样遵循了Key/Value数据存储模型。在有些情况下，Redis会将Keys/Values保存在内存中以提高数据查询和数据修改的效率，然而这样的做法并非总是很好的选择。鉴于此，我
2015-05-16 12:24:21
443
转载 Redis学习笔记8--Redis发布/订阅
Redis学习笔记8--Redis发布/订阅： http://blog.csdn.net/freebird_lb/article/details/7778959 发布订阅(pub/sub)是一种消息通信模式，主要的目的是解耦消息发布者和消息订阅者之间的耦合，这点和设计模式中的观察者模式比较相似。pub /sub不仅仅解决发布者和订阅者直接代码级别耦合也解决两者在物理部署上的
2015-05-16 12:18:04
578
转载 Hadoop Mapper 阶段将数据直接从 HDFS 导入 Hbase
数据源格式如下： ? 1 2 20130512 1 -1 -1 13802 1 2013-05-12 07:26:22 20130512 1 -1 -1 13802 1 2013-05-12 11:18:24
2015-05-15 15:17:08
460
转载 Hive 在多维统计分析中的应用 & 技巧总结
Hive 在多维统计分析中的应用 & 技巧总结 多维统计一般分两种，我们看看 Hive 中如何解决： 1、同属性的多维组合统计 （1）问题： 有如下数据，字段内容分别为：url, catePath0, catePath1, catePath2, unitparams https://cwiki.apache.org/confluence 0 1 8 {
2015-05-14 17:13:18
829
转载 为什么使用 Redis及其产品定位
传统MySQL+ Memcached架构遇到的问题 实际MySQL是适合进行海量数据存储的，通过Memcached将热点数据加载到cache，加速访问，很多公司都曾经使用过这样的架构，但随着业务数据量的不断增加，和访问量的持续增长，我们遇到了很多问题： MySQL需要不断进行拆库拆表，Memcached也需不断跟着扩容，扩容和维护工作占据大量开发时间。Memcached与MySQL数据
2015-05-14 17:01:27
426
转载 HBase 写优化之 BulkLoad 实现数据快速入库
HBase 写优化之 BulkLoad 实现数据快速入库 http://my.oschina.net/leejun2005/blog/187309 目录[-] 1、为何要 BulkLoad 导入？传统的 HTableOutputFormat 写 HBase 有什么问题？ 2、bulkload 流程与实践 3、说明与注意事项： 4、Refer：
2015-05-14 16:38:43
695
转载 每天一个linux命令（39）：grep 命令
每天一个linux命令（39）：grep 命令 Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹 配的行打印出来。grep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。 grep的工作方式是这样的，它在一个或多个文件中搜索字符串模板。如果模板包括空格，则必须被
2015-05-08 15:13:00
429
转载 每天一个linux命令(1)：ls命令
每天一个linux命令(1)：ls命令 ls命令是linux下最常用的命令。ls命令就是list的缩写缺省下ls用来打印出当前目录的清单如果ls指定其他目录那么就会显示指定目录里的文件及文件夹清单。 通过ls 命令不仅可以查看linux文件夹包含的文件而且可以查看文件权限(包括目录、文件夹、文件权限)查看目录信息等等。ls 命令在日常的linux操作中用的很多!
2015-05-08 14:52:38
380
转载 每天一个linux命令(12)：more命令
每天一个linux命令(12)：more命令 more命令，功能类似 cat ，cat命令是整个文件的内容从上到下显示在屏幕上。 more会以一页一页的显示方便使用者逐页阅读，而最基本的指令就是按空白键（space）就往下一页显示，按 b 键就会往回（back）一页显示，而且还有搜寻字串的功能 。more命令从前向后读取文件，因此在启动时就加载整个文件。 1．命令格式：
2015-05-08 14:43:18
438
转载 Linux应用总结（1）：自动删除n天前日志
Linux应用总结（1）：自动删除n天前日志 linux是一个很能自动产生文件的系统，日志、邮件、备份等。虽然现在硬盘廉价，我们可以有很多硬盘空间供这些文件浪费，让系统定时清理一些不需要的文件很有一种爽快的事情。不用你去每天惦记着是否需要清理日志，不用每天收到硬盘空间不足的报警短信，想好好休息的话，让我们把这个事情交给机器定时去执行吧。 1.删除文件命令： find
2015-05-08 14:26:37
460
转载 ZooKeeper编程
杂记 ZooKeeper的用途：distributed coordination;maintaining configuration information, naming, providing distributed synchronization, and providing group services. Zookeeper的节点都是存放在内存中的，所以读写速度很快。更新日志被记
2015-05-02 10:42:43
462
转载 利用curator实现的zookeeper分布式锁服务
Curator是Netflix开源的一套ZooKeeper客户端框架，用它来操作zookeeper更加简单方便，按Curator官方所比喻的，guava to JAVA， Curator to Zookeeper，Curator采用了fluent风格的代码，非常简洁。 主要看下，使用curator操作zookeeper的一些基础例子： 主要的功能： 1，在zk上添加，或更新数据 2
2015-05-02 10:01:28
3330
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人