2016年11月_江畔独步

12月 11月 07月

原创 MacOS10.10 安装Hue3.9填坑记

闲来无事在mac小本上折腾安装一下cdh5.7, hadoop组件安装完成后, 想着把hue也一并装了吧, 这个软件环境也是醉了. 不曾想hadoop组件的安装很快就搞定的事, 到了hue这, 愣是花费数个钟头, 说多了都是泪啊.由于cdh本人安装的是5.7版本, 去cloudera官网查了下, 如果安装HUE, 大致可以匹配的版本是hue-3.9.0-cdh5.7.1.tar.gz, 遂下载下来

2016-11-30 20:20:48 2044

转载 hadoop中MapReduce多种join实现实例分析

原文出处: http://zengzhaozheng.blog.51cto.com/8219051/1392961一、概述对于RDBMS中的join操作大伙一定非常熟悉，写sql的时候要十分注意细节，稍有差池就会耗时巨久造成很大的性能瓶颈，而在Hadoop中使用MapReduce框架进行join的操作时同样耗时，但是由于hadoop的分布式设计理念的特殊性，

2016-11-25 16:53:40 1105

原创 mac OSX 下修改 ulimit 参数

OSX下Leopard, Yosemite版本的操作系统下, 默认的程序是 launchd.默认的ulimit命令继承自launchd, 默认的limits参数如下:daviddeMacBook-Pro:etc david$ sudo launchctl limitPassword: cpu unlimited unlimited filesize

2016-11-22 16:56:33 7436 1

转载 MapReduce实现大矩阵乘法

2016-11-21 19:07:24 423

转载 Hadoop YARN架构设计要点

YARN是开源项目Hadoop的一个资源管理系统，最初设计是为了解决Hadoop中MapReduce计算框架中的资源管理问题，但是现在它已经是一个更加通用的资源管理系统，可以把MapReduce计算框架作为一个应用程序运行在YARN系统之上，通过YARN来管理资源。如果你的应用程序也需要借助YARN的资源管理功能，你也可以实现YARN提供的编程API，将你的应用程序运行于YARN之上，将资源的分配

2016-11-16 11:33:21 553

原创 HADOOP Java API 之 HDFS2.x操作

Java api操作hdfs2.x, 主要包括以下几个方法: 1. create dir2.1 create file(don’t use IOUtils)2.2 create file(use IOUtils)3. upload local file(s)4. rename file(s)5. rename file(s)6. scan dirs and file informati

2016-11-14 17:43:10 1284

转载常用正则表达式示例

原文地址: http://wenku.baidu.com/link?url=2ncQ5ltV7wVuqCutqs1ifY7KMaMrCKsYyG5tR54QG_DCujl5FMovTaAp814YEnRMx04oDFmaePs5I-Ox8gR9MxqrLL7YsqhIEYiFHXyPPo_常用正则表达式大全！（例如：匹配中文、匹配html）

2016-11-08 10:23:47 335

转载 HTML页面解析组件-Jsoup使用

原文地址: http://blog.sina.com.cn/s/blog_7227719a0100lpix.htmljava端解析HTML页面内容Jsoup把HTML的解析变为DOM的方式，类似于在HTML页面中直接用JS操作。使用方法：Document doc = Jsoup.parse(new URL(“http://www.baidu.com”),

2016-11-08 10:20:25 829

转载为Elasticsearch安装中文分词IK

原文地址: http://www.mamicode.com/info-detail-439214.html注:Elasticsearch版本：1.4.4一、安装与配置1.从https://github.com/medcl/elasticsearch-analysis-ik下载elasticsearch-analysis-ik-master.zip注意,下

2016-11-04 15:33:27 402

转载 Elasticsearch索引重建（Rebuild）

原文链接: http://blog.csdn.net/changong28/article/details/38491185#reply索引重建（Rebuild）索引创建后，你可以在索引当中添加新的类型，在类型中添加新的字段。但是如果想修改已存在字段的属性（修改分词器、类型等），目前ES是做不到的。如果确实存在类似这样的需求，只能通过重建索引的

2016-11-04 11:16:17 769

原创 Elasticsearch之基础Rest API命令

ES基础rest命令, 包括运维类, 索引操作类, 文档操作类, 搜索类等操作命令.一. 运维类命令1. 健康度检查curl 'localhost:9200/_cat/health?v'2. 查看集群中节点列表curl 'localhost:9200/_cat/nodes?v'二. 索引

2016-11-04 10:48:01 5138

转载 Elasticsearch集群的脑裂问题

原文地址: http://blog.csdn.net/cnweike/article/details/39083089, 致谢所谓脑裂问题（类似于精神分裂），就是同一个集群中的不同节点，对于集群的状态有了不一样的理解。今天，Elasticsearch集群出现了查询极端缓慢的情况，通过以下命令查看集群状态：curl -XGET 'es-1:9200/_cluster/

2016-11-04 10:35:25 419

转载 ES内部分片处理机制

本译文详细介绍了es的shards原理(倒排索引, segment机制), 详细介绍了文档(document)更新, 删除, 写入到磁盘等背后的原理.

2016-11-02 19:59:17 1736

转载 Elasticsearch基础教程

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。我们建立一个网站或应用程序，并要添加搜索功能，令我们受打击的是：搜索工作是很难的。我们希望我们的搜索解决方案要快，我们希望有一个零配置和一个完全免费的搜索模式，我们希望能够

2016-11-02 13:56:27 298

Linux下pip程序安装脚本（亲测可用）

已实验环境： CentOS7 + python3

2021-11-24

azkaban-binary-2.5.0二进制安装包(含Web + executor + sql等全部模块)

Azkaban自己编译、打包的的二进制压缩包, 开箱即用, 自己亲测可用. 免去纷繁复杂的编译、打包、网络斗争操作. 软件列表: 1) azkaban-executor-server-2.5.0.tar.gz; 2) azkaban-sql-script-2.5.0.tar.gz; 3) azkaban-web-server-2.5.0.tar.gz

2020-11-20

logstash-6.3.2.zip

ELK技术栈之logstash-6.3.2.tar.gz，通过这一灵活且开源的收集、解析和扩充管道,轻松整合任何来源、任何格式的数据。由于官网下载特别慢，这里收藏一下。

2020-01-02

RedisWindowsAllinone.zip

Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。它支持多种类型的数据结构，如字符串（strings），散列（hashes），列表（lists），集合（sets），有序集合（sorted sets）与范围查询， bitmaps， hyperloglogs 和地理空间（geospatial）索引半径查询。 Redis 内置了复制（replication），LUA脚本（Lua scripting）， LRU驱动事件（LRU eviction），事务（transactions）和不同级别的磁盘持久化（persistence）。

2019-11-05

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

liuwei0376的专栏