Filebeat的架构分析、配置解释与示例

filebeat是beats工具中的一种,都是用来收集日志文件的,作为监听,可以通过配置随时将结果映射到Elasticsearch,logstash,file或者console(只能配置一种),本篇博客将通过架构解析,配置案例和filebeat+elk的demo...
阅读(14472) 评论(7)

linux 部署ELK 日志分析系统与简单测试

ELK stack是指由Elasticsearch,Logstash,Kibana三个组件结合起来而构成的一个日志收集,分析,可视化,本篇博客致力于教你配置elk环境与简单的“helloworld”测试...
阅读(7402) 评论(1)

《hadoop进阶》基于hadoop和hive的微博热词跟踪系统

利用hadoop来做一个类似于微博热词的系统,涉及到了中文分词,hadoop的mr计算,hive创建分区表,以及jfreechart的可视化,欢迎吐槽...
阅读(1698) 评论(0)

hadoop提交jar包卡住不会往下执行的解决方案

这是一个很蛋疼的问题,说实话在以前玩这个hadoop集群,不管是伪分布式还是集群都没有注意过分配内存这个问题,即job执行时的内存分配,然后在今天遇到了,搞了好久错误描...
阅读(2145) 评论(1)

基于python impyla的hive客户端

impyla,基于thrift,利用python和hive进行交互...
阅读(5080) 评论(4)

HIVE一些小技巧和java操作hive

转载请注明出处:http://blog.csdn.net/gamer_gyt 博主微博:http://weibo.com/234654758 Github:https://github.com/thinkgamer1.写在前边的话        自己电脑上部署的hive版本是hive1.1.1,在终端执行hive 命令时,凡是涉及where语句时,就会出现异常退出,对于一个开发者怎么能忍受这种情...
阅读(2672) 评论(0)

针对Hadoop YARN 的REST API web服务介绍

目录...
阅读(2724) 评论(0)

Spark RDD编程(二)

RDD的分区函数 | RDD的基本转换操作 | repartition 和 coalesce | randomSplit和glom | mapPartitions和mapPartitionsWithIndex | zip和zipPartitions | zipWithIndex和zinWithUniqueId | 控制操作 | 行动操作...
阅读(2966) 评论(2)

我所理解的REST API

对于REST API的介绍和分析已经有很多文章了,我相信他们写的都很好,那么为什么我还要写这篇博客呢,因为我看了挺多资料之后对REST API这个东西还是一知半解,什么是REST?什么是API?这个我理解了,但是一合起来,我就有点蒙圈了,下边谈谈我的理解吧...
阅读(1858) 评论(3)

10.Django细节性知识点回顾(二)

django的细节知识点回顾,你会在这里看到很多容易忽略的细节性知识...
阅读(1385) 评论(0)

使用python的hdfs包操作分布式文件系统(HDFS)

使用python的hdfs包操作HDFS文件系统,实例+参数的详细说明,参考官网资料整理的一篇博客...
阅读(10659) 评论(5)

数据库的方向 - 行vs列

如果你是一位数据库专家的话,这篇博客可能帮不了你什么。 如果你是一位IT人士,但对数据库技术只知其然的话,这篇博客会很适合你。 如果你是非IT人士,又或者你是我的家人,谢谢你们的阅读,但是显然你应该去寻求更适合你的阅读材料。 如此,可能会对此话题感兴趣的朋友已经减少了。看来你应该是这样一个人,你是非数据库领域的IT专家,但是你深知数据库的重要性,你可能非常想更多的了解一些当前IT界正在热烈讨论的数据库热门话题。 我可以很坦率的告诉大家,虽然我在IBM i的很多个部门工作过,但是我并不是一个DB2的开发人员。...
阅读(940) 评论(0)
    Thinkgamer微博
    微信公众号【码农故事多】
    个人资料
    • 访问:873263次
    • 积分:10380
    • 等级:
    • 排名:第1802名
    • 原创:218篇
    • 转载:22篇
    • 译文:2篇
    • 评论:294条
    个人简介
    姓名:Thinkgamer

    Github:https://github.com/thinkgamer

    主攻:云计算/python/数据分析

    程度:熟悉/熟悉/熟悉

    微信:gyt13342445911

    Email:thinkgamer@163.com

    工作状态:在职ing

    心灵鸡汤:只要努力,你就是下一个大牛...

    hadoop/spark/机器学习群:279807394(大神建的群,蹭个管理员)

    欢迎骚扰........
    博客专栏
    最新评论