M_PigWmy
码龄7年
求更新 关注
提问 私信
  • 博客:2,279
    2,279
    总访问量
  • 5
    原创
  • 0
    粉丝
  • 3
    关注
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:广东省
加入CSDN时间: 2018-10-26
博客简介:

M_PigWmy的博客

查看详细资料
个人成就
  • 获得2次点赞
  • 内容获得0次评论
  • 获得0次收藏
  • 博客总排名1,782,613名
创作历程
  • 1篇
    2019年
  • 4篇
    2018年
TA的专栏
  • 我的小结
    1篇

TA关注的专栏 0

TA关注的收藏夹 0

TA关注的社区 0

TA参与的活动 0

创作活动更多

王者杯·14天创作挑战营·第2期

这是一个以写作博客为目的的创作活动,旨在鼓励码龄大于4年的博主们挖掘自己的创作潜能,展现自己的写作才华。如果你是一位热爱写作的、想要展现自己创作才华的小伙伴,那么,快来参加吧!我们一起发掘写作的魅力,书写出属于我们的故事。 注: 1、参赛者可以进入活动群进行交流、分享创作心得,互相鼓励与支持(开卷),答疑及活动群请见https://bbs.csdn.net/topics/619735097 2、文章质量分查询:https://www.csdn.net/qc 我们诚挚邀请你们参加为期14天的创作挑战赛!

83人参与 去参加
  • 最近
  • 文章
  • 专栏
  • 代码仓
  • 资源
  • 收藏
  • 关注/订阅/互动
更多
  • 最近

  • 文章

  • 专栏

  • 代码仓

  • 资源

  • 收藏

  • 关注/订阅/互动

  • 社区

  • 帖子

  • 问答

  • 课程

  • 视频

搜索 取消

logstash

何为logstashLogstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的 “存储库” 中。(我们的存储库当然是 Elasticsearch。)采集各种样式、大小和来源的数据数据往往以各种各样的形式,或分散或集中地存在于很多系统中。 Logstash 支持 各种输入选择 ,可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式...
原创
发布博客 2019.04.03 ·
169 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

大数据专业名词

常用大数据技术名词通俗解释Hadoop:最早出现的大数据的概念就是体现在Hadoop上面,简单理解就是虚拟了一个存储系统,一个文件在多台机器上保存多份,丢失几率很小。由于机器集群可以横向扩充,因此能保存理论上无穷多的文件,因此称为大数据平台。MapReduce:在Hadoop存文件的基础上,MapReduce担任处理文件的角色,它读到文件,并把处理文件的任务分成很多子任务,让它们在多台机器...
原创
发布博客 2018.12.19 ·
1215 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

大数据面试总结

Hbase的特性以及你怎么设计rowkey和columnFamily ,怎么去建一个table?因为hbase是列式数据库,列非表schema的一部分,所以在设计初期只需要考虑rowkey 和 columnFamily即可,rowkey有位置相关性,所以如果数据是练习查询的,最好对同类数据加一个前缀,而每个columnFamily实际上在底层是一个文件,那么文件越小,查询越快,所以经常一起查询的...
原创
发布博客 2018.12.19 ·
269 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

Flume

flume是一个数据采集工具。他呢有两种形式:flume-ng和flume-og两种形式。flume-og采用的是master结构,为了保证数据一致性我们采用了zookeeper进行管理。而flume-ng采用了取消集中master机制和zookeeper机制,变成了一个纯粹的传输工具。Flume结构:主要以agent为基本单位。包括source(接收外部数据)channel(传输通道)sink...
原创
发布博客 2018.12.19 ·
373 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Flume

flume是一个数据采集工具。他呢有两种形式:flume-ng和flume-og两种形式。flume-og采用的是master结构,为了保证数据一致性我们采用了zookeeper进行管理。而flume-ng采用了取消集中master机制和zookeeper机制,变成了一个纯粹的传输工具。Flume结构:主要以agent为基本单位。包括source(接收外部数据)channel(传输通道)sink...
原创
发布博客 2018.12.19 ·
373 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Spark常见问题

Spark中常见问题Spark中的闭包闭包则是在driver端声明 excutor端引用 闭包一定经过序列化在函数内部引用了外部一个变量会发现以下问题:![在这里插入图片描述](https://img-blog.csdnimg.cn/20181026172745500.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,s...
原创
发布博客 2018.10.26 ·
253 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏