Jonathan-Wei
码龄12年
关注
提问 私信
  • 博客：334,304
    社区：3,002
    问答：3,120
    340,426
    总访问量
  • 46
    原创
  • 1,967,766
    排名
  • 207
    粉丝
  • 0
    铁粉

个人简介：hadoop开发，storm实时计算开发；

IP属地以运营商信息为准，境内显示到省（区、市），境外显示到国家（地区）
IP 属地：广东省
  • 加入CSDN时间： 2012-12-02
博客简介：

Jonathan.Wei的专栏

查看详细资料
个人成就
  • 获得128次点赞
  • 内容获得71次评论
  • 获得53次收藏
创作历程
  • 1篇
    2019年
  • 10篇
    2018年
  • 3篇
    2015年
  • 12篇
    2014年
  • 24篇
    2013年
  • 2篇
    2012年
成就勋章
TA的专栏
  • Apache Hadoop
    5篇
  • Apache HBase
    5篇
  • Apache Storm
    8篇
  • Apche Flume-NG
    3篇
  • Apache Kafka
    3篇
  • Apache Solr
    9篇
  • Apache Zookeeper
    1篇
  • Apache Hive
  • Apache Nutch
    2篇
  • Apache Pig
  • Apache SAMZA
    3篇
  • Apache Spark
    3篇
  • Apche Gora
    1篇
  • Spring Data
    1篇
  • python
  • MongDB
    1篇
  • Spring
    3篇
  • Spring AMQP
    1篇
  • MySQL
    4篇
  • HttpClient
    1篇
  • Docker
  • Maven
    1篇
  • tomcat
    1篇
  • Android
  • 数据库
    3篇
  • 工具
    1篇
  • 异常
    2篇
  • 运维
    1篇
  • Tensorflow
    2篇
  • 流式计算
    3篇
  • Apache Flink
    3篇
  • julia
    1篇
  • Apache Beam
    1篇
  • Apache Carbondata
    1篇
  • 杂谈
  • Confluo
    1篇
  • 时序型数据库
    1篇
兴趣领域 设置
  • 大数据
    redis
  • 后端
    spring架构
  • 搜索
    elasticsearch
创作活动更多

超级创作者激励计划

万元现金补贴，高额收益分成，专属VIP内容创作者流量扶持，等你加入！

去参加
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

重磅消息-Apache Flink1.7中文官方文档GitBook大公开

大家好，最近一段时间没有更新公众号，还请大家见谅！现在给大家带来一个好消息，我将公开近期我一直在努力翻译的Apache Flink中文官方文档的GitBook，希望能帮助大家一起学习Flink，一起提升！本文档由我个人耗费2个月时间翻译，个人英语能力有限，有翻译不好的地方希望大伙多加指正。谢谢！！！Flink介绍Apache Flink是一个面向数据流处理和批量数据处理的可分布...
原创
发布博客 2019.03.21 ·
3132 阅读 ·
1 点赞 ·
0 评论 ·
4 收藏

伯克利大学开源多数据流实时分布式分析的系统-Confluo，吞吐超Kafka 4-10x

018年12月5日，伯克利大学发布了一篇名为《Confluo: Millisecond-level Queries on Large-scale Live Data》的博客。对大型实时数据的毫秒级查询？官方网址：https://ucbrise.github.io/confluogithub地址：https://github.com/ucbrise/confluo/定义Confluo是一个用...
原创
发布博客 2018.12.20 ·
844 阅读 ·
2 点赞 ·
0 评论 ·
2 收藏

2018年20个主要的大数据认证

“大数据”一词反映了一个非常实际的增长趋势。到2020年，每个人每秒将产生1.7MB数据。根据调研机构IDC公司的调查，2020年全球数据量将增加到44万亿GB。数以亿计的智能手机和数十亿台物联网（IoT）设备每分钟产生的近300万个Facebook帖子和近300万个视频，每秒约有40,000次谷歌搜索查询。而大数据认证的数量也在不断增加，尽管不尽相同。这些资格来自供应商、教育机构、独立或行业机...
原创
发布博客 2018.12.18 ·
4903 阅读 ·
1 点赞 ·
0 评论 ·
16 收藏

Flink源码解析 | 从Example出发：理解Flink启动流程

从《Apache Flink本地部署》这篇文章中可以看到，我们启动集群都是通过脚本start-cluster.sh开始执行。我们的源码解析之路就从flink的bash脚本入手。start-cluster.shbin=`dirname "$0"`bin=`cd "$bin"; pwd`. "$bin"/config.sh# Start the JobManager instance...
原创
发布博客 2018.12.12 ·
2340 阅读 ·
1 点赞 ·
0 评论 ·
8 收藏

Apache Flink本地模式部署

Apache Flink部署模式有好几种，本文主要介绍Apache Flink的本地部署模式。本地部署模式主要用于开发者程序调试测试使用。先决条件运行系统：系统方面没有过多要求，Linux、Mac、Windows均可Java 1.8.x以上，Apache Flink不支持1.8.x以下的版本。检查系统的Java版本$ java -versionjava version "1.8...
原创
发布博客 2018.12.12 ·
3310 阅读 ·
0 点赞 ·
0 评论 ·
4 收藏

Spark集成TensorflowOnSpark standalone模式下测试mnist

微信公众号(SZBigdata-Club)：后续博客的文档都会转到微信公众号中。 1、公众号会持续给大家推送技术文档、学习视频、技术书籍、数据集等。 2、接受大家投稿支持。 3、对于各公司hr招聘的，可以私下联系我，把招聘信息发给我我会在公众号中进行推送。 技术交流群：59701880 深圳广州hadoop好友会 预先条件安装tensorflow环境下载tensorfl...
原创
发布博客 2018.11.12 ·
1223 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Spark集成TensorflowOnSpark standalone模式下测试mnist

微信公众号(SZBigdata-Club)：后续博客的文档都会转到微信公众号中。 1、公众号会持续给大家推送技术文档、学习视频、技术书籍、数据集等。 2、接受大家投稿支持。 3、对于各公司hr招聘的，可以私下联系我，把招聘信息发给我我会在公众号中进行推送。 技术交流群：59701880 深圳广州hadoop好友会 预先条件安装tensorflow环境下载tensorfl...
原创
发布博客 2018.11.12 ·
1223 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Carbondata 1.4.0+Spark 2.2.1 On Yarn集成安装

微信公众号(SZBigdata-Club)：后续博客的文档都会转到微信公众号中。 1、公众号会持续给大家推送技术文档、学习视频、技术书籍、数据集等。 2、接受大家投稿支持。 3、对于各公司hr招聘的，可以私下联系我，把招聘信息发给我我会在公众号中进行推送。 技术交流群：59701880 深圳广州hadoop好友会 由于项目需要，近期一直在研究华为开源的carbondata项目，...
原创
发布博客 2018.11.12 ·
974 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

【Apache Beam系列】Apache Beam Pipeline设计

微信公众号(SZBigdata-Club)：后续博客的文档都会转到微信公众号中。 1、公众号会持续给大家推送技术文档、学习视频、技术书籍、数据集等。 2、接受大家投稿支持。 3、对于各公司hr招聘的，可以私下联系我，把招聘信息发给我我会在公众号中进行推送。 技术交流群：59701880 深圳广州hadoop好友会  本文主要介绍开发者在开发Apache Beam管道的时候，...
翻译
发布博客 2018.11.12 ·
610 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

julia第三方包引入方法及JDBC操作

微信公众号(SZBigdata-Club)：后续博客的文档都会转到微信公众号中。 1、公众号会持续给大家推送技术文档、学习视频、技术书籍、数据集等。 2、接受大家投稿支持。 3、对于各公司hr招聘的，可以私下联系我，把招聘信息发给我我会在公众号中进行推送。 技术交流群：59701880 深圳广州hadoop好友会 第三方包引入引入Pkgimport Pkg引入第...
原创
发布博客 2018.11.09 ·
5108 阅读 ·
1 点赞 ·
0 评论 ·
5 收藏

大数据生态圈之流式数据处理框架选择(Storm VS Kafka Streams VS Spark Streaming VS Flink VS Samza)

微信公众号(SZBigdata-Club)：后续博客的文档都会转到微信公众号中。 1、公众号会持续给大家推送技术文档、学习视频、技术书籍、数据集等。 2、接受大家投稿支持。 3、对于各公司hr招聘的，可以私下联系我，把招聘信息发给我我会在公众号中进行推送。 技术交流群：59701880 深圳广州hadoop好友会  随着新设备，传感器和技术的出现，数据增长率在不断加速，根据...
原创
发布博客 2018.11.08 ·
2365 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

Google黑科技，浏览器上的机器学习框架--Tensorflow.js

Google黑科技，浏览器上的机器学习框架–Tensorflow.js2018年3月30日，谷歌 TenosrFlow 开发者峰会 2018 在美国加州石景山开幕，来自全球的机器学习用户围绕 TensorFlow 展开技术演讲与演示。今年，Tensorflow做的一件很好意思的事情，发布了面向JavaScript开发者全新的学习框架Tensorflow.js，将机器学习搬上了浏览器这个...
原创
发布博客 2018.04.12 ·
2599 阅读 ·
0 点赞 ·
0 评论 ·
5 收藏

ambari到底能不能管理监控已存在的hadoop集群？

答:

楼主在么？如何解决的。有具体文档不。能发一份给我么？QQ 252637867

回答问题 2015.12.02

【Apache Samza 系列】实时流数据处理框架Samza中文教程 （三）-- 概念

概念本章介绍在Samza高层次的概念。Streams（流）Samza处理流。流则是由一系列不可变相似类型的消息组成。举个例子，一个流可能是网站所有的点击事件，或者到一个特定数据库的所有更新操作，或者一个服务产生的所有日志，或者其他类型的时间数据。消息可以附加到流或从流中读取。一个流可以拥有任意数量的消费者，且从一个流读取消息不能删除消息（所以每个消息能有效的广播到所有消费者）。消息可以选择具有相关联
翻译
发布博客 2015.02.12 ·
2718 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

【Apache Samza 系列】实时流数据处理框架Samza中文教程 （二）-- 背景

背景本章介绍了关于流式计算的一些背景，描述了什么是samza，以及samza为什么会被构建出来。什么是消息？消息系统是实现近实时的异步计算的流行方式。当有消息产生时可以被放入一个消息队列（ActiveMQ，RabbitMQ）、发布-订阅系统（Kestrel，Kafka）或者日志聚合系统（Flume、Scribe）。下游消费者从这些系统中读取信息，并对其进行处理，或基于该消息的内容执行下一步操作。假设
翻译
发布博客 2015.02.10 ·
2485 阅读 ·
0 点赞 ·
0 评论 ·
3 收藏

【Apache Samza 系列】实时流数据处理框架Samza中文教程 （一）-- 介绍

What is Samza？Apache Samza 是一个分布式流处理框架。它使用 Apache Kafka 用于消息发送，采用 Apache Hadoop YARN 来提供容错，处理器隔离，安全性和资源管理。专用于实时数据的处理，非常像Twitter的流处理系统Storm。近日，从Apache官方博客中得知，开源的分布式流处理框架Samza历经18个月的孵化期后终于升级成为Apache的顶级项目
翻译
发布博客 2015.02.10 ·
3825 阅读 ·
3 点赞 ·
0 评论 ·
3 收藏

关于学习Java的电脑配置

答:

学习足够。不需要多高；除非你是学习大数据的，那么要求会高很多！

回答问题 2014.12.31

关于storm集群最终结果保存的问题

答:

数据保存有很多种方式，你可以保存mysql，保存hbase都可以；这个要你自己编写bolt来做实现；或者通过相关的插件做实现！

回答问题 2014.12.30

【Apache Flume系列】Flume-ng案例分享及source编码格式问题

流式分析案例场景分析；以及相关的编码处理
原创
发布博客 2014.12.09 ·
10527 阅读 ·
6 点赞 ·
5 评论 ·
4 收藏

【apache solr系列】jcseg与pinyinTokenFilter实现中文缩写查找

结合jcseg以及pinyinTokenFilter实现搜索系统常见功能缩写搜索。
原创
发布博客 2014.10.27 ·
5007 阅读 ·
5 点赞 ·
2 评论 ·
5 收藏
加载更多