2018年12月_Jonathan-Wei

12月 11月 04月

原创 2018年20个主要的大数据认证

“大数据”一词反映了一个非常实际的增长趋势。到2020年，每个人每秒将产生1.7MB数据。根据调研机构IDC公司的调查，2020年全球数据量将增加到44万亿GB。数以亿计的智能手机和数十亿台物联网（IoT）设备每分钟产生的近300万个Facebook帖子和近300万个视频，每秒约有40,000次谷歌搜索查询。而大数据认证的数量也在不断增加，尽管不尽相同。这些资格来自供应商、教育机构、独立或行业机...

2018-12-18 09:22:28 4824

原创 Flink源码解析 | 从Example出发：理解Flink启动流程

从《Apache Flink本地部署》这篇文章中可以看到，我们启动集群都是通过脚本start-cluster.sh开始执行。我们的源码解析之路就从flink的bash脚本入手。start-cluster.shbin=`dirname "$0"`bin=`cd "$bin"; pwd`. "$bin"/config.sh# Start the JobManager instance...

2018-12-12 21:35:16 2243

原创 Apache Flink本地模式部署

Apache Flink部署模式有好几种，本文主要介绍Apache Flink的本地部署模式。本地部署模式主要用于开发者程序调试测试使用。先决条件运行系统：系统方面没有过多要求，Linux、Mac、Windows均可Java 1.8.x以上，Apache Flink不支持1.8.x以下的版本。检查系统的Java版本$ java -versionjava version "1.8...

2018-12-12 21:28:30 3274

原创伯克利大学开源多数据流实时分布式分析的系统-Confluo，吞吐超Kafka 4-10x

018年12月5日，伯克利大学发布了一篇名为《Confluo: Millisecond-level Queries on Large-scale Live Data》的博客。对大型实时数据的毫秒级查询？官方网址：https://ucbrise.github.io/confluogithub地址：https://github.com/ucbrise/confluo/定义Confluo是一个用...

2018-12-20 00:12:04 806

HttpClient4.2.5上传文件，无中文文件名乱码问题

HttpClient4.2.5实现文件上传，无中文文件名乱码问题。亲测无问题。有问题可吐槽！

2013-07-15

hadoop-1.0.4 ecipse插件（并解决0700问题）

hadoop1.0.4插件，本人亲测可行，同时解决0700问题，不过你在自己的安装笨笨中也需替换解决0700的hadoop-core-1.0.4.jar，要保持客户端、服务端以及插件的版本一直才行，要不然会出现一些版本不一致导致的问题。

2012-12-23

解决hadoop 0700Bug 的hadoop-core-1.0.4.jar

该jar包解决了hadoop-1.0.4中的0700问题 ERROR security.UserGroupInformation:PriviledgedActionException as:admin cause:java.io.IOException:Failed to set permissions of path:\home\hadoop\hadoop-1.0.4\data\data\mapred\staging\admin1107758487\.staging to 0700 Execption in threa "main" java.io.IOException:Failed to set permissions of path:\home\hadoop\hadoop-1.0.4\data\data\mapred\staging\admin1107758487\.staging to 0700 at org.apache.hadoop.fs.FileUtil.checkRetrunVlues（FileUtil.java:682） at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java.655)

2012-12-23

hadoop-eclipse-1.0.4.jar eclipse插件

自己编译的hadoop eclipse插件jar包，实验了可用！

2012-12-21

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人