![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
Yurii.Huang
哀吾生之须臾,羡长江以无穷
展开
-
kafka 单节点部署及心得体会
先介绍一下场景吧,我手头有两个项目,两个项目都如其的相似项目一、类似于怪兽充电的电池物联网节点与云端的数据中心项目二、汽车分包电池信息物联网设备节点与云数据中心推送相同点、两个都是基于stream流的数据,而且都是消息上传和控制指令。我前期在项目二中引申了一个物联网单节点项目,也是我现在公司的项目,第一版这是整完了吧,第二版的架构我就开始找方案了(最终的蓝本应该基于云的物联管理平台)。先初定了一下需求:协议兼容http、tcp、udp、websocket 需要负载均衡 需要热点部署原创 2020-09-05 02:49:34 · 554 阅读 · 0 评论 -
大数据逆向样本推论
一般的大数据据结论性分析就样本而言可以推出一系列结论,而在实际大数据开发过程中,数据权限和数据壁垒,我们拿不到一些专有数据。这时候我们需要一批符合结论的样本数据,怎么办呢?提供一个思路计结论通过相应的指标可以还原成模拟大数据文本。举个例子:研究问题:高收入每人每天均值。 正向样本推结论: 我们有TB级上海某每人每天薪资数据,总人数已知20w,总金额已知1000...原创 2019-07-23 10:41:36 · 856 阅读 · 0 评论 -
Spark 原理性探究及基本操作
来自官网的介绍:一些比较基础的问题解答:http://spark.apache.org/faq.html1.Spark是一个与Hadoop数据兼容的快速且通用的处理引擎。它可以通过YARN或Spark的独立模式在Hadoop集群中运行,并且可以在HDFS,HBase,Cassandra,Hive和任何Hadoop InputFormat中处理数据。它旨在执行批处理(类似于MapReduce...原创 2018-05-08 10:50:10 · 216 阅读 · 0 评论