- 博客(5)
- 收藏
- 关注
RSS订阅原创 物联网数据采集处理架构
物联网，顾名思义，所有的数据采集是从设备采集的。设备有多种，有些通过传感器来采集，有些设备属于智能设备，本身就是一台小型计算机，能够自己采集，不管是传感器，还是智能设备本身，采集方式一般包含2种，一种是报文方式，所谓报文就是根据你设置的采集频率，比如1分钟一次，1秒一次进行数据传输，传输到哪里？一般放到MQ中。还有一种采集是以文件的方式采集，在做数据分析的时候，工业设备的数据希望是连续不断的，我们
2017-11-29 17:42:06
29905
1
原创 matplotlib-2.1.0-none-cp35m-win_amd64.whl is not a supported wheel on this platform
最近项目进行算法迁移，从matlab迁移到python，安装显示matplotlib-2.1.0-cp35-cp35m-win_amd64.whl is not a supported wheel on this platform错误。 >>> import pip>>> print(pip.pep425tags.get_supported())[('cp35', 'none', 'win
2017-11-17 18:06:28
2636
原创 Hue Bug: Processing exception: 'ascii' codec can't encode characters in position 68-69: ordinal not
现在的环境基本配置都是UTF-8, 我这里很多oozie的JOB，有的job通过程序调用传参， 之前JOB跑完之后查看日志，一切正常，突然有一天发现通过hue打不开oozie的日志。查看错误为：Processing exception: 'ascii' codec can't encode characters in position 68-69: ordinal not in ran
2017-11-10 14:57:40
1793
原创 Spark job, stage, task， partition相关问题
数据：panda,0pink,3pirate,3panda,1pink,4coffee,3dog,2dog,3根据key求value的平均值 line.map { line => (line.split(",")(0), line.split(",")(1))}.mapValues { x => (x.toDouble,1) } .re
2017-11-09 18:03:27
802
原创 Hadoop架构
大数据架构现在已经泛滥了，有时候我也在想到底什么是架构？ 架构到底是什么？ 我更习惯用数据流来代替架构，大数据不就是采集，处理数据的一个系统吗？ 哪来那么多架构？ 我们先来介绍一下Hadoop系统大致干什么？1. 数据采集数据采集根据系统而定，没有固定应该怎么采集，互联网和工业的采集方式完全不同，互联网通常采集日志，主要用来给作为用户行为分析，改善网站提高点击量， API数据采集，
2017-11-03 18:23:35
328
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人