车联网项目
文章平均质量分 53
车联网项目
辰阳星宇
这个作者很懒,什么都没留下…
展开
-
0. 车联网数据平台项目构建指南——MQTT+EMQ+Kafka+KSQL+Tensorflow
1、项目背景该项目是以车联网为应用背景,通过使用物联网、大数据和深度学习技术来进行实现,可对在线实时产生的数据或离线缓存的数据进行流式处理和构建模型预测。首先,构造了一个模拟器用来产生传感器采集的汽车数据,对这些数据使用MQTT的协议来传输,本次使用的broker是emqx,将数据传输到emqx后,再将emqx上的数据传输到kafka上来实现数据缓冲,之后使用ksql对流式数据进行操作,对于收集到的离线或实时的数据使用Tensorflow来训练模型,对未来的车辆情况进行建模预测。2、构建手册1. 阿原创 2020-05-26 18:38:42 · 1721 阅读 · 0 评论 -
15. 车联网数据实时收集与分析平台测试
15. 车联网数据实时收集与分析平台测试1、开启Kafka并创建相应主题2、配置EMQ3、构建数据模拟器4、Kafka消费者查看数据5、使用KSQL进行流式处理使用Tensorflow进行预测6、(1)构建Kafka消费者客户端读取数据(2)将数据由txt转换成csv格式(3)读取数据进行预测首先,构建模型然后,构建预测集进行预测总结1、开启Kafka并创建相应主题依据 9. ubuntu16.04安装配置confluent平台并使用Kafka 配置完平台后,开始进行测试。本次仅介绍单机测试,三台主原创 2020-05-26 18:38:32 · 2548 阅读 · 4 评论 -
13. 在ubuntu16.04(linux)安装配置tensroflow-io
12. 配置tensroflow-io+tensorflow-io-kafka> 前置环境准备1、安装tensorflow-io> 前置环境准备10. ubuntu16.04配置anaconda+python3+tensorflow+jupyter远程访问1、安装tensorflow-io安装到tensorflow环境里,先启动环境activate source tensor...原创 2020-04-27 11:53:21 · 568 阅读 · 0 评论 -
7. 使用Python开发MQTT客户端
构建python客户端import paho.mqtt.client as mqttclass MqttClient: mqttClient = mqtt.Client("tester") def __init__(self, host, port): self._host = host self._port = port ...原创 2020-04-21 23:08:28 · 680 阅读 · 8 评论 -
14. 使用tensorflow2中keras框架搭建LSTM神经网络模型进行时间序列预测
使用tensorflow2中keras框架搭建LSTM神经网络模型进行时间序列预测Step1:导入包Step2:设置GPU的使用率可按需增长Step3:读取数据Step4:设置参数Step5:构建数据集切分数据创建数据集Step6:模型构建及训练构建LSMT神经网络模型训练模型并保存画图查看模型学习情况Step7:模型检验训练检验画图检验Step8:进行预测设置训练集进行预测画图展示Step1:...原创 2020-05-16 21:59:30 · 8659 阅读 · 7 评论 -
10. 使用python构建Kafka的生产者和消费者,将txt转换成csv文件
producer安装kafka-python库,之后进行构建# Part 1: Produce data into Kafka (optional)# $ pip3 install kafka-pythonimport kafkaproducer = kafka.KafkaProducer(bootstrap_servers=['localhost:9092'])# NOTE: D...原创 2020-04-21 23:27:09 · 973 阅读 · 0 评论 -
11. 构建EMQ连接Kafka的插件,实现消息由MQTT Broker传递至Kafka
[环境准备]make:sudo apt-get install makegit:sudo apt-get install giterl:sudo apt-get install erlang参考文章:emq 源码编译过程1、编译安装EMQ X(1)获取源码$ git clone -b v3.0.1 https://github.com/emqx/emqx-rel.git...原创 2020-04-21 22:08:26 · 2808 阅读 · 0 评论 -
9. ubuntu16.04安装配置confluent平台并使用Kafka、KSQL进行流式操作
前置知识Confluent Platform安装配置和常用操作教程通过与Confluent Schema Registry集成,ksqlDB可以以Avro格式读写消息 。ksqlDB会根据需要自动检索(读取)和注册(写入)Avro模式,这使您不必手动在SQL中定义列和数据类型以及与Schema Registry进行手动交互。...原创 2020-05-16 21:57:41 · 924 阅读 · 0 评论 -
远程连接云主机搭建的Jupyter notebook出现404错误
刚开始在本机上输入云主机的Ip号和对应端口,可以打开云主机的Jupyter但输入密码后出现404错误。最后查找资料,发现应该是/etc/hosts里没有设置和/etc/hostname里对应的主机名字导致,访问出现了错误。解决方法:在/etc/hosts里添加127.0.0.1 hostname # 这个hostname与/etc/hostname里的名字相同参考资料:阿里云轻量应...原创 2020-03-07 14:52:20 · 941 阅读 · 0 评论 -
12. ubuntu16.04配置anaconda+python3+tensorflow+jupyter远程访问
1、版本确定确定我们想要安装的目标版本:anaconda python 版本对应关系再确定想要安装的tensorflow版本:tensorflow不同版本对应的Python 版本,cuDNN版本,CUDA版本2、更换系统python版本ubuntu16.04会自带python2版本,我们先把系统的Python给换了,安装过程:Ubuntu 16.04安装Python 3.6.5步骤(也可...原创 2020-03-06 23:17:35 · 381 阅读 · 0 评论 -
Docker问题——普通用户运行问题Got permission denied
ubuntu的普通用户下运行docker run命令,出现未授权user_1@iZ2zeirzgawl4hu0mpb3g7Z:~$ docker run hello-worlddocker: Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.s...原创 2020-02-04 13:38:07 · 796 阅读 · 0 评论 -
Docker问题——ubuntu下彻底删除docker
linux下删除顽固docker试验了很多删除Docker的方法,比如apt-get autoremove docker-*apt-get remove --purge docker-*rm -rf /etc/systemd/system/docker.service.drm -rf /var/lib/docker......没想到Docker异常顽固,难以删除。。最后...原创 2020-02-10 11:23:12 · 810 阅读 · 0 评论 -
Docker问题——安装过程中问题Errors were encountered while processing: docker-ce
解决方法docker-ce安装时出现错误:dpkg: error processing package docker-ce (--configure): subprocess installed post-installation script returned error exit status 1Processing triggers for libc-bin (2.23-0ubunt...原创 2020-02-09 16:17:57 · 8454 阅读 · 0 评论 -
8. 使用JMeter连接EMQ进行万级客户端连接测试
步骤(具体细节可看下述文档,里讲的很清晰)首先,配置windows系统下的JMeter环境并用来生成.jmx文件用于后续其次,配置ubuntu系统下的JMeter环境最后,在ubuntu系统下执行user@u:~$ jmeter -n -t /home/user/jmeter/MQTT_test.jmx 生成效果:参考文档用JMeter测试emqx服务器性能JMeter测...原创 2020-02-07 13:15:59 · 962 阅读 · 0 评论 -
linux问题——linux下误用rm删除文件解决方案
起因:误用rm -rf /home/user博主昨日误用了rm -rf /home/user,user@asdlfkja213kjk:~$ rm -rf /home/user然后,就出现了user自己删除了user。。。之前安装在user用户上的东西就全留在回忆里了。。。经过:就在第二天,突然降临了一篇可预防的文章rm命令,给你一个反悔的机会按照文章中的步骤,就开干!在~/.ba...原创 2020-02-07 10:34:19 · 579 阅读 · 0 评论 -
Gradle问题——编译错误compileJava FAILED
在使用gradle项目时,build一个文件过程中出现以下情况:> Task :compileJava/home/user_1/idea-program/avro-car-sensor-simulator-master/src/main/java/com/hivemq/CarDataPayloadGenerator.java:7: error: cannot access PluginP...原创 2020-02-04 12:25:42 · 20705 阅读 · 0 评论 -
6. 使用SpringBoot来开发基于Java的MQTT客户端
1、环境准备参考上一篇,https://blog.csdn.net/qq_41094332/article/details/1040112642、使用SpringBoot进行开发需要的前置SpringBoot知识:https://blog.csdn.net/qq_41094332/article/details/1040248701、创建SpringBoot项目点击下一步后,使...原创 2020-01-23 14:22:57 · 2191 阅读 · 0 评论 -
5. ubuntu系统配置jdk、IDEA、Maven和Tomcat并在IDEA下创建Maven项目
一、安装jdk8环境,开始构建MQTT客户端环境参考文档1:https://blog.csdn.net/weixin_42234181/article/details/87939579参考文档2:https://blog.csdn.net/qq_29350001/article/details/76680646二、再安装IDEA,用JAVA进行客户端开发博主选取了IDEA 2019....原创 2020-01-17 13:11:16 · 746 阅读 · 2 评论 -
4. ubuntu16.04部署EMQ X服务器和MQTT客户端,配置本机访问阿里云服务器EMQ
安装EMQ X参考文档:https://docs.emqx.io/docs/broker/v3/cn/install.html#ubuntu原创 2020-01-16 21:20:37 · 875 阅读 · 0 评论 -
3. Ubuntu系统中文化、安装中文输入法、解决VNC上ubuntu后无法复制粘贴问题
VNC开启复制真贴到Ubuntu系统输入输入命令行$ autocutsel$ sudo apt install autocutsel完成安装后即可在本机内内容复制粘贴到VNC里系统中文化参考文档:http://dblab.xmu.edu.cn/blog/2148-2/注:记得使用sudo执行命令哦中文输入法安装参考文档:https://www.jianshu.com/p/...原创 2020-01-11 15:51:51 · 2538 阅读 · 1 评论 -
2. 阿里云上搭建ubuntu16.04并使用VNC进行远程连接
首先,用xshell连接阿里云(便于后续操作方便)参考文档:https://www.cnblogs.com/chenyablog/p/10281995.html再来创建新用户参考文档:http://dblab.xmu.edu.cn/blog/1999-2/最后搭建Ubuntu VNC可视化界面设置VNC连接ubuntu的登录密码:参考文档:https://help.aliyun...原创 2020-01-11 15:21:36 · 1829 阅读 · 1 评论 -
1. 阿里云初体验——阿里云配置教程
Step 1:阿里云购买流程参考文档:http://dblab.xmu.edu.cn/blog/1953-2/Step 2:安全组配置参考文档1:http://www.sohu.com/a/323359841_100082689参考文档2:https://blog.csdn.net/weixin_44877365/article/details/90669275博主主要配了以下几个端口...原创 2020-01-11 13:36:32 · 416 阅读 · 1 评论