使用Node-RED爬虫并基于ECharts可视化某楼盘的销售情况

项目以Node-RED为框架，通过HTTP请求官方的网签数据，通过cheerio解析HTML数据，保存到CSV文件中，最后使用ECharts显示出来。（至于为什么不用官方的Dashboard，只能说还是ECharts效果更丰富，API更有好）。

这个项目经过改造可以用来监控任何网页的数据，例如，家中用电量、用水量等等，全看自己折腾了。

流程

主要流程

1. 注入节点触发整个流程（间隔1小时，请求太频繁了也不好，容易被封，其次也没必要）
2. 向对应的连接发起GET请求，获取HTML数据
3. 使用CherrIO解析HTML数据，此处主要通过Selector进行定位
4. 将解析出的数据保存到本地的CSV文件中，以便查看历史数据
5. 保存完成后使用ECharts对数据进行渲染，绘制出折线图

当打开Dashboard时，由于没有执行对应的JavaScript，会导致图表没有渲染。
该问题可以通过UI Control监听Change事件，当打开新的页面后，会产生Change事件，此时渲染图表就可以正确显示。

下面对几个稍微有点困难的节点具体展开

解析HTML文件

此处假设访问 https://124.128.246.22:8090/onsaling/show.shtml?prjno=ccc3ff06-b23f-48f2-a761-d57c0bcf77de
通过F12打开开发者工具，通过右侧的元素栏，查看页面的HTML的源码。
可以通过“检查”（选择页面中的响应元素即可进行检查）按钮，去选择按兴趣的内容

要爬取的内容主要是总套数以及可手售套数。对应的HTML源码如上图，此时右击对应的HTML标签，选择

此时就可以获得该元素在页面中的位置：body > div.wrap > div.warp-content > div.form-list
在Node-REd中，通过HTTP Get获取到HTML页面后，就可以通过CheerIO进行数据的解析。
具体的代码如下

// 加载HTML页面的内容
const $ = cheerio.load(msg.payload);
// 根据Selector找到对应的内容，并且每条数据都是一个类为list-main的div标签，把其收集起来
const listMains = $('body > div.wrap > div.warp-content > div.form-list').find('.list-main');

// 解析每一个楼盘信息元素
const result = listMains.map((index, listMain) => {
    // 获取所有的信息
    const infoElements = $(listMain).find('li > span');
    // 获取操作链接
    let time = Date.now();
            // 时间, 楼盘名称, 总套数, 总面积, 可售套数, 可售面积, 已售套数, 已售面积
    return `${time},${$(infoElements[0]).text()},${$(infoElements[4]).text()},${$(infoElements[5]).text()},${$(infoElements[6]).text()},${$(infoElements[7]).text()},${$(infoElements[8]).text()},${$(infoElements[9]).text()}\n`
}).get();

msg.payload = result.join('');

return msg;

这里引入了第三方的依赖CheerIO，要在Function节点的设置栏进行设置，Node-RED会自动安装依赖，之后便可以在运行函数中使用。

ECharts完成图表可视化

由于Node-RED没有原生的ECharts节点，但前端就那么些东西，Template节点先引入第三方的JavsScript库，直接开用就可以。
唯独需要解决的就是数据如何动态的传入。
Template节点也给了示例，对照着抄就好。以下为ECharts绘图的实现

<div id="chart" style="width: 600px;height:400px;"></div>
<script>
(function() {
 // 绘制图表，见ECharts的官方文档
 function createChart(data) {
 data = data.filter(item => item['楼盘名称'] == '2#楼');
 chart = echarts.init(document.getElementById('chart'));

 let option = {
 title: {
 text: '2#楼 已售/可售套数'
 },
 tooltip: {
 trigger: 'axis'
 },
 legend: {
 data: ['已售套数', '可售套数']
 },
 xAxis: {
 data: data.map(item => new Date(item['时间']).toLocaleString())
**自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。**

**深知大多数嵌入式工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

**因此收集整理了一份《2024年嵌入式&物联网开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。**

![img](https://img-blog.csdnimg.cn/img_convert/c09059492ea8cddee66daf868ddcfbc6.png)

![img](https://img-blog.csdnimg.cn/img_convert/0a460a211edc265378bffb8f6bd9b7fa.jpeg)

![img](https://img-blog.csdnimg.cn/img_convert/405847614cf6c546102438e34971a88e.png)

 **既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上嵌入式&物联网开发知识点，真正体系化！**

![img](https://img-blog.csdnimg.cn/img_convert/54a3d746465c34ba8f6b72ff57711927.png)

![img](https://img-blog.csdnimg.cn/img_convert/ac4f2651b1b779faca08f14e02300f1e.png)

 

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以+V：Vip1104z获取！！！ （备注：嵌入式）**

<img src="https://img-community.csdnimg.cn/images/73bb5de17851459088c6af944156ee24.jpg" alt="img" style="zoom: 67%;" />



# 最后

**资料整理不易，觉得有帮助的朋友可以帮忙点赞分享支持一下小编~**

**你的支持，我的动力；祝各位前程似锦，offer不断，步步高升！！！**

6ee24.jpg" alt="img" style="zoom: 67%;" />



# 最后

**资料整理不易，觉得有帮助的朋友可以帮忙点赞分享支持一下小编~**

**你的支持，我的动力；祝各位前程似锦，offer不断，步步高升！！！**

**[更多资料点击此处获qu！！](https://bbs.csdn.net/topics/618376385)**