Hadoop在生产环境中简单的设想

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

提示：这里可以添加本文要记录的大概内容：

在我们半导体公司，当然生产环境中主要与半导体设备打交道，各个工艺流程都需要设备生产，为管控半导体设备生产就有了RMS远程操作设备来防呆减少不必要的人为失误，RMS主要功能管控设备的Recipe程序防止使用错误的程序，其次与设备交互，监控设备的状态、报警、电流等生产参数，机器没报警但生产参数出现异常时及时暂停设备的继续生产，检查纠正问题后再进行有效生产

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、浅度分析

分析RMS系统如何加入Hadoop：
1、设备Recipe程序的存储，将Recipe程序上传到HBase/HDFS
HBase的优势:
1)HBase 可以很好地支持非结构化的数据存储，且基于HDFS保证数据的可靠性;
2)HBase 吞吐量非常高，足够支撑业务;
3)HBase 基于Hadoop集群，不需要重新维护其他数据存储服务。
4)支持海量数据，高性能，可扩展，高可用。
文件存储方案
将大文件直接存储到HDFS中，HBase中只存储文件的元数据以及标签信息。这个方案既避免把一个文件拆分成多个，而且可以充分利用底层的HDFS来保证整体数据的可靠性。

RMS直接将数据写入到统一文件服务，然后统一文件服务进行判断，如果它 一个大于10M的数据，那么直接将数据存储在HDFS当中，而其它的一些比如文件的Meta信息和标签信息，则统一存储在HBase当中。如果是小于10M的一些文件，那么我们可以直接将文件存储在HBase当中。
复杂查询支持：
1)HBase 本身根据字典排查，我们可以将一些较为固定的标签设计在 Rowkey中，以便满足我们常规查询的需要;
2)如果系统需要支持更加灵活的检索功能，我们也可以引入Phoenix 来构建二级索引或者ElasticSearch来满足我们的检索功能。

2、获取设备的状态、报警、电流、生产日志等架构图

通过kafka+spark streaming+hbase来实时获取设备的生产数据（之前每次产线RMS出问题，我们都要先远程到产线的电脑上，再打开本地的RMS目录，一个个打开本地文本日志查看通讯日志和异常日志，如果都存储在Hadoop上我就能直接通过大数据去查看分析和解决问题）

3、OEE的数据，如何大数据实时计算显示。。。。。

二、集群简单搭建

集群IP	集群配置
192.168.74.88	Hadoop Spark Hbase Kafka Zookeeper Phoenix
192.168.74.89	Hadoop Spark Hbase Kafka Zookeeper Phoenix
192.168.74.90	Hadoop Spark Hbase Kafka Zookeeper Phoenix
192.168.74.91	负载均衡 nginx

---

总结

记录点点滴滴