这里写
项目场景:存量数据按监管要求补报,在大数据中按年份复制数据
提示:这里简述项目相关背景:
例如:项目场景:示例:通过蓝牙芯片(HC-05)与手机 APP 通信,每隔 5s 传输一批传感器数据(不是很大)
问题描述:用正则方式写入的数组导致与hive -e中的分号冲突,致使分号以后的sql执行不了
提示:这里描述项目中遇到的问题:
例如:数据传输过程中数据不时出现丢失的情况,偶尔会丢失一部分数据
APP 中接收数据代码:
@Override
public void run() {
bytes = mmInStream.read(buffer);
mHandler.obtainMessage(READ_DATA, bytes, -1, buffer).sendToTarget();
}
原因分析:用正则方式写入的数组导致与hive -e中的分号冲突,致使分号以后的sql执行不了
提示:这里填写问题的分析:
例如:Handler 发送消息有两种方式,分别是 Handler.obtainMessage()和 Handler.sendMessage(),其中 obtainMessage 方式当数据量过大时,由于 MessageQuene 大小也有限,所以当 message 处理不及时时,会造成先传的数据被覆盖,进而导致数据丢失。
解决方案:
1.使用hive -f xxx.sql 执行sql文件(有局限性,再生产环境执行部署文档时候时间太长,不可以取)
2.采用‘1:2:3’写死为字符串,用splite截取;因为split截取后是一个数组,所以可以炸裂开来
提示:这里填写该问题的具体解决方案:
例如:新建一个 Message 对象,并将读取到的数据存入 Message,然后 mHandler.obtainMessage(READ_DATA, bytes, -1, buffer).sendToTarget();换成 mHandler.sendMessage()。
自定义目录标题)