- 博客(5)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 多些色彩，多些理解，多些小幸福
今晚还是在自己喜欢的一家餐厅用晚餐，约有180个晚餐是在这里吃的了。和餐厅的关系一直很融洽，我会很礼貌对待餐厅的每一位服务生，因为他们确实做的很棒，也蛮感激他们的辛苦劳动的。餐厅对我也很...
2018-04-30 11:51:41
161
原创 MLSQL如何支持部署SKLearn,Tensorflow,MLLib模型提供API预测服务
部署成API服务时，除了要把raw数据特征化成向量外，研发还要想着怎么加载模型，产生模型的框架五花八门，比如Tensorflow,SKlearn,Spark MLllib等每个框架都有自己的模型格式。在我司，有一次用Sklearn研发了一个模型，研发资源比较紧张，没办法，算法同学治好自己用Python flask搭建了一个API,然后部署成微服务（多实例来...
2018-04-27 16:07:00
1095
3
原创 Spark SQL操作JSON字段小Tips
前言很多时候，比如用structure streaming消费kafka数据，默认可能是得到key,value字段，key是偏移量，value是一个byte数组。很可能value其实是一个Json字符串。这个时候我们该如何用SQL操作这个json里的东西呢？另外，如果我处理完的数据，我想写入到kafka,但是我想把整条记录作为json格式写入到Kafka...
2018-04-24 16:29:00
3359
原创 ChatBot framework 开发实践
前言通常而言，通用聊天机器人（比如小冰等）底层技术是采用类似Seq2Seq等“生成”技术的。但是这种机器人属于探索性质，无法提供特定的服务。而Siri则是兼具闲聊以及垂直领域功能的，比如可以预约提醒，打电话，定餐厅等特定功能。相信Siri在实现特定预约提醒，打电话功能等，则是使用了“语言模板”匹配技术以及结合分类器来实现精度的控制和定向动作的执行。对...
2018-04-20 12:01:00
330
原创 CrawlerSQL 设计
目标首先CrawlerSQL会包含两个服务：调度服务，比如每个url的抓取周期。抓取服务：调度会给url,抓取服务负责实际的抓取在StreamingPro里，我们仅仅会实现抓取服务，也就是写一段SQL脚本。至于每个脚本什么时候执行是调度服务的事情，这里我们需要区分开来。而且调度也算是一件非常复杂的事情。我希望尽可能复用MLSQL的语法格式，尽量不...
2018-04-04 21:12:00
168
hibernate 关联保存 的困惑
2009-10-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人