最近接公司需求需要搭建一个供内网使用的数据查询webservic服务。首先原始数据在hdfs上,而查询方没有相应的权限,这是背景。简单记录下这次实践的流程和中间遇到的一些问题。
总体的思路和流程
1.数据处理
处理hdfs的数据,按照要求的维度和格式存放到本地(服务器)的mysql数据库中;
2.webservice 搭建
1)在flask的代码里使用数据库的时候推荐使用flask-MySQLdb 这样可以省去很多数据库连接/断开等的管理麻烦;
2)使用https访问,首先可以在debug环境中直接使用flask的默认adhoc实现https访问,但私这种方法不推荐使用在生产环境中,在生产环境服务器中需要搭配其他方式部署ssl环境和反向代理。
其实在服务器本地直接配置https证书也是十分方便的,具体可以参考:教程
当然中间的flask代码写发等内容在这里不再展开,总的来说还是比较简单的。
3.一个无关的题外话
在服务器上运行简易的flask app时需要将任务在后台持续运行,这时候可以使用nohup xxxxx &来实现,当然这时候如果退出终端以后任务不再能通过jobs命令查看,需要通过ps -aux|grep xxxx查看进程号
qu