数据挖掘分析工程师孙璇

最近公司正在做一个基于熟人关系网络的投顾系统，数据库里面有一个基础的拉人注册表，描述了注册者和他的上级的从属关系，是一级关系。 但是公司基于业务需要，需要对每一个人的上下线关系进行梳理这样就必须要有一个表，我的第一反应是这个表太简单了，不就是上下级关系吗？结果，我被打脸了，实际情况没那么简单，因为邀请表里面是一张表，包含了所有的邀请关系，如果邀请级别有20级，数量有十万，那跑一次循环就是十万的平

      最近接了一个日报的自动化项目，主要是需要我们自动访问数据库，运行查询语句取数，并根据下载结果生成昨日日报，最终发送给领导们昨日一些主要数据指标。      需求方给了我们日报模板和hivesql代码，我们就吭哧吭哧的准备开干，怎么办呢？我之前曾经就自动爬取过知乎的问答列表及单个问答页面数据，用的就是selenium自动化测试模拟鼠标操作网页，也没啥问题（主要是我们的hive服务器为了防...