本文介绍如何使用Python的Selenium库自动化访问Hive服务器，执行Hive SQL查询并下载数据。由于Hive服务器未开放直接访问端口，通过Hue作为接口，详细展示了配置Firefox、设置自动下载路径以及自动化脚本的实现过程。
最近接了一个日报的自动化项目，主要是需要我们自动访问数据库，运行查询语句取数，并根据下载结果生成昨日日报，最终发送给领导们昨日一些主要数据指标。
需求方给了我们日报模板和hivesql代码，我们就吭哧吭哧的准备开干，怎么办呢?我之前曾经就自动爬取过知乎的问答列表及单个问答页面数据，用的就是selenium自动化测试模拟鼠标操作网页，也没啥问题(主要是我们的hive服务器为了防范数据泄露，没有开10000端口，大数据部门搭建了一个hue来供我们访问，所以不能直接通过hiveSQL包来直接访问hive服务器，只能通过登录hue访问)
如果需要使用selenium自动化测试需要首先搭建selenium服务器(貌似是搭建在google上的服务)，我是直接去官网下载的，我的系统是64位的windows，选择64bit下载，下载后我将文件解压到c盘，如下图：
在进入命令行界面后，输入java -jar selenium-server-standalone-3.8.1.zip(下载的jar文件被自动识别为zip文件，建议大家在下载后看看文件后缀，总之命令行需要输入正确的后缀才能运行)
总之在输入后，需要看到server is up and running才算是启动成功。
之前我是用R爬取数据，现在再尝试，结果发现没办法访问selenium服务器(即使在命令行说明已经启动server的前提下)，R里面的错误如下
最低0.47元/天 解锁文章
215
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
