自动化
文章平均质量分 90
goskiller
咨询公司出身,投身互联网金融,主抓数据分析和挖掘建模,在工作和带领团队中偶有所得
展开
-
python使用selenium自动访问网站运行hivesql并取数(版本一)
最近接了一个日报的自动化项目,主要是需要我们自动访问数据库,运行查询语句取数,并根据下载结果生成昨日日报,最终发送给领导们昨日一些主要数据指标。 需求方给了我们日报模板和hivesql代码,我们就吭哧吭哧的准备开干,怎么办呢?我之前曾经就自动爬取过知乎的问答列表及单个问答页面数据,用的就是selenium自动化测试模拟鼠标操作网页,也没啥问题(主要是我们的hive服务器为了防...原创 2018-02-09 15:49:19 · 790 阅读 · 0 评论 -
爬取微博评论并提取主要关键词(一)
接到一个自然语言处理的任务,主要是爬取医疗行业微博评论并提取关键词,顺便分类。最终是要对这些评论进行自动回复,给我的不过是初级任务,那么我就拆解任务目标,一步一步来实现。 一、首先实现的是爬虫,实际上微博自己有提供api接口供我们查询,我们只需要找到合适的医疗微博id,并找到该id下评论数较多的微博即可。 在手机或者电脑端,登录微博,搜索‘医生’,排在前五的是新浪爱问医生,...原创 2018-05-14 11:31:26 · 14481 阅读 · 1 评论