![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
aiyinsitan215
这个作者很懒,什么都没留下…
展开
-
nifi 爬虫初尝试 网络抓取数据存入mysql数据库
从指定的网站读取内容,将内容转为json,将json转为sql,然后插入到数据库1、读取网站内容, ExecuteScript 处理器,脚本语言 grrovy,jsoup做解析网页信息,提取公司门户网站的所有的新闻/usr/nifi/jars/jsoup-1.12.1.jar,脚本代码如下:import groovy.json.JsonBuilderimport org.jso...原创 2019-06-25 14:11:17 · 1310 阅读 · 0 评论 -
nifi 从mysql数据中读取数存入hive中
1、在hive中创建一张外部表create external table news2(id string,title string,url string,content string) row format delimited fields terminated by '\t';之前的想法是从mysql读取数据,将数据转为json,再用ConvertJSONToSQL 转为hive ...原创 2019-06-25 14:19:52 · 2275 阅读 · 4 评论