![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据开发
Are You Coding?
这个作者很懒,什么都没留下…
展开
-
中国5月份疫情展示和分析
主要内容将csv数据导入Kafka效果图将csv数据导入Kafka原创 2020-05-29 14:06:26 · 1669 阅读 · 0 评论 -
从网站上爬取疫情数据的方法
从网站上爬取疫情数据的方法爬取疫情数据的网站是:link.这是实现爬虫的主要方法:// 国内各省疫情情况import requestsimport refrom util.commonFunc import WriteToDbdef parse_url(page_url): headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)原创 2020-05-29 12:23:56 · 1788 阅读 · 0 评论 -
ETL工具:基于kettle的表输入输出基本操作
基于kettle的表出入输出首先,要确保已经安装好了kettle软件以及一个可以使用的测试库,我用的是kettle下的spoon软件,版本为7.1连接数据库依次点击文件 -> 新建 -> 转换接下来在这一栏找到DB连接,双击DB连接双击以后得到如下界面,这里输入你要连接的数据库:在进行了这一步操作后,已经可以抽取数据库数据了,接下来进行表的输入和输出。建表和插入数据...原创 2020-04-08 14:43:57 · 1724 阅读 · 0 评论 -
用python实现基本数据库操作(csv文件写入数据库,基于impala)
用python实现基本数据库操作(csv文件写入数据库,基于impala)客户端连接数据库向数据库中写入数据主函数以下是将上述代码封装后的文件结果测试初来乍到,最近在数据服务部实习,想把学到的一些知识在博客上记录下来,这里我使用的数据库是impala,如果改成mySQL数据库也是一样的。客户端连接数据库 def connect(self): """连接数据库和客户端""...原创 2020-04-03 10:46:22 · 1214 阅读 · 0 评论