- 博客(4)
- 收藏
- 关注
RSS订阅原创 从网站上爬取疫情数据的方法
从网站上爬取疫情数据的方法爬取疫情数据的网站是：link.这是实现爬虫的主要方法：// 国内各省疫情情况import requestsimport refrom util.commonFunc import WriteToDbdef parse_url(page_url): headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)
2020-05-29 12:23:56
1824
原创 ETL工具：基于kettle的表输入输出基本操作
基于kettle的表出入输出首先，要确保已经安装好了kettle软件以及一个可以使用的测试库，我用的是kettle下的spoon软件，版本为7.1连接数据库依次点击文件 -> 新建 -> 转换接下来在这一栏找到DB连接，双击DB连接双击以后得到如下界面，这里输入你要连接的数据库：在进行了这一步操作后，已经可以抽取数据库数据了，接下来进行表的输入和输出。建表和插入数据...
2020-04-08 14:43:57
1784
原创 用python实现基本数据库操作（csv文件写入数据库，基于impala）
用python实现基本数据库操作（csv文件写入数据库，基于impala）客户端连接数据库向数据库中写入数据主函数以下是将上述代码封装后的文件结果测试初来乍到，最近在数据服务部实习，想把学到的一些知识在博客上记录下来，这里我使用的数据库是impala，如果改成mySQL数据库也是一样的。客户端连接数据库 def connect(self): """连接数据库和客户端""...
2020-04-03 10:46:22
1313
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人