![](https://img-blog.csdnimg.cn/1406ac0c058a4509b6be96f427a88b05.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
数据导入与预处理
文章平均质量分 84
熟悉使用kettle、数据库对不同文件进行导入与预处理
小趴菜_
又菜又爱玩
展开
-
数据导入与预处理——综合实验:网络招聘信息ETL自动化工程
为了分析国内就业形势,指导毕业生求职,学校准备建立一个招聘信息发布平台。该平台设计从网络定期采集招聘网站信息并通过ETL工程完成数据自动化导入,ETL部分设计如下:你需要通过Kettle创建一个ETL工程,完成从对原始数据文件的导入和预处理,实现以下数据需求:1.数据转换要求2.数据输出要求(1)将大数据相关的职位信息以XML(.xml)文件格式导出。XML文件结构如下:(2)将重庆招聘单位及其福利待遇信息以JSON(.json)文件格式导出。JSON文件结构如下:(3)将原始数据全部字段存入MyS原创 2022-12-05 19:22:04 · 3560 阅读 · 8 评论 -
数据导入与预处理——实验二:字段清洗
1.某公司需要将各地分公司的客户信息进行汇总,现在已经搜集到两个分公司的客户两个文件的格式一致,包含以下字段:"customer_id": 客户号"first_name": 客户名"last_name": 客户姓"email": 客户电邮地址"postal_code":客户邮编"addressinfo":客户地址 (地址格式:stree;district;city;country)"phone": 客户电话"create_date": 客户信息创建时间原创 2022-11-03 20:18:15 · 2780 阅读 · 3 评论 -
数据导入与预处理——实验一:数据导入与导出
掌握使用Kettle进行数据导入与导出的方法计算机、Kettle(PDI)、MySQL数据库某连锁超市为了优化经营管理,拟搭建一个商务智能系统,来帮助企业管理团队更全面、专业的通过数据了解业务况状。目前公司有一个订单数据库,记录了每一笔订单的详细数据,包括以下字段:【字段名称,订单编号,下单日期,销售点,支付方式,发货日期,物流时限,客户编号,客户名称,客户类型,客户城市,客户省份,客户地区,产品编号,产品名称,产品分类,产品细类,金额,数量,折扣,利润,推销员,是否退货,财政年度】原创 2022-10-11 22:41:29 · 2692 阅读 · 1 评论 -
数据导入与预处理——1.初步熟悉kettle-Spoon
实际的工作中,在"跳"的中间还有许多步骤需要进行处理。分发:把输入数据一条一条分给两个输出文件;出现两个选项:分发与复制。复制:把输入数据复制给两个输出文件。鼠标回到文件输入:继续双击输出步骤。在输出3、4里面都有两行完整数据。选择之后根据上述所讲进行配置。输入输出结果的读写分别存在。原创 2022-09-21 13:43:02 · 3901 阅读 · 0 评论