MapReduce综合应用案例 — 招聘数据清洗

第1关：数据清洗

首先离开头歌界面，在电脑桌面创建文件 1.sh,在文件输入

#!/bin/bash
echo '10 Column Family=info column=city_name value=530
10 Column Family=info column=companySize value=100-499人
10 Column Family=info column=company_name value=小呆呆科技(北京)有限公司
10 Column Family=info column=createDate value=2019-03-22T16:34:24.000+08:00
10 Column Family=info column=eduLevel_name value=大专
10 Column Family=info column=emplType value=校园
10 Column Family=info column=endDate value=2020-02-13T23:59:59.000+08:00
10 Column Family=info column=jobName value=8k大数据分析工程师
10 Column Family=info column=place value=大兴区大族企业湾
10 Column Family=info column=responsibility value=·             大数据分析师工程师（可内训）企业招聘：上市公司从事大数据分析师工程师工作。第一年工资专科：6000-10000元/月、本科以上：8000-12000元/月；第二年工资专科：8000-12000元/月、本科以上：15000-20000元/月【岗位方向】：大数据分析师、BI需求工程师、DBA，数据库管理员。【工作内容】：1、支持公司各业务部门的数据需求，从数据仓库中提取数据并反馈给业务部门；2、抽象业务需求形成固化的报表，为公司凝练系统化的业务分析与决策支持系统；3、配合其他分析师一起构建并完善公司各业务数据分析体系，帮助公司进行业务监控并参与重大战略决策分析；4、负责业务核心指标的监控和跟踪分析，并对异常波动情况进行分析和问题定位。【福利待遇】：  1、签订正式合同、六险一金等。2、在京工作一年后要求回当地工作的，可申请调回当地省会城市的分公司或合作企业工作。3、接受岗前内训，实训期间不用支付任何费用，并且每月享有项目提成补助（1000-3000元/月不等）。无经验者，由公司项目经理带！【任职要求】：  1、大专及以上学历，计算机（网络)、电子信息、软件工程、（电气）自动化、测控、生仪、机电、数学或英语等专业。2、有计算机语言基础者优先，如：C语言、Java、.Net、PHP等；3.    拥有出色的沟通能力和学习能力；4.    拥有优秀的分析问题和解决问题能力；5.    具备勇于创新，乐于接受挑战，承受压力的良好素质；6.    性格积极开朗，坦诚正直。  【温馨提示】：每日简历投递量非常大，欢迎主动与我联系。周末双休。公司不提倡加班
10 Column Family=info column=salary value=9.0
10 Column Family=info column=welfare value=五险一金,年底双薪,绩效奖金,年终分红,加班补助
10 Column Family=info column=workingExp value=无经验
11 Column Family=info column=city_name value=530
11 Column Family=info column=companySize value=100-499人
11 Column Family=info column=company_name value=小呆呆科技(北京)有限公司
11 Column Family=info column=createDate value=2019-03-22T16:26:52.000+08:00
11 Column Family=info column=eduLevel_name value=不限
11 Column Family=info column=emplType value=校园
11 Column Family=info column=endDate value=2020-02-13T23:59:59.000+08:00
11 Column Family=info column=jobName value=8.5k大数据分析实习生
11 Column Family=info column=place value=海淀区西二旗辉煌国际
11 Column Family=info column=responsibility value=岗位职责：1. 以数据分析为基础，形成定量/定性分析结果，为公司产品提供有质量的决策依据；2. 通过日常运营监控和行业分析，发现运营问题和机会，定期形成公司相关行业分析报告；3. 对公司产品数据及各项运营进行统计分析，负责业务数据和项目相关需求的收集、整理和建议，4. 分析用户数据，编写分析报告，并对数据趋势进行归纳总结；5. 发现和分析异常数据原因，推动技术定位和解决问题，提供产品改进以及处理决策支持；6. 基于数据分析，对产品运营的工作提出优化及改善建议，改进和完善数据分析服务流程规范。7. 完成上司安排其他事项。
11 Column Family=info column=salary value=9.0
11 Column Family=info column=welfare value=五险一金,年底双薪,绩效奖金,年终分红,加班补助
11 Column Family=info column=workingExp value=无经验
13 Column Family=info column=city_name value=530
13 Column Family=info column=companySize value=100-499人
13 Column Family=info column=company_name value=小呆呆科技(北京)有限公司
13 Column Family=info column=createDate value=2019-03-22T16:35:56.000+08:00
13 Column Family=info column=eduLevel_name value=不限
13 Column Family=info column=emplType value=全职
13 Column Family=info column=endDate value=2020-02-13T23:59:59.000+08:00
13 Column Family=info column=jobName value=环境工程8K大数据工程师
13 Column Family=info column=place value=密云
13 Column Family=info column=responsibility value=·             大数据分析师工程师（可内训）企业招聘：上市公司从事大数据分析师工程师工作。第一年工资专科：6000-10000元/月、本科以上：8000-12000元/月；第二年工资专科：8000-12000元/月、本科以上：15000-20000元/月【岗位方向】：大数据分析师、BI需求工程师、DBA，数据库管理员。【工作内容】：1、支持公司各业务部门的数据需求，从数据仓库中提取数据并反馈给业务部门；2、抽象业务需求形成固化的报表，为公司凝练系统化的业务分析与决策支持系统；3、配合其他分析师一起构建并完善公司各业务数据分析体系，帮助公司进行业务监控并参与重大战略决策分析；4、负责业务核心指标的监控和跟踪分析，并对异常波动情况进行分析和问题定位。【福利待遇】：  1、签订正式合同、六险一金等。2、在京工作一年后要求回当地工作的，可申请调回当地省会城市的分公司或合作企业工作。3、接受岗前培训，实训期间不用支付任何费用，并且每月享有项目提成补助（1000-3000元/月不等）。无经验者，由公司项目经理带！【任职要求】：  1、大专及以上学历，计算机（网络)、电子信息、软件工程、（电气）自动化、测控、生仪、机电、数学或英语等专业。2、有计算机语言基础者优先，如：C语言、Java、.Net、PHP等；3.    拥有出色的沟通能力和学习能力；4.    拥有优秀的分析问题和解决问题能力；5.    具备勇于创新，乐于接受挑战，承受压力的良好素质；6.    性格积极开朗，坦诚正直。  【温馨提示】：每日简历投递量非常大，欢迎主动与我联系。
13 Column Family=info column=salary value=9.0
13 Column Family=info column=welfare value=五险一金,年底双薪,绩效奖金,年终分红,加班补助
13 Column Family=info column=workingExp value=不限
5 Column Family=info column=city_name value=530
5 Column Family=info column=companySize value=100-499人
5 Column Family=info column=company_name value=小呆呆科技(北京)有限公司
5 Column Family=info column=createDate value=2019-03-22T16:29:36.000+08:00
5 Column Family=info column=eduLevel_name value=不限
5 Column Family=info column=emplType value=全职
5 Column Family=info column=endDate value=2020-02-13T23:59:59.000+08:00
5 Column Family=info column=jobName value=监察人员7k大数据分析工程师
5 Column Family=info column=place value=丰台总部基地
5 Column Family=info column=responsibility value=岗位职责：1、对IT感兴趣，并想进入该行业进行长远发展；2、好学，细心，有良好的逻辑思维能力及分析能力；3、工作态度积极认真，愿意从实习开始；4、听从上级安排，认真贯彻上级安排的相关工作。公司福利：1、签订正式劳动合同，从试用期开始缴纳五险一金；2、日常补贴（话费、工作餐、交通费补贴）;3、薪资保障:享受优质的奖励机制，高底薪+绩效；4、 晋升管道畅通，一年有四次加薪晋升机会；5、 正式员工享受十三薪及年终奖；6、 朝九晚六，周末双休;7、 每季度员工旅游+员工生日会+节日礼物；8、 每年享受国家规定的带薪年假、法定节假日等福利；9、 丰富的企业文化活动，打造快乐活力的工作氛围 ；10、 提供员工宿舍；11、 年度体检；工作时间: 早9:00至晚17:30，周末双休。公司不提倡加班
5 Column Family=info column=salary value=9.0
5 Column Family=info column=welfare value=五险一金,年底双薪,绩效奖金,年终分红,加班补助
5 Column Family=info column=workingExp value=不限
6 Column Family=info column=city_name value=530
6 Column Family=info column=companySize value=100-499人
6 Column Family=info column=company_name value=小呆呆科技(北京)有限公司
6 Column Family=info column=createDate value=2019-03-22T16:27:34.000+08:00
6 Column Family=info column=eduLevel_name value=不限
6 Column Family=info column=emplType value=实习
6 Column Family=info column=endDate value=2020-02-13T23:59:59.000+08:00
6 Column Family=info column=jobName value=IT大数据分析工程师
6 Column Family=info column=place value=海淀区西二旗辉煌国际
6 Column Family=info column=responsibility value=工作内容：1、运用相关分析类软件进行金融数据的收集和整理2、无经验者通过公司的岗前学习进行基本的数据分析3、完成分析并且做出相应的分析报告4、公司软件的维护以及后期的系统升级，智能分析系统的研发等5、完成领导分配的其它工作职位要求 ：1、有志于IT、金融行业长远发展（金融、经济学专业可放宽至大专）；或对金融、IT行业有强烈意愿者。2、要求大专以上学历；3、年龄20-29周岁；4、计算机、软件、数学、统计学、经济、财务专业优先；5、熟练使用ORACLE/DB2数据库优先；6、熟练使用SQL优先；7、较强的逻辑思维能力工作时间：早10晚6，周末双休，节假日正常休息。
6 Column Family=info column=salary value=9.0
6 Column Family=info column=welfare value=五险一金,年底双薪,绩效奖金,年终分红,加班补助
6 Column Family=info column=workingExp value=无经验
7 Column Family=info column=city_name value=530
7 Column Family=info column=companySize value=100-499人
7 Column Family=info column=company_name value=小呆呆科技(北京)有限公司
7 Column Family=info column=createDate value=2019-03-22T16:28:15.000+08:00
7 Column Family=info column=eduLevel_name value=不限
7 Column Family=info column=emplType value=全职
7 Column Family=info column=endDate value=2020-02-13T23:59:59.000+08:00
7 Column Family=info column=jobName value=物流供应9k大数据分析工程师
7 Column Family=info column=place value=十里堡
7 Column Family=info column=responsibility value=·             大数据分析师工程师（可内训）企业招聘：上市公司从事大数据分析师工程师工作。第一年工资专科：6000-10000元/月、本科以上：8000-12000元/月；第二年工资专科：8000-12000元/月、本科以上：15000-20000元/月【岗位方向】：大数据分析师、BI需求工程师、DBA，数据库管理员。【工作内容】：1、支持公司各业务部门的数据需求，从数据仓库中提取数据并反馈给业务部门；2、抽象业务需求形成固化的报表，为公司凝练系统化的业务分析与决策支持系统；3、配合其他分析师一起构建并完善公司各业务数据分析体系，帮助公司进行业务监控并参与重大战略决策分析；4、负责业务核心指标的监控和跟踪分析，并对异常波动情况进行分析和问题定位。【福利待遇】：  1、签订正式合同、六险一金等。2、在京工作一年后要求回当地工作的，可申请调回当地省会城市的分公司或合作企业工作。3、接受岗前培训，实训期间不用支付任何费用，并且每月享有项目提成补助（1000-3000元/月不等）。无经验者，由公司项目经理带！【任职要求】：  1、大专及以上学历，计算机（网络)、电子信息、软件工程、（电气）自动化、测控、生仪、机电、数学或英语等专业。2、有计算机语言基础者优先，如：C语言、Java、.Net、PHP等；3.    拥有出色的沟通能力和学习能力；4.    拥有优秀的分析问题和解决问题能力；5.    具备勇于创新，乐于接受挑战，承受压力的良好素质；6.    性格积极开朗，坦诚正直。  【温馨提示】：每日简历投递量非常大，欢迎主动与我联系。
7 Column Family=info column=salary value=9.0
7 Column Family=info column=welfare value=五险一金,年底双薪,绩效奖金,年终分红,加班补助
7 Column Family=info column=workingExp value=不限
8 Column Family=info column=city_name value=530
8 Column Family=info column=companySize value=100-499人
8 Column Family=info column=company_name value=小呆呆科技(北京)有限公司
8 Column Family=info column=createDate value=2019-03-22T16:28:36.000+08:00
8 Column Family=info column=eduLevel_name value=不限
8 Column Family=info column=emplType value=全职
8 Column Family=info column=endDate value=2020-02-13T23:59:59.000+08:00
8 Column Family=info column=jobName value=8.5k大数据技术支持分析
8 Column Family=info column=place value=草房
8 Column Family=info column=responsibility value=岗位职责：1.严格执行公司各项制度，，并定期整理分析数据，向上级领导账户分析结果；2.按照部门主管的要求进行技术和基本面规律的分析，进行数据的搜集或整理；3.配合其他部门有关工作；4.遵守公司的各项管理制度，承办领导交办的其他工作。管理经验1、有团队管理经验者优先；2、有项目管理经验者优先。 价值观1、对本职工作严谨、勤勉、专注；2、责任心强； 综合素质(能力/思维模式)1、有较强的学习力、理解力、沟通力；2、有较好的聚类/分类思维、维度思维；   工作时间：早10晚6，周末双休，节假日正常休息。 
8 Column Family=info column=salary value=9.0
8 Column Family=info column=welfare value=五险一金,年底双薪,绩效奖金,年终分红,加班补助
8 Column Family=info column=workingExp value=不限
9 Column Family=info column=city_name value=530
9 Column Family=info column=companySize value=100-499人
9 Column Family=info column=company_name value=小呆呆科技(北京)有限公司
9 Column Family=info column=createDate value=2019-03-22T16:29:17.000+08:00
9 Column Family=info column=eduLevel_name value=不限
9 Column Family=info column=emplType value=校园
9 Column Family=info column=endDate value=2020-02-13T23:59:59.000+08:00
9 Column Family=info column=jobName value=7k大数据分析工程师（实习岗）
9 Column Family=info column=place value=知春路
9 Column Family=info column=responsibility value=工作内容：1、承担数据的分析工作，能够独立设计并维护业务需要的报表；2、实时监控业务运营数据变化，及时反馈相关部门；3、排查数据问题，通过数据指引问题解决；4、深度挖掘行业相关数据，根据部门其它业务需求，制作数据报表并推动报表系统化；公司福利：1、签订正式劳动合同，从试用期开始缴纳五险一金；2、日常补贴（话费、工作餐、交通费补贴）;3、薪资保障:享受优质的奖励机制，高底薪+绩效；4、 晋升管道畅通，一年有四次加薪晋升机会；5、 正式员工享受十三薪及年终奖；6、 朝九晚六，周末双休;7、 每季度员工旅游+员工生日会+节日礼物；8、 每年享受国家规定的带薪年假、法定节假日等福利；9、 丰富的企业文化活动，打造快乐活力的工作氛围 ；10、 提供员工宿舍；11、 年度体检；工作时间: 早9:00至晚17:30，周末双休。公司不提倡加班
9 Column Family=info column=salary value=9.0
9 Column Family=info column=welfare value=五险一金,年底双薪,绩效奖金,年终分红,加班补助
9 Column Family=info column=workingExp value=无经验'

接着再头歌界面上传文件

检查上传文件的文件名

ls /data/workspace/userfiles/

 如果文件名为 1.sh.txt,则输入命令，出现1.sh则跳过这段命令

mv /data/workspace/userfiles/1.sh.txt /data/workspace/userfiles/1.sh

最后输入命令

rm /data/workspace/myshixun/step1/1.sh
mv /data/workspace/userfiles/1.sh /data/workspace/myshixun/step1/

测评即可