- 博客(3)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Hadoop 权威指南学习笔记（四）
MapReduce 应用开发MapReduce 来编写程序，有一个特定的流程。首先写 map 函数和 reduce 函数，最好使用单元测试来确保函数的运行符合预期。然后，写一个驱动程序来运行作业，要看这个驱动程序是否可以运行，可以从本地 IDE 用一个小的数据集来运行它。如果驱动程序不能正确运行，就用本地 IDE 调试器来找出问题根源。通过这 些调试信息，可以加大单元测试使其覆盖这一测试用例，从而改进 mapper，reducer ，尽可能正确地处理...
2020-12-27 22:00:53
130
原创 refresh table 和 msck repair table 的区别
https://stackoverflow.com/questions/45107866/aws-athena-msck-repair-table-takes-too-long-for-a-small-datasethttps://athena.guide/articles/msck-repair-table/https://www.jianshu.com/p/c1b0dc86f9b0S3https://zhuanlan.zhihu.com/p/112057573
2020-12-21 22:29:06
8252
原创 Sqoop 常用参数解释
sqoop import --connect \jdbc:mysql://IP:端口/数据库?useSSL=false \--driver com.mysql.jdbc.Driver \--hive-import \--hive-overwrite \--hive-database model_info \--hive-table schedule_cutpeak_node \--target-dir /user/sff/schedule_cutpeak_node/d=$partition_d
2020-12-19 18:08:27
460
Outer approximation algorithms for separable nonconvex
2018-05-02
Global Optimization of Mixed-Integer Nonlinear Problems
2018-05-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人