- 博客(4)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Hive数据倾斜及解决方案
1.现象 数据倾斜是进行大数据计算时最经常遇到的问题之一。当我们在执行hiveql或者运行mapreduce作业时候，如果遇到一直卡在map100%,reduce99%,查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。因为其处理的数据量和其他reduce差异过大。一般就是遇到了数据倾斜的问题。数据倾斜其实是进行分布式计算的时候，某些节点的计算能力比较强或者需要计...
2018-07-20 18:19:52
336
原创 Python字符串操作
1、去空格及特殊符号s.strip().lstrip().rstrip(',')(1)strip()：把头和尾的空格去掉(2)lstrip()：把左边的空格去掉(3)rstrip()：把右边的空格去掉(4)replace('c1','c2')：把字符串里的c1替换成c2。故可以用replace(' ','')来去掉字符串里的所有空格(5)split()：通过指定分隔符对字符...
2018-07-11 10:01:24
250
原创 MySQL中Case When用法详解
最近，在学习Hive基础知识时，遇到了遇到了Case When Else End语法，以前学习MySQL时忽略了这部分知识点，现总结一下相关的知识给大家。首先练习一个例子如下：一、学生课程成绩统计1)建表use hiveDemo;CREATE TABLE `course` ( `id` int, `sid` int , `course` string, `score`...
2018-07-09 15:15:25
155446
4
转载 Linux中Crontab定时任务用法详解
在LINUX中，周期执行的任务一般由cron这个守护进程来处理[ps -ef|grep cron]。cron读取一个或多个配置文件，这些配置文件中包含了命令行及其调用时间。cron的配置文件称为“crontab”，是“cron table”的简写。一、cron服务 cron是一个linux下 的定时执行工具，可以在无需人工干预的情况下运行作业。 service crond star...
2018-07-08 16:06:55
1440
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人