常见问题处理
weixin_43203897
这个作者很懒,什么都没留下…
展开
-
用mapreduce处理数据倾斜问题
数据倾斜:map /reduce程序执行时,reduce节点大部分执行完毕,但是有一个或者几个reduce节点运行很慢,导致整个程序的处理时间很长,这是因为某一个key的条数比其他key多很多(有时是百倍或者千倍之多),这条key所在的reduce节点所处理的数据量比其他节点就大很多,从而导致某几个节点迟迟运行不完,此称之为数据倾斜。用hadoop程序进行数据关联时,常碰到数据倾斜的情况,这里提...原创 2019-02-27 23:08:26 · 207 阅读 · 0 评论 -
Hadoop的优化
1.从应用程序角度进行优化(1) 避免不必要的reduce任务如果mapreduce程序中reduce是不必要的,那么我们可以在map中处理数据, Reducer设置为0。这样避免了多余的reduce任务。(2) 为job添加一个Combiner为job添加一个combiner可以大大减少shuffle阶段从map task拷贝给远程reduce task的数据量。一般而言,combine...原创 2019-02-27 23:21:47 · 225 阅读 · 0 评论 -
HBase的热点问题及解决思路
Hbase的表会被划分为1…n个Region,被托管在RegionServer中。Region二个重要的属性:Startkey与EndKey表示这个Region维护的rowkey的范围,当我们要读写数据时,如果rowkey落在某个start-end key范围内,那么就会定位到目标region并且读写到相关的数据。默认情况下,当我们通过hbaseAdmin指定TableDescriptor来创建...原创 2019-03-05 22:16:44 · 1315 阅读 · 0 评论 -
centOS 7 没有IP,重启网络服务报错
centOS 7 没有IP,重启网络服务报错:没有IP:重启网络服务报错:[root@master ~]$systemctl restart network.serviceJob for network.service failed because the control process exited with error code. See "systemctl status netw...原创 2019-06-19 10:12:48 · 785 阅读 · 0 评论 -
Navicat mysql 执行任务报错
Navicat mysql 执行任务报错:Multi-statement transaction required more than ‘max_binlog_cache_size’ bytes of storage; increase this mysqld variable and try again在mysql里面查看max_binlog_cache_size大小:show varia...原创 2019-06-19 17:09:29 · 2379 阅读 · 0 评论