BigData
csuzhaobo
这个作者很懒,什么都没留下…
展开
-
MySQL日志把硬盘空间占完了?!
一大早,一哥们儿打电话,说程序停了,日志里面报的是硬盘空间不够,我就想,昨天才挂的一个200G的盘,怎么可能就用没了,用du -h --max-depth查看,最终找到原来MySQL的日志文件把home的空间占完了,3天的日志就用了15、6个G,受不了了,网上查了下,遇到这种问题的人还真不少,赶紧改配置啊,现在写下来,提醒下,免得以后再犯这样的错……原创 2011-11-12 10:57:42 · 489 阅读 · 0 评论 -
hadoop集群内和磁盘内的balance
由于HDFS内部机制的作用,数据在集群中的分布有时是不均匀的,这是可以用” start-balancer.sh” 命令(可以在后面加参数)来平衡数据的存储,但该命令只能平衡集群主机间的数据块,如果在同一台主机新挂载一个数据盘,想在主机内平衡数据,则需要手动的mv,首先要停止该数据节点的进程,再将数据块先重命名,再mv到新的数据目录下。然后再启动节点:>hadoop-daemon.sh stop原创 2012-08-22 10:43:39 · 756 阅读 · 0 评论 -
MySQL 数据存储方式选择——file_per_table
新拿到mysql服务器,每个下面挂了两个盘,为了使两个盘都能存放数据,把初始化的数据块写了好几个“innodb_data_file_path=/data1/mysql/data1:50G;/data1/mysql/data2:50G;/data1/mysql/data3:50G;/data1/mysql/data4:50G;/data1/mysql/data5:50G;/data1/mysql/d原创 2012-09-17 19:58:44 · 720 阅读 · 0 评论 -
hadoop lzo格式
set mapred.compress.map.output=true;set mapred.map.output.compression.codec=com.hadoop.compression.lzo.LzoCodec;set mapred.output.compress=true;set mapred.output.compression.type=BLOCK;set map原创 2013-03-13 10:02:32 · 1525 阅读 · 0 评论 -
hadoop 设置文件权限--dfs.umask
linux中的umask参数是八进制,而hadoop中类似作用的参数采用的是十进制,这样想要写入的文件权限为rwxr-x---(750),linux中umask需设为027,对应的十进制为2*8+7=23,所以将dfs.umask参数设为023,即可达到目的。原创 2013-03-21 10:55:21 · 2832 阅读 · 0 评论 -
swap耗尽导致hadoop进程被系统kill
早上查看监控页面,发现3个节点hadoop进程没了,开始以为主机重启了,查看message文件才发现原来是swap耗尽,导致守护进程被kill:kernel: [7921221.256715] Free swap = 0kBkernel: [7921221.300879]Out of memory: kill process 5869 (java) score 7132 or a c原创 2013-01-08 17:54:56 · 764 阅读 · 0 评论 -
Mysql客户端远程Load
参考:http://blog.csdn.net/china_skag/article/details/8064429原创 2014-05-23 09:32:19 · 762 阅读 · 0 评论 -
关于Hive单表数据损坏的处理(版本0.7.0)
执行命令异常:> desc ods_xxx;FAILED: Error in metadata: at least one column must be specified for the tableFAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask根据网上介绍的方法,原创 2015-02-26 10:01:46 · 1728 阅读 · 0 评论