2016年08月_BabyFish13

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 hadoop job相关命令

1.查看 Job 信息hadoop job -list 2.杀掉 Jobhadoop job –kill job_id3.指定路径下查看历史日志汇总hadoop job -history output-dir 4.作业的更多细节hadoop job -history all output-dir 5.打印map和reduce完成百分比和所有计数器ha

2016-08-26 11:12:29 776

原创 hadoop常用操作命令

启动Hadoop 进入HADOOP_HOME目录。执行sh bin/start-all.sh 关闭Hadoop 进入HADOOP_HOME目录。执行sh bin/stop-all.sh 1、查看指定目录下内容 hadoop dfs -ls [文件目录] eg: hadoop dfs -ls hdfs://emr-cluster/user/hive/w

2016-08-26 11:00:21 565

原创 Centos7上MySQL5.7.12系统不兼容启动失败问题处理

1、报错信息[root@spark01 ~]# /etc/init.d/mysqld startStarting mysqld (via systemctl): Job for mysqld.service failed because the control process exited with error code. See "systemctl status mysqld

2016-08-25 15:18:47 3642

原创 Centos时区设置

首先，如果ntp没有安装，而使用的是 CentOS系统，那使用命令 yum install ntp进行ntp的安装。然后：ntpdate us.pool.ntp.org 。因为CentOS系统是用rhas的源码再编译的，很多地方是完全一样的。rhas5的时区是以文件形式存在的，当前的时区文件是在/etc/localtime而其他时区的文件存放在/usr/share/zone

2016-08-25 15:04:52 804

原创 Centos7 修改主机名

Centos7下修改主机名有如下临时和永久修改的两种方法。第一种：hostname 主机名[root@master ~]# hostname 主机名称这种方式，只能修改临时的主机名，当重启机器后，主机名称又变回来了。第二种：hostnamectl set-hostname 命令行中输入[root@master ~]# hostnamectl set-hostnam

2016-08-25 14:55:33 523

原创 Centos7 静态IP设置

1、编辑 ifcfg-eth0 文件[root@master ~]# vim /etc/sysconfig/network-scripts/ifcfg-eno16777736 2、修改如下内容BOOTPROTO="static" #dhcp改为static ONBOOT="yes" #开机启用本配置IPADDR=172.16.96.201 #静态IPGATEWAY=

2016-08-25 14:46:51 2245

原创 Centos7 关闭防火墙

CentOS 7.0默认使用的是firewall作为防火墙，使用iptables必须重新设置一下1、直接关闭防火墙systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止firewall开机启动2、设置 iptables serviceyum -y instal

2016-08-25 14:35:31 500

原创为什么公司招聘一个好员工很难，程序员找份好工作也不容易

原文引自：http://group.cnblogs.com/topic/38042.html公司一直在招聘程序员，效果一直都很不理想。我是做技术的，我以我的体会来说明一下。1、公司是大公司，整天几百个职位挂在中国人才热线，卓博人才网上。人家看了也怕，这样的公司，是不是在做广告，或是不是真招聘人。还有的会想到，这样人员的流动率也太高了吧，还是大公司呢。我也找过工作，很辛苦的找过

2016-08-01 16:52:35 5954 1

原创【知乎】上关于数据规模与大数据平台方面的一个讨论

请问单月数亿/年度超过十亿级规模的日志分析系统需要使用Hadoop吗？目前在小范围试用的一个系统，生产环境用的Oracle数据库。系统的行为日志模块要详细记录所有用户（总的活跃用户规模大概几百万）的每一个操作，根据目前小规模试用的现状评估，预计全面使用后单月的行为日志数会达到数亿的规模。用户行为日志分析在系统中是一个蛮重要的模块，目前在小规模试用期几百万数据量的情况下用Oracle速度

2016-08-01 13:58:11 5415