- 博客(9)
- 资源 (6)
- 收藏
- 关注
原创 hadoop job相关命令
1.查看 Job 信息hadoop job -list 2.杀掉 Jobhadoop job –kill job_id3.指定路径下查看历史日志汇总hadoop job -history output-dir 4.作业的更多细节hadoop job -history all output-dir 5.打印map和reduce完成百分比和所有计数器ha
2016-08-26 11:12:29 791
原创 hadoop常用操作命令
启动Hadoop 进入HADOOP_HOME目录。 执行sh bin/start-all.sh 关闭Hadoop 进入HADOOP_HOME目录。 执行sh bin/stop-all.sh 1、查看指定目录下内容 hadoop dfs -ls [文件目录] eg: hadoop dfs -ls hdfs://emr-cluster/user/hive/w
2016-08-26 11:00:21 585
原创 Centos7上MySQL5.7.12系统不兼容启动失败问题处理
1、报错信息[root@spark01 ~]# /etc/init.d/mysqld startStarting mysqld (via systemctl): Job for mysqld.service failed because the control process exited with error code. See "systemctl status mysqld
2016-08-25 15:18:47 3663
原创 Centos时区设置
首先,如果ntp没有安装,而使用的是 CentOS系统,那使用命令 yum install ntp进行ntp的安装。然后:ntpdate us.pool.ntp.org 。因为CentOS系统是用rhas的源码再编译的,很多地方是完全一样的。rhas5的时区是以文件形式存在的,当前的时区文件是在/etc/localtime而其他时区的文件存放在/usr/share/zone
2016-08-25 15:04:52 827
原创 Centos7 修改主机名
Centos7下修改主机名有如下临时和永久修改的两种方法。第一种:hostname 主机名[root@master ~]# hostname 主机名称 这种方式,只能修改临时的主机名,当重启机器后,主机名称又变回来了。第二种:hostnamectl set-hostname 命令行中输入[root@master ~]# hostnamectl set-hostnam
2016-08-25 14:55:33 535
原创 Centos7 静态IP设置
1、编辑 ifcfg-eth0 文件[root@master ~]# vim /etc/sysconfig/network-scripts/ifcfg-eno16777736 2、修改如下内容BOOTPROTO="static" #dhcp改为static ONBOOT="yes" #开机启用本配置IPADDR=172.16.96.201 #静态IPGATEWAY=
2016-08-25 14:46:51 2272
原创 Centos7 关闭防火墙
CentOS 7.0默认使用的是firewall作为防火墙,使用iptables必须重新设置一下1、直接关闭防火墙systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止firewall开机启动2、设置 iptables serviceyum -y instal
2016-08-25 14:35:31 509
原创 为什么公司招聘一个好员工很难,程序员找份好工作也不容易
原文引自:http://group.cnblogs.com/topic/38042.html公司一直在招聘程序员,效果一直都很不理想。我是做技术的,我以我的体会来说明一下。1、公司是大公司,整天几百个职位挂在中国人才热线,卓博人才网上。人家看了也怕,这样的公司,是不是在做广告,或是不是真招聘人。还有的会想到,这样人员的流动率也太高了吧,还是大公司呢。 我也找过工作,很辛苦的找过
2016-08-01 16:52:35 5970 1
原创 【知乎】上关于数据规模与大数据平台方面的一个讨论
请问单月数亿/年度超过十亿级规模的日志分析系统需要使用Hadoop吗? 目前在小范围试用的一个系统,生产环境用的Oracle数据库。系统的行为日志模块要详细记录所有用户(总的活跃用户规模大概几百万)的每一个操作,根据目前小规模试用的现状评估,预计全面使用后单月的行为日志数会达到数亿的规模。用户行为日志分析在系统中是一个蛮重要的模块,目前在小规模试用期几百万数据量的情况下用Oracle速度
2016-08-01 13:58:11 5437
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人