空中的鱼

ES; source /tmp/sentry.sql mysql参数[code="java"][mysqld]#transaction-isolation=READ-COMMITTED# Disabling symbolic-links is recommended to prevent assorted security risks;# to do so, uncomment this line:# symbolic-links=0so

;String filename=((FileSplit)inputSplit).getPath().getName();

e110.113.12.142 dataNode2具体的ip及hostname根据各自情况。

ver dataNode1,60020,1325442517098 has been rejected; Reported time is too far out of sync with master. Time difference of 864022329ms > max allowed of 30000ms等信息，不要小瞧了着warn，这个是罪魁祸首，将个个节点的时间调整到相近，或者同步一下就ok了。hbase shell>status 都能正常起来了

mp等等文件。清除后format ok，启动ok

mysqldump -hhost -uroot -ppasswd sentry > /tmp/sentry.sql create database sentry DEFAULT CHARACTER SET utf8; grant all on sentry.* TO 'sentry'@'%' IDENTIFIED BY 'sentry'; flush PRIVILEG...

动态分区问题，如果数据量大或者当动态分区大甚至只有十几个时，会出现如下异常：2015-10-23 16:43:54,165 INFO [fetcher#10] org.apache.hadoop.mapreduce.task.reduce.ShuffleSchedulerImpl: assigned 20 of 34 to spark-03:13562 to fetcher#102...

编译hadoop-2.2.0下载hadoop-2.2.0-src包，解压安装好maven2执行mvn clean install -DskipTests运行报错：[ERROR] Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.2.0:protoc (compile-protoc) on proj...

解压hadoop-2.2.0.tar.gz目录说明：drwxr-xr-x 2 qiulp qiulp 4096 Oct 22 11:37 bin/ ......hadoop命令及yarn命令drwxr-xr-x 3 qiulp qiulp 4096 Oct 7 14:38 etc/ ......site xml配置文件drwxr-xr-x 2 qiulp q...

031058_0328_m_000007_0, Status : FAILEDjava.lang.RuntimeException: java.lang.ClassNotFoundException: com.test.HBaseToFile$TradeMap at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:867) at org.apache.hadoop.mapreduce.JobContext.getM

e.ShuffleSchedulerImpl: assigned 20 of 34 to spark-03:13562 to fetcher#102015-10-23 16:43:54,166 WARN [main] org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:hive (auth:SIMPLE) cause:org.apache.hadoop.mapreduce.task.reduce.S

ion.ldap.url ldap://master-71:389 hive.server2.authentication.ldap.baseDN ou=ndpmedia,dc=yeahmobi,dc=com测试例子：https://github.com/firecodeman/Cloudera-Impala-Hive-JDBC-Example奇怪现象：http://community.cloudera.com/t5/CDH-Manual-Install

有HadoopGroupResourceAuthorizationProvider（正式环境中）、LocalGroupResourceAuthorizationProvider（测试环境中）。经过测试，Hadoop groups需要使用将hadoop用户和用户组通过LDAP管理[url]configure ldap group mapping[/url]，但配置后hdfs启动异常，并且若不配置ldap mapping，sentry provider file没有效果，所有表和库都看不到。采用简单的

了认证，所以hive认证配置http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH5-Security-Guide/cdh5sg_hive_security.html可以省略）[color=red]该条件是cloudera官方文档中说明的，据了解，可以不配置kerberos安全认证，同样可以使用sentry，但试过，求试过的同学个回复[/color]步骤：sudo -u hdfs hdfs

ent机器就使用CM进行添加。与通常增加新节点一样，只是在最后只选择gateway服务即可。client的段的xml配置，以及kerberos安全配置CM会自动生成。

直接修改配置即可。若使用CDH版本hadoop，建议使用cm来配置kerberos。。。。有需求，我就写吧，赖的动。安装kerberos可以参考：http://www.cnblogs.com/easycloud/p/3724437.htmlhttp://www.cnblogs.com/easycloud/p/3724361.html

.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(10.1.33.11:50010, storageID=DS-420686803-10.1.33.11-50010-1399181350037, infoPort=50 075, ipcPort=50020):DataXceiver135229 java.lang.OutOfMemoryError: unable to create new native thread1

.2.0:protoc (compile-protoc) on project hadoop-common: org.apache.maven.plugin.MojoExecutionException: protoc version is 'libprotoc 2.4.1', expected version is '2.5.0' -> [Help 1][ERROR] [ERROR] To see the full stack trace of the errors, re-run Mave

置文件drwxr-xr-x 2 qiulp qiulp 4096 Oct 7 14:38 include/drwxr-xr-x 2 qiulp qiulp 4096 Oct 22 11:40 sbin/ ......启动命令drwxr-xr-x 4 qiulp qiulp 4096 Oct 7 14:38 share/ ......jar 源码（example jar）配置hadoop jdk环境变量修改etc/hadoop/hadoop-env.sh yarn

cloudera manager hive- sevice wide - advanced-Hive Service Advanced Configuration Snippet (Safety Valve) for hive-site.xml hive.server2.authentication LDAP hive.server2.authenticat...

当前cdh版本为5.2.0，且通过cloudera manger来管理集群。选择sentry配置方式，file or db。file形式（sentry-provider.ini），存于hdfs上。选择group mapping方式，有HadoopGroupResourceAuthorizationProvider（正式环境中）、LocalGroupResourceAuthori...

http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH5-Security-Guide/cdh5sg_sentry.html条件：Kerberos安全认证（使用cm配置安全认证后，hive自动也添加了认证，所以hive认证配置http://www.cloudera.com/content/...

format后启动不了，可能是个个节点包括name节点的hadoop目录下有内容，需要把hadoop相关目录清除掉。例如：hdfs-site.xml里配的dfs.data.dir目录下的文件，及tmp等等文件。清除后format ok，启动ok...

Hadoop 3.0中引入纠编码、多Namenode支持、MR Native Task优化、YARN基于cgroup的内存和磁盘IO隔离、YARN container resizing等等。

Apache eagle installing介绍Apache eagle 目前0.4.0孵化版本已经可用，而新的0.5.0预计在2016年11月份发布。个人使用下来，主要有如下用处：- 监控敏感数据或者目录，监控操作次数- 监控hive表字段操作- 监控oozie coodinator任务情况- 监控警告可以是eagle自身存储、mail、kafka

整理一下，用的时候照着贴就行了。1.hive数据导出 将select的结果放到本地文件系统中INSERT OVERWRITE LOCAL DIRECTORY '/tmp/reg_3' SELECT a.* FROM events a;将select的结果放到hdfs文件系统中INSERT OVERWRITE DIRECTORY '/tmp/hdfs_out' SELECT a.* F

http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH5-Security-Guide/cdh5sg_sentry.html条件：Kerberos安全认证（使用cm配置安全认证后，hive自动也添加了认证，所以hive认证配置http://www.cloudera.com/content/cl

CDH5.1.0前的版本，可以通过cloudera manager各种配置或者手动修改etc下配置文件来配置，从CDH5.1.0后貌似clodera manager配置很简单，在界面的‘Administrator’下直接修改配置即可。若使用CDH版本hadoop，建议使用cm来配置kerberos。。。。有需求，我就写吧，赖的动。安装kerberos可以参考：http://www

hadoop distcp hdfs://namenode1/foo hdfs://namenode2/bar 如果想在两个运行着不同版本HDFS的集群上利用distcp，使用hdfs协议是会失败的，因为RPC系统是不兼容的。想要弥补这种情况，可以使用基于HTTP的HFTP文件系统从源中进行读取。这个作业必须运行在目标集群上，使得HDFS RPC版本是兼容的。例如：hadoop distcp

35227 2014-05-21 13:53:18,504 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Reopen already-open Block for append blk_8901346392456488003_201326135228 2014-05-21 13:53:18,506 ERROR org.apache.

解压hadoop-2.2.0.tar.gz目录说明：drwxr-xr-x  2 qiulp qiulp  4096 Oct 22 11:37 bin/    ......hadoop命令及yarn命令drwxr-xr-x  3 qiulp qiulp  4096 Oct  7 14:38 etc/    ......site xml配置文件drwxr-xr-x  2 qiulp qiulp

好久没写mr了，今天写了个在eclipse上运行很顺畅，但是使用hadoop jar命令方式时一直报错：13/03/07 14:44:34 INFO mapred.JobClient: Task Id : attempt_201303031058_0328_m_000007_0, Status : FAILEDjava.lang.RuntimeException: java.lang.C

做个mark！监控指标大致如下：default.shuffleInputdfs.datanodejvmmapred.shuffleOutputrpcmetricssystem dfs.datanode.blockChecksumOp_avg_time 块校验平均时间dfs.datanode.blockChecksumOp_num_ops 块检验次数dfs.d

hbase启动不来，一直checkin。查看日志含有：org.apache.hadoop.hbase.master.ServerManager: Waiting on regionserver(s) to checkinWARN org.apache.hadoop.hbase.master.ServerManager: Server dataNode1,60020,1325442517...