cool__007的博客

主代码如下：package cn.itcast.bigdata.mr.flowsum;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;imp

在sqoop时从数据库中导出数据时，出现mapreduce卡住的情况经过百度之后好像是要设置yarn里面关于内存和虚拟内存的配置项．我以前没配置这几项，也能正常运行。但是这次好像运行的比较大。出现此故障的原因应该是，在每个Docker分配的内存和CPU资源太少，不能满足Hadoop和Hive运行所需的默认资源需求。 解决方案如下：在yarn-site.xml中加入如下配

如果出现以上错误，应该修改conf文件下的hbase-env.sh文件中的java_home的环境变量,要么是java_home前面的#没有去掉,要么是java_home的路径配置错误。

JavaAPI操作hbase遇到的java.lang.UnsupportedClassVersionError问题报错信息如下：java.lang.UnsupportedClassVersionError: org/apache/hadoop/hbase/client/Connection : Unsupported major.minor version 51.0at java.la

今天用hadoop的hdfs和Hbase时不知道怎么回事总是发生了崩溃，我最终试了重新格式化namenode节点的方式进行解决，但是重新格式化之后发生了一系列问题，不是namenode启动不了就是datanote启动不了。后来上网查询才知道格式化namenote需要注意一些事项：1.重新格式化namenote相当于格式化元数据，会破坏整个集群数据，格式化前需考虑数据备份或者转移问题。2.先

本地运行mr配置：Configuration conf = new Configuration();conf.set("mapreduce.framework.name", "local");本地模式运行mr程序时，输入输出的数据可以在本地，也可以在hdfs上也就是说mapreduce在本地以线程跑的时候，数据可以从本地读取写入，也可从hdfs文件系统上读取写入到底

关于大量小文件的优化策略：（1）默认情况下，TextInputformat对任务的切片机制是文件规划切片，不管文件多小，都会是一个单独的切片都会交给maptask。这样如果有大量小文件，就会产生大量的maptask，处理效率极其低下。（2）优化策略：最好的方式：在数据处理系统的最前端（预处理/采集），就将文件先合并成大文件，再上传到hdfs做后续分析         补救措施：

hadoop版本号下的bin目录里面有些启动命令行客户端的命令，先介绍一下hadoop这个命令：如果配好了hadoop的环境变量，那么直接在命令行输入以下命令就好！启动hdfs客户端,如果只执行这句的话，会显示所有参数的含义：hadoop  fs  查看hdfs文件系统的根目录下所有文件： hadoop fs  -ls /   (此处/为hdfs文件系统的根目录，和linux的一样)

主节点不会存储数据，数据节点专门存储数据，主节点存储了元数据信息。主节点的磁盘中存储了文件到块的关系，集群启动后，数据节点会报告名字节点 机器和块的关系，这两个关系组合起来便可找到文件所在机器的位置。如果名字节点所在的机器也配置到slave文件里，那么此台机器即是名字节点也是数据节点

1.准备Linux环境1.0先将虚拟机的网络模式选为NAT1.1修改各个主机名vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=mini1    ###1.2修改IP第二种：修改配置文件方式（屌丝程序猿专用）vim /etc/sysconfig/network-scripts/ifcfg-eth0

当把sqoop从数据库中导出到hdfs中时，直接报错Java.sql.SQLException: Your password has expired.To log in you must change it using a client that supports expired passwords.解决的问题有两种方法：1.第一种：进入mysql命令行(1)update