ltylzq的博客

1>.[ERROR] Terminalinitialization failed; falling back to unsupportedjava.lang.IncompatibleClassChangeError:Found class jline.Terminal, but interface was expected解决方法：删除位于$HADOOP_HOME/share/hadoop/...

1>   关于load 数据的时候，如果数据不是在本地，那么是不需要加上local关键字；此时，表示的是数据在HDFS上，可能会问：数据本来就是在HDFS上，那为什么还要load呢？load的目的就是将数据的目录修改，修改指向到/usr/hive/warehouse下面。因此，如果考虑和规划不当，那么会导致HDFS上目录的很大变化。    关于overwrite 关键字，一定要小心使用，本人...

方式1：        API操作文件的增删改查                          构造一个配置参数对象，设置一个参数：给出要访问的hdfs的URI                   // 从而FileSystem.get()方法就知道应该是去构造一个访问hdfs文件系统的客户端，以及hdfs的访问地址                   // newConfiguration(...

资源相关参数：应用程序中配置就可以生效：(1) mapreduce.map.memory.mb: 一个Map Task可使用的资源上限（单位:MB），默认为1024。如果Map Task实际使用的资源量超过该值，则会被强制杀死。(2) mapreduce.reduce.memory.mb: 一个Reduce Task可使用的资源上限（单位:MB），默认为1024。如果Reduce Task实际使用...

1.Hadoop、spark、storm下产品以及应用场景    hadoop起源于Nutch,目标是为了构建一个大型的全网搜索工具或者说是引擎吧，包括网页的抓取、建立索引以及查询等功能。但是，当抓取的内容量越来越大时，单机存储量严重受限。    谷歌的GFS和MapReduce两篇文章给出了可行的方案，其中GFS目的是处理海量数据的存储，而MapReduce目的是处理海量网页的索引计算问题。  ...