ltylzq的博客

将spark 的jar包下/org/apache/spark/log4j-defaults.properties文件复制一份到Intellij IDEA的src路径下 方法一： 修改log4j.properties文件的内容  　　将第一行的log4j.rootCategory=INFO, console改成log4j.rootCategory=ERROR, console，只显示E

      当启动多个JDBC/ODBC Server时，经常出现的问题是，连接到其中一个Server的客户端可以看到某个新创建的表，而连接到其他Server的客户端却看不到。这是由于默认的缓存机制导致的，在conf目录下的hive-site.xml配置文件下添加以下配置：<property>    <name>datanucleus.cache.level2.type&l...

1.Hadoop、spark、storm下产品以及应用场景    hadoop起源于Nutch,目标是为了构建一个大型的全网搜索工具或者说是引擎吧，包括网页的抓取、建立索引以及查询等功能。但是，当抓取的内容量越来越大时，单机存储量严重受限。    谷歌的GFS和MapReduce两篇文章给出了可行的方案，其中GFS目的是处理海量数据的存储，而MapReduce目的是处理海量网页的索引计算问题。  ...