Leowang的博客

一。我在搭建的虚拟机hadoop集群中，上传文件:hdfs dfs -put ./hello.txt /log/ 时出现了connect refuced，经过百度等，一般有下面的方法，总结一下：1.改/etc/hosts文件。格式等错误2.在/etc/ssh/sshd_config中加port端口，一般为9000或者82803.（我错在这里）命令是否出现错误，如hdfs://master:9000...

一丶 一般情况下，数据挖掘经过如下阶段1,数据记录到数据源中，如（文本文件，传统的业务数据系统，和其他各种数据源）2.这些数据经过ETL（extract,transform,load）过程存储到数据仓库中，如hive(这些数据仓库并不存储数据，只是在文件系统上的存储仓库引擎，数据存储到文件系统中，如hdfs）3，在这些数据仓库上进行随机查询等，结果存入如hbase等，hbase是类似于非关系型数据...

问题一[root@hadoop1 conf]#  hive 接下来出现：java.net.ConnectException: 拒绝连接 (Connection refused) at java.net.PlainSocketImpl.socketConnect(Native Method) at java.net.AbstractPlainSocketImpl.doConnect(Abstra...

一，先将矩阵保存在txt文件中，保存格式为 矩阵名   行号  列号  值A矩阵的存储如图，，B矩阵为二。mapreduce思路我设定键为 （行号，列号），值为（矩阵名，列号/行号，值）  这个例子来说，A为4*3矩阵，B为3*2矩阵，则结果为4*2矩阵，键为（1，1）表示这是4*2矩阵中的第一行第一列，则它的键值应该包括A矩阵第一行的全部元素和B矩阵第一列的全部元素，则A矩阵第一行的各元素被存储...

问题一: 　　FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient　参考：htt...

从学习flume到在自己的3台虚拟机集群中安装，调试到最后成功，记录一下flume的原理，及安装运行时的注意点一。flume的工作方式数据发生器就是产生数据的地方，如产生各种日志文件的进程，文件夹的变动，用户浏览历史信息等数据发生器和agent在相同服务器上，agent是进程，ps aux即可发现其中，重点是Agent的工作方式上图都是用我用画板画的，大家将就看重点是sources，channel...

一 .为什么使用MapReduce？在Mapreduce中，map函数和reduce函数的独立测试非常方便，MRunit是一个测试库，它便于将已知的输入传递给mapper或者检查reducer的输出是否符合预期。这里由于主要体会MRunit.就用了最简单jing'dian的wordcountMRUnit需要与Junit一起使用二 . MRUnit引入第一种方式：maven项目中,pom.xml设置...

Mysql变量随笔用户自定义变量局部变量 : 一般用于SQL的语句块中，比如存储过程中的begin和end语句块。其作用域仅限于该语句块内会话变量 : 会话变量即为服务器为每个客户端连接维护的变量。在客户端连接时，使用相应全局变量的当前值对客户端的回话变量进行初始化系统变量会话变量 :全局变量 : 全局变量影响服务器整体操作。当服务器启动时，它将所有全局变量初始化为默认值。这...

Sql语句的书写顺序1.查询中用到的关键词主要包含六个，并且他们的顺序依次为(wgho)select–from–where–group by–having–order bySql语句的执行顺序(wghso)与sql语句的书写顺序并不是一样的，而是按照下面的顺序来执行from–where–group by–having–select–order by,书写sql时的优化tipsf...