大数据
文章平均质量分 86
recover517
一直在研究
https://github.com/qn9301
展开
-
the db2 library is not loaded
IBM官方解决方法参考博文原创 2020-12-29 09:11:58 · 219 阅读 · 0 评论 -
DataStage Client 用户名和/或密码不正确 (80011)
用户名和/或密码不正确。如果使用了凭证映射,请检查凭证映射用户名和密码是否配置正确。 (80011)原创 2020-12-22 14:43:20 · 870 阅读 · 0 评论 -
大数据学习之路(十三)——HBASE分布式搭建
接下来,我们直接搭建hbase完全分布式参考 [ http://hbase.apache.org/book.html#fully_dist ]首先,我们停掉之前搭建的单节点hbase节点分布配置 服务器 NN JN DN ZK ZKFC RM HM(HMaster) HR(HRegionServer) hadoop004 Y...原创 2018-07-07 16:17:17 · 489 阅读 · 0 评论 -
大数据学习之路(十二)——HBASE单节点搭建
现在开始搭建HBASE的单节点HBASE依赖于Zookeeper,但是不需要担心,我们的单机虽然没有Zookeeper,但是hbase自带了zookeeper。文档:[http://hbase.apache.org/book.html#quickstart]HBASE的单机文档也是介绍的十分详细,而且搭建十分简单。我这边使用的1.1.3版本,直接照着文档走,步骤也跟搭建hadoop...原创 2018-07-07 15:16:27 · 3649 阅读 · 0 评论 -
大数据学习之路(五)——hadoop分布式(yarn)
前几篇讲到的都是关于hdfs的配置与搭建,但是要编写MapReduce,我们还需要搭建yarn单节点伪分布式配置参考 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.html#YARN_on_Single_Node下面,我们开始集群的yarn搭建,修改配置前请...原创 2018-06-29 08:07:57 · 336 阅读 · 0 评论 -
大数据学习之路(四)——hadoop分布式ha(高可用)
拉着狗继续写现在开始加入zookeeper参考文章zookeeper https://zookeeper.apache.org/doc/r3.4.12/参考文章hadoop ha http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM...原创 2018-06-29 06:55:42 · 443 阅读 · 3 评论 -
大数据学习之路(三)——hadoop分布式
睡不着觉,拉着狗陪我写博客开始搭建分布式hdfs环境参考文章 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/ClusterSetup.html建议:为了快速学习,建议同一个网址打开两个窗口,一种一个使用谷歌翻译整个页面,另一个座位对照使用,提高自己的学习效率电脑性能有限,本打算用m...原创 2018-06-29 06:10:20 · 379 阅读 · 1 评论 -
大数据学习之路(二)——hadoop伪分布式
开始搭建hadoop伪分布式使用机器:macbook pro, jdk我就不说明了,必备参考文章http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.htmlhadoop的伪分布式比较简单,基本上按照官网的讲解一步步下载就ok了。1. 下载hadoop2.5.2.ta...原创 2018-06-28 19:16:59 · 384 阅读 · 0 评论 -
大数据学习之路(一)——准备阶段
此文章仅做个人学习记录与参考,如有错误,欢迎指正一、准备1. 虚拟机:VMware Fusion2. IDE:Intellij3. JDK84. hadoop2.5.2,参照文档 http://hadoop.apache.org/docs/r2.5.2/index.html5. zookeeper-3.4.6,参照文档 http://zookeeper.apa...原创 2018-06-28 18:50:46 · 874 阅读 · 0 评论 -
大数据学习之路(十一)——MapReduce实战(TF-IDF)
本次项目必须在完全部分下执行,单机或者伪分布应该都执行不了,会提示找不到文件。项目介绍:TF-IDF TF-IDF是一种统计方法,用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加,但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜索引擎应用,作为文件与用户查询之间相关程度的度量或评...原创 2018-07-03 22:20:12 · 2929 阅读 · 0 评论 -
大数据学习之路(十)——MapReduce实战(PageRank)
这次的项目比较前面的几个会相对复杂点项目介绍:这是一个统计页面权重值的MapReduce PageRank通过网络浩瀚的超链接关系来确定一个页面的等级。Google把从A页面到B页面的链接解释为A页面给B页面投票,Google根据投票来源(甚至来源的来源,即链接到A页面的页面)和投票目标的等级来决定新的等级。简单的说,一个高等级的页面可以使其他低等级页面的等级提升。用一个例子...原创 2018-07-01 22:02:04 · 1580 阅读 · 0 评论 -
大数据学习之路(九)——MapReduce实战(好友推荐 recommendation of friend)
项目介绍:给用户推荐好友,新好友来源你的好友关系网描述有点抽象,举个栗子: A是你的好友,B是你的好友,C不是你的好友,但却是A和B的好友,系统推测你们可能是认识的人,于是将C当做你的新好友推荐给你。数据(明星云集):小明 老王 如花 林志玲老王 小明 凤姐如花 小明 李刚 凤姐林志玲 小明 李刚 凤姐 郭美美李刚 如花 凤姐 林志玲郭美...原创 2018-07-01 15:07:56 · 1328 阅读 · 0 评论 -
大数据学习之路(八)——MapReduce实战(hot weather top2)
之前的WordCount,比较简单,就只上了代码,接下来稍微复杂一点的项目,将会记录整个项目编写过程的思路项目介绍:统计每年,每月最热的两天的温度数据:1949-10-01 14:21:02 34c1949-10-02 14:01:02 36c1950-01-01 11:21:02 32c1950-10-01 12:21:02 37c1951-12-01 12:21:0...原创 2018-07-01 11:16:04 · 420 阅读 · 0 评论 -
大数据学习之路(七)——学习小结
个人目前学习的总结,如有问题,发现的时候会修正,用于个人回顾,有错误的地方欢迎留言指出通过前几篇的学习hadoop单节点伪分布式hadoop完全分布式hadoop完全分布式高可用(HA) zookeeperyarn高可用hdfsMapReduce了解了hadoop基本的搭建,和前期可能遇到的问题。 以下是对各个功能组件的理解。1.HADOOPHadoop...原创 2018-06-30 19:35:05 · 4697 阅读 · 0 评论 -
大数据学习之路(六)——MapReduce(simple WordCount)
终于开始写代码了先从配置idea开发环境开始参考博文 [ https://blog.csdn.net/u010171031/article/details/53024516 ]注意,src文件夹下需配置以下文件,我是用伪分布式测试的,电脑有点吃不消core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml如果不...原创 2018-06-29 21:22:51 · 330 阅读 · 0 评论 -
hadoop问题总汇
1. 在mac伪分布式上运行MapReduce打出的jar包出现如下问题hadoop jar /path/to/your.jar com.your.mapreduce.classException in thread "main" java.io.IOException: Mkdirs failed to create /xxx/xxx/hadoop-unjar5177981654...原创 2018-06-29 21:00:49 · 682 阅读 · 0 评论