- 博客(21)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 案例4-使用hadoop-mapreduce进行PageRank计算
什么是pagerankPageRank是Google专有的算法，用于衡量特定网页相对于搜索引擎索引中的其他网页而言的重要程度。 是Google创始人拉里·佩奇和谢尔盖·布林于1997年创造的 PageRank实现了将链接价值概念作为排名因素。计算环境Hadoop-2.5.2 四台主机 两台NN的HA 两台RM的HA 离线计算框架MapReduce 算法原理（1）入链...
2018-09-27 23:28:01
688
原创 案例3-使用hadoop-mapreduce来统计并进行好友推荐
常见的需求如QQ中的推荐好友，例如下图：我们想给如花推荐好友，途中相邻连线的人之间是彼此直接好友的关系，那么我们推荐的规则是同一对”好友的好友”(简称FOF)出现的次数,比如：如花的好友的好友有“小明”“李刚”“凤姐”，而FOF关系如下： 如花 小明 李刚 凤姐那么对于如花来说，小明，李刚，凤姐...
2018-09-24 00:52:06
964
原创 案例2-mapreduce统计每年中每个月气温排行
如图所示我们要计算每年中每个月气温倒序排行，在这个例子中我们输入文件中的年份只有3个，所以例子中的reduceTask个数是3个。如果不确定年份的个数，就不能使用年份维度作为reduceTask个数。首先，上传weather文件到/usr/input下：执行任务：分别查看/usr/output/weather下的三个文件内容：1949年：1950年：19...
2018-09-22 16:00:24
2161
原创 Hadoop-Mapreduce本地Windows和服务端Linux调试
Mapreduce本地Windows和服务端Linux调试本地windows调试 本地测试环境(windows)： 在windows的hadoop目录bin目录有一个winutils.exe 在windows下配置hadoop的环境变量 配置完环境变量可能需要重启windows系统，如果不想...
2018-09-22 00:57:26
639
原创 Hadoop-MapReduce计算案例1：WordCount
案例描述：计算一个文件中每个单词出现的数量代码：package com.jeff.mr.wordCount;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.ha...
2018-09-22 00:43:59
424
原创 hadoop之MapReduce架构及Yarn环境搭建
MapReduce架构基于hadoop2.0架构是运行于YARN环境的。参考：http://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/YARN.html YARN环境-主从结构整个yarn环境是MapReduce的运行环境主节点Resource Manager负责调度，是Resource Ma...
2018-09-21 11:30:36
386
原创 Hadoop之MapReduce的移动计算模型
MapReduceHadoop核心组件MR-MapReduce企业80以上使用MapReduce，未来可能替代Mapreduce的是spark，spark是2013年出现，时间短，技术储备不够是最大的原因。 MapReduce设计理念移动计算，而不是移动数据 何为分布式计算Hdfs的数据全部是分布式存放，而MapReduce使用的就是Hdfs上存放的数据。 计算框架...
2018-09-21 10:39:18
2252
原创 eclipse安装Hadoop插件
我的eclipse版本:Eclipse IDE for Java DevelopersVersion: Photon Release (4.8.0)Build id: 20180619-1200OS: Windows 7, v.6.1, x86_64 / win32Java version: 1.8.0_151 首先我们安装ant环境：到官网（http://ant.apa...
2018-09-19 13:29:34
2150
2
原创 Hadoop HA高可用集群搭建
之前我们搭建了hdfs集群环境，但是这个存在单点问题和内存限制，并不是高可用的，这一节我们就来搭建高可用HDFS集群。亲自试验过可以做到单点故障切换！HDFS2.x HA解决HDFS1.0中单点故障和内存受限问题：随着数据越来越多，NameNode的内存使用会暴增而受限，且一个集群中只有一个NameNode，一旦宕机则集群不可用。 解决NameNode单点故障： ...
2018-09-15 17:10:11
1114
原创 linux时间同步
#crontab -e进入vi界面的insert模式，输入：* * * * * /sbin/ntpdate cn.pool.ntp.org保存退出！再次查看时间是否已经同步，如果还没同步可以使用：ntpdate -d ntp.sjtu.edu.cn当前前提是安装了ntpupdate包：yum install -y ntpdate ...
2018-09-15 11:39:57
423
转载 redis的5种数据类型和数据结构
Redis有5个基本数据结构，string、list、hash、set和zset Redis数据类型 String List Hash Set ZSet 底层数据结构 数组 双向链表 二维结构...
2018-09-13 10:47:37
6397
4
原创 先目标而后造诣
我们之所以无法证明自己，不是没有渠道，也不能说没有实力，而是没有闪光点，没有特长，没有特色，没有标签，没有值得给你投资的东西，没有别人想去打开去看的东西。其实，我们连目标都没有。我有目标吗？很少这么直接问自己。我不知道，因为我不知道我是否真的有目标，起码没有清晰的目标。除了说挣钱之外，学技术之外，完成每天公司的工作之外，我有没有可以实现自己价值的目标？有没有可以让自己沉浸其中的...
2018-09-09 12:58:28
252
原创 发现自己的长处，深入自己擅长的事情
发现自己的长处，做自己擅长的事情其实就是扬长避短，这里我只想说【扬长】因为个人的性格中总是会把一件事考虑的尽量全面，总会把一门课程学习的尽量精通和系统，总会尽量兑现自己的全部精力和能力在工作中...等等这些。也许跟完美主义有点关系吧！但是最终却说不出自己到底哪里好，有什么长处优点，有哪些闪光点，能够在众人中脱颖而出的.千篇一律的技术：springMVC、springBoot、M...
2018-09-09 11:42:18
4730
15
原创 阶梯真的重要吗？
之前我一直觉得阶梯很重要。因为想达到目标，需要有阶梯才能一步一步往上爬。我一直以为我们是没有阶梯，或者说是平台。现在觉得是我们没有自己的特长，可以拿得出手，至于阶梯或平台也许别人早就给你提供了。我们之所以无法证明自己，不是没有渠道，也不能说没有实力，而是没有闪光点，没有特长，没有特色，没有标签，没有值得给你投资的东西，没有别人想去打开去看的东西。 之前看过罗振宇的一集逻辑思...
2018-09-09 11:19:04
302
原创 dubbo高可用：集群容错（十四）
在集群调用失败时，Dubbo 提供了多种容错方案，缺省为 failover 重试。Failover Cluster失败自动切换，当出现失败，重试其它服务器。通常用于读操作，但重试会带来更长延迟。可通过 retries="2" 来设置重试次数(不含第一次)重试次数配置如下：<dubbo:service retries="2" />或<dubbo:refe...
2018-09-03 21:23:13
1723
原创 duubo高可用：服务降级（十三）
什么是服务降级？当服务器压力剧增的情况下，根据实际业务情况及流量，对一些服务和页面有策略的不处理或换种简单的方式处理，从而释放服务器资源以保证核心交易正常运作或高效运作。可以通过服务降级功能临时屏蔽某个出错的非关键服务，并定义降级后的返回策略向注册中心写入动态配置覆盖规则： RegistryFactory registryFactory = ExtensionLoader.g...
2018-09-03 00:13:51
1030
原创 dubbo高可用：负载均衡机制（十二）
在集群负载均衡时，Dubbo 提供了多种均衡策略，缺省为 random 随机调用。以上是dubbo提供的四种负载均衡机制：Random LoadBalance随机，按权重设置随机概率。在一个截面上碰撞的概率高，但调用量越大分布越均匀，而且按概率使用权重后也比较均匀，有利于动态调整提供者权重。比如：上图中userService有三台服务提供者，权重分别为100、200、5...
2018-09-02 12:27:46
13754
2
原创 dubbo高可用：zk宕机与dubbo直连（十一）
高可用：通过设计减少系统不可用的时间。对于dubbo来说，注册中心Zookeeper的宕机是不会影响dubbo消费者正常调用服务提供者服务的，原因是dubbo消费者本地会缓存一份服务提供者列表，在zk宕机的情况下，dubbo消费者依然可以在本地缓存中得到服务提供者列表进行通讯。测试：一开始zk服务正常提供，我们访问下接口可以发现正常访问：然后我们关掉zookeeper：...
2018-09-02 11:37:16
4248
原创 dubbo整合springboot的三种方式（十）
dubbo和spring整合的三种方式 方式1 导入dubbo-starter，在application.properties配置属性，使用@Service暴露服务，使用@Reference引用服务 * 这种方式要开启@EnableDubbo，或者在application.properties配置文件中配置dubbo.scan.base-package=com.sqf.pkg * 方式...
2018-09-02 11:17:44
7345
原创 dubbo整合springboot图解版（九）
点击Next，直接点完成！创建完成！将之前dubbo-provider的实现复制到新的boot-dubbo-provider相应目录下：在pom.xml中添加依赖的dubbo-interface这个接口包错误就消失了！然后我们来配置服务提供者：首先导入dubbo-starter依赖：进入https://github.com/apache/incu...
2018-09-01 18:56:28
1276
原创 dubbo监控中心的安装（八）
之前我们已经在github上下载了incubator-dubbo-ops-master包，解压进入进入incubator-dubbo-ops-master下可以找到dubbo-monitor-simple 这个监控中心maven工程，同样我们将其打jar包：稍等片刻即可打包完成！ 进入target目录下，即可找到刚刚生成的jar包，但是我们在运行jar前需要修改一些配置：...
2018-09-01 14:36:21
985
画画板软件.zip
2019-07-08
windows下配置zk伪集群及加入windows服务
2018-02-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人