Zookeeper-Zookeeper leader选举

转载自:https://blog.csdn.net/zhanghongjie0302/article/details/77145978 原计划在介绍完ZK Client之后就着手ZK Server的介绍,但是发现ZK Server所包含的内容实在太多,并不是简简单单一篇Blog就能搞定的。于是决...

2018-05-22 09:48:40

阅读数:63

评论数:0

hadoop集群简化安装-CDH的安装和使用

hadoop大数据开发环境,由于牵扯到太多的部件,而且这些部件之间联系复杂,独立的安装往往错误百出,即浪费时间又浪费精力,还不讨好,而且这些往往还不是真正开发做的事(可能)。另外对于大数据而言,机器往往动不动就上万台,像这样一台一台的安装,只能把猴子给累死。所以,为了便于继承搭建,hadoo...

2018-05-17 22:46:42

阅读数:289

评论数:0

hadoop-hbase几个错误记录

集群这东西,就是各种文件配置,太过于杂乱导致,如果你不是特别细心,总是会错误百出,以致于精神萎靡而无法向前。但是,有时候,即便你细心得像个暖男,最后还是会出现问题,很多时候,这并不是你的错,而是机器的错,但是,如果你不能够在短时间内找到“问题”的真正原因,背锅的还是你自己 几个浪费时间的...

2018-05-12 16:45:32

阅读数:54

评论数:0

Hadoop-HBase集群搭建

随着数据的增大,传统的关系型数据库对于上千万或者上亿的数据处理,效率会迅速下降。同样是为了解决大数据处理问题,hbase也是基于分布式,这种依靠列存储的方式,使得数据处于非结构化或者半结构化,便于数据的大量操作。 hadoop生态架构 数据提取工具: flume:收集日志,从日志...

2018-05-11 18:45:02

阅读数:91

评论数:0

hadoop-mapreduce基于物品的协同推荐算法ItemCF

推荐算法作为一种大数据分析最早的应用,如今已经得到的大量的普及,特别是新进崛起的头条,抖音,更或是早前的网易云音乐,其中的最吸引支出无不是人性化的推荐系统,实际上也正是这些使得BAT三巨头始终无法将其击倒。尽管如今的推荐系统算法已经变得“面目全非”,但是其中的主要精髓还是基于协同过滤算法,只...

2018-05-09 12:06:20

阅读数:155

评论数:0

基于深度循环神经网络的单通道人声与音乐的分离-论文翻译

SINGING-VOICE SEPARATION FROM MONAURAL RECORDINGS USING DEEP RECURRENT NEURAL NETWORKS 主体内容:作为当前的一大热门,语音识别在得到快速应用的同时,也要更适应不同场景的需求,特别是对于智能手机而言,由于元...

2018-05-08 11:14:38

阅读数:570

评论数:0

hadoop-hive初始化

围绕大数据、数据挖掘、人工智能有很多名词,这些名词都互相关联,不太懂的人可能只是把他们当做高级码农的一个分支,但是,其中的真正技术却并不是一半码农能够做的,或者这些领域可能就不是码农干的事,即便做这些的人可能是个java或者python开发者,但是编程只是他们的副业而已,他们的主业却是数据科...

2018-05-06 23:16:26

阅读数:269

评论数:0

推荐系统-计算用户关联度fof(hadoop计算)

场景:无论是qq,还是微博、头条等带有社交属性的平台,为了黏住用户,往往会给用户推荐好友,这种好友一般都是更具自己的兴趣或者自己好友的好友得来,比如qq中“可能认识的人”。 fof关系:对于任何一个用户A,用户A的好友集合为B,B中的任何两个用户之间的关系如果不是好友关系,则就为fof关...

2018-05-04 11:43:04

阅读数:60

评论数:0

微信公众号平台搭建连接javaweb

先决条件: 一个本地可运行的javaweb:我的是一个网上git的springboot项目 注册一个微信公众号申请链接 配置前的准备-内网穿透 由于项目搭建在本地电脑上,外网无法访问,所以需要使用工具将本地地址映射到公网。免费工具使用:natapp natapp下载网址 ...

2018-05-03 12:12:25

阅读数:841

评论数:0

hadoop计算框架shuffle-计算每个月最高三个温度出现的时间

MapReduce主要由两部分组成,map和reduce,但是这两部分如何连接?比如对于单词计数,原始数据为java hadoop java,map的作用是对单条数据进行处理,划分格式便于处理计算,处理后为java 1 hadoop 1 java 1,而reduce是对map的类型进行统一计...

2018-05-03 10:37:23

阅读数:76

评论数:0

MapReduce开发环境搭建

MapReduce运行在linux系统上,但是对于开发而言,系统平台可能是windows平台,因为在看法测试时,需要让程序运行在Linux上的hadoop集群上。第一种方式是:建立windows和linux之间的连接,开发平台eclipse在windows上,调用hadoop的运行接口和文件...

2018-05-03 10:36:28

阅读数:93

评论数:0

智能优化算法-粒子群算法

以往的优化算法都是通过单一的节点来寻找最优值,比如对于爬山问题,我们总是预估一个人进行爬山,但是一个个体的力量是很小的。比如一个人很容易走到一个局部最优解,再也出不来;另外比如阿尔卑斯山和珠穆朗玛峰,如果一个人走到了阿尔卑斯山,即便他可以通过其他方式再到达珠穆朗玛峰,很显然,横跨欧亚大陆的距...

2018-05-01 14:14:29

阅读数:221

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭