涂作权的博客

成功就是将个人潜能发挥到极限!&&以大多数人的努力程度之低,根本还轮不到拼天赋!...

Hadoop-rpc调用案例,服务端,客户端代码案例

1. Hadoop-rpc框架在hadoop中提供了一个rpc框架,通过这个rpc框架可以编写一个rpc服务端程序,然后发布出去供客户端调用。1.1.服务端代码其中服务端(example-hadoop-rpc-server),其中代码结果如下: ...

2017-05-31 19:30:21

阅读数 1144

评论数 0

NAMENODE工作机制,元数据管理(元数据存储机制、元数据手动查看)、元数据的checkpoint、元数据目录说明(来自学习资料)

NAMENODE工作机制学习目标:理解namenode的工作机制尤其是元数据管理机制,以增强对HDFS工作原理的理解,及培养hadoop集群运营中“性能调优”、“namenode”故障问题的分析解决能力 问题场景:1、集群启动后,可以查看目录,但是上传文件时报错,打开web页面可看到namenod...

2017-05-30 19:03:51

阅读数 3000

评论数 0

HDFS的工作机制,HDFS写数据流程,HDFS读数据流程(来自学习资料)

4.hdfs的工作机制(工作机制的学习主要是为加深对分布式系统的理解,以及增强遇到各种问题时的分析解决能力,形成一定的集群运维能力) 注:很多不是真正理解hadoop技术体系的人会常常觉得HDFS可用于网盘类应用,但实际并非如此。要想将技术准确用在恰当的地方,必须对技术有深刻的理解4.1 概述1....

2017-05-30 17:31:10

阅读数 763

评论数 0

HDFS的API调用,创建Maven工程,创建一个非Maven工程,HDFS客户端操作数据代码示例,文件方式操作和流式操作

1. HDFS的java操作hdfs在生产应用中主要是客户端的开发,其核心步骤是从hdfs提供的api中构造一个HDFS的访问客户端对象,然后通过该客户端对象操作(增删改查)HDFS上的文件1.1 搭建开发环境                   1.1.1创建Maven工程快速创建一个Maven...

2017-05-30 16:56:13

阅读数 1034

评论数 0

HDFS命令行客户端使用,命令行客户端支持的命令参数,常用命令参数介绍

3.HDFS的shell(命令行客户端)操作3.1 HDFS命令行客户端使用HDFS提供shell命令行客户端,使用方法如下: [toto@hadoop hadoop-2.8.0]$ hdfs dfs -ls /     (推荐使用这种方式,hdfs现在这种是最新的一种方式) Found 4...

2017-05-30 01:36:40

阅读数 1103

评论数 0

Linux下快速搭建ntp时间同步服务器(转载:http://www.linuxidc.com/Linux/2014-07/104371.htm)

背景:服务器多了,时间是否一致以及是否准备就显得格外重要,虽然这个问题总是被忽略,但是统一时间是很有必要的,因为时间问题导致服务出现问题也是司空见惯,本文简单介绍Linux下ntp的快速搭建和使用。CentOS NTP服务器安装与配置 http://www.linuxidc.com/Linux/2...

2017-05-29 22:47:31

阅读数 1130

评论数 0

datenode节点超时时间设置,Hadoop启动不正常,HDFS冗余数据块的自动删除,NameNode安全模式问题,ntp时间服务同步,机架感知配置

1.Hadoop datanode节点超时时间设置datanode进程死亡或者网络故障造成datanode无法与namenode通信,namenode不会立即把该节点判定为死亡,要经过一段时间,这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout,则超...

2017-05-29 22:43:49

阅读数 2003

评论数 0

HDFS设计思路,HDFS使用,查看集群状态,HDFS,HDFS上传文件,HDFS下载文件,yarn web管理界面信息查看,运行一个mapreduce程序,mapreduce的demo

26 集群使用初步26.1 HDFS使用1、查看集群状态命令:   hdfs  dfsadmin –report 可以看出,集群共有3个datanode可用也可打开web控制台查看HDFS集群信息,在浏览器打开http://hadoop:...

2017-05-29 15:54:40

阅读数 4474

评论数 0

Hadoop-2.8.0集群搭建、hadoop源码编译和安装、host配置、ssh免密登录、hadoop配置文件中的参数配置参数总结、hadoop集群测试,安装过程中的常见错误

25. 集群搭建25.1 HADOOP集群搭建25.1.1集群简介HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起HDFS集群:负责海量数据的存储,集群中的角色主要有NameNode / DataNodeYARN集群:负责海量数据运算时的资源调度,...

2017-05-29 02:11:29

阅读数 4391

评论数 0

本地编译Hadoop2.8.0源码总结和问题解决(转自:http://blog.csdn.net/young_kim1/article/details/50324345)

先吐槽一下,本人编译了3天,本来想放弃了,在晚上的时候尝试了最后一次,没想到终于成功了,这里分享一下编译的过程、遇到的问题以及相应的解决办法,以供接下来学习的人查阅。编译准备1、下载所需的软件先去官网下载hadoop2.7.1源码并解压,打开解压目录下的BUILDING.txt,编译过程和需要的软...

2017-05-28 23:31:30

阅读数 2651

评论数 0

Secondary NameNode:它究竟有什么作用?(转自:http://blog.csdn.net/xh16319/article/details/31375197)

前言最近刚接触Hadoop, 一直没有弄明白NameNode和Secondary NameNode的区别和关系。很多人都认为,Secondary NameNode是NameNode的备份,是为了防止NameNode的单点失败的,直到读了这篇文章Secondary Namenode - What i...

2017-05-27 00:58:06

阅读数 351

评论数 0

通过源码的方式编译hadoop的安装文件

Hadoop2.4.0  重新编译 64  位本地库原创作者:大鹏鸟 时间:2014-07-28环境:虚拟机 VirtualBox,操作系统 64 位 CentOS 6.4下载重新编译需要的软件包apache-ant-1.9.4-bin.tar.gzfindbugs-3.0.0.tar.gzpro...

2017-05-27 00:27:20

阅读数 540

评论数 0

分布式系统概述(来自学习资料)

2 分布式系统概述注:由于大数据技术领域的各类技术框架基本上都是分布式系统,因此,理解hadoop、storm、spark等技术框架,都需要具备基本的分布式系统概念 2.1 分布式软件系统(Distributed Software Systems)² 该软件系统会划分成多个子系统或模块,各自运行在...

2017-05-26 23:45:14

阅读数 508

评论数 0

什么是HADOOP、产生背景、在大数据、云计算中的位置和关系、国内外HADOOP应用案例介绍、就业方向、生态圈以及各组成部分的简介(学习资料中的文档材料)

1. HADOOP背景介绍1. 1.1 什么是HADOOP1.        HADOOP是apache旗下的一套开源软件平台2.        HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理3.        HADOOP的核心组件有A.       ...

2017-05-26 20:30:56

阅读数 2844

评论数 0

dubbo控制中心部署,权重配置,以及管控台中各个配置的简单查看

dubbo给我们提供了现成的后台管理网站,专门管理这些服务,应用,路由规则,动态配置,访问控制、权重控制、负载均衡等等,还可以查看系统日志,系统状态,系统环境等等,功能很是强大,通过这个后台,可以可视化控制你的服务和应用。接下来我们来简单的看看后台系统,以及简单修改下权重控制啥的看看效果吧!我们将...

2017-05-26 13:09:55

阅读数 5982

评论数 1

Maven+SpringMVC+Dubbo+zookeeper 简单的入门demo配置

参考:http://blog.csdn.net/aixiaoyang168/article/details/51362675dubbo是一个分布式服务框架,致力于提供高性能和透明化的RPC远程服务调用方案,是阿里巴巴SOA服务化治理方案的核心框架,每天为2,000+个服务提供3,000,000,0...

2017-05-26 11:40:39

阅读数 4201

评论数 0

mongo-connector导入数据到Elasticsearch

当前测试环境下Elasticsearch版本为2.3。不同版本的mongo-connector、elastic-doc-manager/elastic2-doc-manager所支持的Elasticsearch版本不同,安装时注意版本的选择。安装mongo-connector测试机上Python的...

2017-05-25 20:55:59

阅读数 641

评论数 0

Invalid character found in the request target. The valid characters are defined in RFC 7230 and RFC

转载:(http://blog.csdn.net/zeroso/article/details/70592179)错误现象:java.lang.IllegalArgumentException: Invalid character found in the request target. The ...

2017-05-24 16:21:23

阅读数 7525

评论数 2

Introduction | Elasticsearch权威指南(中文版) | 好的博文地址|官方资源所在位置

https://es.xiaoleilu.com/170_Relevance/10_Scoring_theory.html

2017-05-24 01:21:31

阅读数 1333

评论数 0

xxx项目接口文档模板

XXX项目接口        版本 编写人员 备注                                              1   站点信息接口1.1      接口描述         查询填报单位信息及栏目信息1.2      接口参数提...

2017-05-10 22:37:48

阅读数 8289

评论数 0

提示
确定要删除当前文章?
取消 删除