- 博客(26)
- 资源 (28)
- 收藏
- 关注
RSS订阅原创 Hadoop-rpc调用案例，服务端，客户端代码案例
１. Hadoop-rpc框架在hadoop中提供了一个rpc框架，通过这个rpc框架可以编写一个rpc服务端程序，然后发布出去供客户端调用。1.1.服务端代码其中服务端（example-hadoop-rpc-server），其中代码结果如下： 代码说明： ClientNamenodeProtocal 接口定义 NameNode
2017-05-31 19:30:21
1576
转载 NAMENODE工作机制，元数据管理(元数据存储机制、元数据手动查看)、元数据的checkpoint、元数据目录说明（来自学习资料）
NAMENODE工作机制学习目标：理解namenode的工作机制尤其是元数据管理机制，以增强对HDFS工作原理的理解，及培养hadoop集群运营中“性能调优”、“namenode”故障问题的分析解决能力 问题场景：1、集群启动后，可以查看目录，但是上传文件时报错，打开web页面可看到namenode正处于safemode状态，怎么处理？解释：safemode是namenode的一种状态（activ
2017-05-30 19:03:51
5721
转载 HDFS的工作机制,HDFS写数据流程,HDFS读数据流程（来自学习资料）
4.hdfs的工作机制（工作机制的学习主要是为加深对分布式系统的理解，以及增强遇到各种问题时的分析解决能力，形成一定的集群运维能力） 注：很多不是真正理解hadoop技术体系的人会常常觉得HDFS可用于网盘类应用，但实际并非如此。要想将技术准确用在恰当的地方，必须对技术有深刻的理解4.1 概述1. HDFS集群分为两大角色：NameNode、DataNode (Secondary
2017-05-30 17:31:10
1194
原创 HDFS的API调用,创建Maven工程,创建一个非Maven工程,HDFS客户端操作数据代码示例,文件方式操作和流式操作
１. HDFS的java操作hdfs在生产应用中主要是客户端的开发，其核心步骤是从hdfs提供的api中构造一个HDFS的访问客户端对象，然后通过该客户端对象操作（增删改查）HDFS上的文件１.1 搭建开发环境 １.1.1创建Maven工程快速创建一个Maven工程和目录结构的方式是执行下面的命令： mvn archetype:generate -Dgrou
2017-05-30 16:56:13
1945
1
原创 HDFS命令行客户端使用,命令行客户端支持的命令参数,常用命令参数介绍
3.HDFS的shell(命令行客户端)操作3.1 HDFS命令行客户端使用HDFS提供shell命令行客户端，使用方法如下： [toto@hadoop hadoop-2.8.0]$ hdfs dfs -ls / （推荐使用这种方式，hdfs现在这种是最新的一种方式） Found 4 items drwxr-xr-x - toto supergroup 0 2
2017-05-30 01:36:40
1825
转载 Linux下快速搭建ntp时间同步服务器（转载：http://www.linuxidc.com/Linux/2014-07/104371.htm）
背景：服务器多了，时间是否一致以及是否准备就显得格外重要，虽然这个问题总是被忽略，但是统一时间是很有必要的，因为时间问题导致服务出现问题也是司空见惯，本文简单介绍Linux下ntp的快速搭建和使用。CentOS NTP服务器安装与配置 http://www.linuxidc.com/Linux/2014-01/95258.htmLinux实战部署系列之NTP服务器 http://www.linux
2017-05-29 22:47:31
1577
原创 datenode节点超时时间设置，Hadoop启动不正常,HDFS冗余数据块的自动删除,NameNode安全模式问题,ntp时间服务同步,机架感知配置
1.Hadoop datanode节点超时时间设置datanode进程死亡或者网络故障造成datanode无法与namenode通信，namenode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout，则超时时长的计算公式为： timeout = 2 * heartbeat.recheck
2017-05-29 22:43:49
3528
原创 HDFS设计思路，HDFS使用，查看集群状态，HDFS，HDFS上传文件，HDFS下载文件，yarn web管理界面信息查看，运行一个mapreduce程序，mapreduce的demo
26 集群使用初步26.1 HDFS使用1、查看集群状态命令： hdfs dfsadmin –report 可以看出，集群共有3个datanode可用也可打开web控制台查看HDFS集群信息，在浏览器打开http://hadoop:50070/ 2、上传文件到HDFS查看HDFS中的目录信息命令：hadoop fs –ls /
2017-05-29 15:54:40
7691
原创 Hadoop-2.8.0集群搭建、hadoop源码编译和安装、host配置、ssh免密登录、hadoop配置文件中的参数配置参数总结、hadoop集群测试,安装过程中的常见错误
25. 集群搭建25.1 HADOOP集群搭建25.1.1集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起HDFS集群：负责海量数据的存储，集群中的角色主要有NameNode / DataNodeYARN集群：负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager25.1.2服务器准备本案
2017-05-29 02:11:29
6073
转载 本地编译Hadoop2.8.0源码总结和问题解决(转自：http://blog.csdn.net/young_kim1/article/details/50324345)
先吐槽一下，本人编译了3天，本来想放弃了，在晚上的时候尝试了最后一次，没想到终于成功了，这里分享一下编译的过程、遇到的问题以及相应的解决办法，以供接下来学习的人查阅。编译准备1、下载所需的软件先去官网下载hadoop2.7.1源码并解压，打开解压目录下的BUILDING.txt，编译过程和需要的软件其实就是根据这个文档里的描述来的。Requirements:* Unix System* JD
2017-05-28 23:31:30
3487
转载 Secondary NameNode:它究竟有什么作用？（转自：http://blog.csdn.net/xh16319/article/details/31375197）
前言最近刚接触Hadoop, 一直没有弄明白NameNode和Secondary NameNode的区别和关系。很多人都认为，Secondary NameNode是NameNode的备份，是为了防止NameNode的单点失败的，直到读了这篇文章Secondary Namenode - What it really do? (需翻墙)才发现并不是这样。文章写的很通俗易懂，现将其翻译如下：Second
2017-05-27 00:58:06
552
转载 通过源码的方式编译hadoop的安装文件
Hadoop2.4.0 重新编译 64 位本地库原创作者：大鹏鸟 时间：2014-07-28环境：虚拟机 VirtualBox，操作系统 64 位 CentOS 6.4下载重新编译需要的软件包apache-ant-1.9.4-bin.tar.gzfindbugs-3.0.0.tar.gzprotobuf-2.5.0.tar.gzapache-maven-3.0.5-bin.tar.gz下载 h
2017-05-27 00:27:20
991
转载 分布式系统概述（来自学习资料）
2 分布式系统概述注：由于大数据技术领域的各类技术框架基本上都是分布式系统，因此，理解hadoop、storm、spark等技术框架，都需要具备基本的分布式系统概念 2.1 分布式软件系统(Distributed Software Systems)² 该软件系统会划分成多个子系统或模块，各自运行在不同的机器上，子系统或模块之间通过网络通信进行协作，实现最终的整体功能² 比如分布式操作系统、分布式程
2017-05-26 23:45:14
763
转载 什么是HADOOP、产生背景、在大数据、云计算中的位置和关系、国内外HADOOP应用案例介绍、就业方向、生态圈以及各组成部分的简介（学习资料中的文档材料）
1. HADOOP背景介绍1． 1.1 什么是HADOOP1. HADOOP是apache旗下的一套开源软件平台2. HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理3. HADOOP的核心组件有A. HDFS（分布式文件系统）B. YARN（运算资源调度系统）C. MAPRED
2017-05-26 20:30:56
3880
原创 dubbo控制中心部署，权重配置，以及管控台中各个配置的简单查看
dubbo给我们提供了现成的后台管理网站，专门管理这些服务，应用，路由规则，动态配置，访问控制、权重控制、负载均衡等等，还可以查看系统日志，系统状态，系统环境等等，功能很是强大，通过这个后台，可以可视化控制你的服务和应用。接下来我们来简单的看看后台系统，以及简单修改下权重控制啥的看看效果吧！我们将dubbo-admin-2.5.4.war包放到tomcat容器中（如果没有dubbo-admin-2
2017-05-26 13:09:55
9170
1
原创 Maven+SpringMVC+Dubbo+zookeeper 简单的入门demo配置
参考：http://blog.csdn.net/aixiaoyang168/article/details/51362675dubbo是一个分布式服务框架，致力于提供高性能和透明化的RPC远程服务调用方案，是阿里巴巴SOA服务化治理方案的核心框架，每天为2,000+个服务提供3,000,000,000+次访问量支持，并被广泛应用于阿里巴巴集团的各成员站点（其他的详细介绍可以查看dubbo的官网地址
2017-05-26 11:40:39
5113
转载 mongo-connector导入数据到Elasticsearch
当前测试环境下Elasticsearch版本为2.3。不同版本的mongo-connector、elastic-doc-manager/elastic2-doc-manager所支持的Elasticsearch版本不同，安装时注意版本的选择。安装mongo-connector测试机上Python的默认版本为2.6，由于我采用anonacoda作为Python开发环境，Python默认版本2.7。故
2017-05-25 20:55:59
1146
转载 Invalid character found in the request target. The valid characters are defined in RFC 7230 and RFC
转载：（http://blog.csdn.net/zeroso/article/details/70592179）错误现象：java.lang.IllegalArgumentException: Invalid character found in the request target. The valid characters are defined in RFC 7230 and RFC 39
2017-05-24 16:21:23
7962
2
原创 Introduction | Elasticsearch权威指南(中文版) | 好的博文地址|官方资源所在位置
https://es.xiaoleilu.com/170_Relevance/10_Scoring_theory.html
2017-05-24 01:21:31
1806
原创 xxx项目接口文档模板
XXX项目接口 版本 编写人员 备注 1 站点信息接口1.1 接口描述 查询填报单位信息及栏目信息1.2 接口参数提交路径：测试:http://ip:8080/urlxxx正式内网:http://ip:9080/url
2017-05-10 22:37:48
9948
原创 Solr集群搭建，zookeeper集群搭建，Solr分片管理，Solr集群下的DataImport，分词配置。
1 什么是SolrCloud SolrCloud(solr 云)是Solr提供的分布式搜索方案，当你需要大规模，容错，分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用SolrCloud的，当索引量很大，搜索请求并发很高，这时需要使 用SolrCloud来满足这些需求。 SolrCloud是基于Solr和Zookeeper的分布式搜索方案，它的
2017-05-09 03:20:04
5956
转载 XDocReport 的简单使用 操作word 替换变量，动态图片，指定操作指令（程序）扩展（转自：http://www.cnblogs.com/fish-in-sky/p/4973237.html）
XDocReport 主要是操作word，如动态插入数字、汉字、图片，也可以通过指令形式去执行程序输出结果。1，模版变量定义。 1）新建word； 2）替换简单动态变量：Ctrl + F9 编辑域 选择MergeField 编辑域代码 如图： 3）替换动态图片： 4）指令扩展：2，代码/** * 根据模板导出word文件 * * @param reportData
2017-05-06 17:35:50
5282
1
原创 Oracle数据库表信息，序列，视图等导出，导入。（数据库备份和恢复）
数据导出1、 打开PL/SQL，找到选择表、将用户相关的索引，序列、用户信息等导出来2、 找到Exporttable选择要导出的表的数据等，注意：导成dmp格式的数据文件数据导入1.以管理员方式登录2.将数据库导入下面是表结构，3、数据导入的过程
2017-05-05 15:19:06
6957
原创 redis安装，redis项目以来，redis和spring整合，redis的service，redis的service实现类
一．redis安装： Redis-3.2.6.tar.gz安装，参考方式： 用源码工程来编译安装 1、 到官网下载最新stable版，这里使用的是：redis-3.2.6.tar.gz 2、 cd /usr/local 3、 make redis-src 4、 tar -zxvf redis-3.2.6.tar.gz -C ./redis-src/ 2、
2017-05-05 09:56:36
2190
1
原创 Nginx安装，Nginx静态缓存，Nginx Gzip压缩，Nginx负载均衡，Nginx方向代理，Nginx+Tomcat+Redis做session共享
Nginx安装nginx-1.10.1.tar.gz安装，参考http://blog.csdn.net/tototuzuoquan/article/details/47381907。修改nginx.conf的配置文件 #user nobody; worker_processes 8; error_log logs/error.log; error_log logs/erro
2017-05-05 09:35:45
1501
转载 freemarker语法
freemarker中显示某对象使用${name}. 但如果name为null，freemarker就会报错。如果需要判断对象是否为空：…… 当然也可以通过设置默认值${name!''}来避免对象为空的错误。如果name为空，就以默认值（“!”后的字符）显示。 对象user，name为user的属性的情况，user，name都有可能为空，那么可以写成${(user.name)!''},表示user
2017-05-03 09:02:10
924
easyui资料
2014-02-22
17个在线编辑器，包括kindeditor，STEditor，HTMLArea3.0last20071025等
2012-07-22
二手购物网源码
2012-05-31
强大的购物网代码（java）
2012-05-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人