当前搜索:

Redis常用命令

Redis:常用网站Redis.io/www.redis.cn停止服务命令:redis-cli shutdown 判断Redis是否启动,还是连接成功ping关闭RedisshutdownexitRedis 默认16个数据库 从0号数据库开始到15号数据库Redis切换数据库select 7查看当...
阅读(5) 评论(0)

Redis集群安装

1.  安装Redis3集群(6台Linux)1.下载redis3的稳定版本,下载地址http://download.redis.io/releases/redis-3.0.7.tar.gz2.上传redis-3.0.7.tar.gz到服务器3.解压redis源码包tar -zxvf redis-...
阅读(7) 评论(0)

HADOOP集群MAPREDUCE实践

1、需求对日志数据中的上下行流量信息汇总,并输出按照总流量倒序排序的结果数据如下1363157985066         13726230503 00-FD-07-A4-72-B8:CMCC      120.196.100.82             24         27       ...
阅读(3) 评论(0)

HADOOP集群MAPREDUCE实践WORDCOUNT

1、 MAPREDUCE 示例编写及编程规范编程规范(1)用户编写的程序分成三个部分:Mapper,Reducer,Driver(提交运行mr程序的客户端)(2)Mapper的输入数据是KV对的形式(KV的类型可自定义)(3)Mapper的输出数据是KV对的形式(KV的类型可自定义)(4)Mapp...
阅读(2) 评论(0)

HADOOP集群MAPREDUCE原理篇

Mapreduce是一个分布式运算程序的编程框架,是用户开发“基于hadoop的数据分析应用”的核心框架;Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个hadoop集群上; 1 为什么要MAPREDUCE(1)海量数据在单机上处理因...
阅读(87) 评论(0)

HADOOP集群 SHELL日志采集

JAVA代码模拟生成日志public class GenerateLog { public static void main(String[] args) throws Exception { Logger logger = LogManager.getLogger("te...
阅读(11) 评论(0)

HADOOP集群HDFS JAVA客户端

1 搭建开发环境1、引入依赖<dependency> <groupId>org.apache.hadoop</groupId> &lt...
阅读(5) 评论(0)

HADOOP集群NAMENODE工作机制

NAMENODE工作机制学习目标:理解namenode的工作机制尤其是元数据管理机制,以增强对HDFS工作原理的理解,及培养hadoop集群运营中“性能调优”、“namenode”故障问题的分析解决能力NAMENODE职责:        负责客户端请求的响应        元数据的管理(查询,修...
阅读(20) 评论(0)

DADOOP集群HDFS工作机制

hdfs的工作机制概述1.        HDFS集群分为两大角色:NameNode、DataNode  (Secondary Namenode)2.        NameNode负责管理整个文件系统的元数据3.        DataNode 负责管理用户的文件数据块4.        文件会...
阅读(65) 评论(0)

HADOOP集群HDFS shell命令

命令行客户端支持的命令参数HDFS显示命令提示命令:  hadoop  fs         [-appendToFile <localsrc> ... <dst>]         [-cat [-ig...
阅读(4) 评论(0)

HADOOP集群初步使用

HDFS使用使用命令行客户端:hdfs/hadoop1、查看集群状态命令:   hdfs  dfsadmin –report 也可打开web控制台查看HDFS集群信息,在浏览器打开http://hdp-node-01:50070/查看HDFS中的根目录信息,fs操作文件系统命令:   hadoop...
阅读(1) 评论(0)

HADOOP集群搭建

集群简介HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起HDFS集群:负责海量数据的存储,集群中的角色主要有NameNode / DataNodeYARN集群:负责海量数据运算时的资源调度,集群中的角色主要有 ResourceManager /No...
阅读(25) 评论(0)

HADOOP重新编译

Hadoop2.4.0  重新编译 64  位本地库环境:虚拟机 VirtualBox,操作系统 64 位 CentOS 6.4下载重新编译需要的软件包apache-ant-1.9.4-bin.tar.gzfindbugs-3.0.0.tar.gzprotobuf-2.5.0.tar.gzapac...
阅读(15) 评论(0)

HADOOP基础知识

什么是HADOOP1.        HADOOP是apache旗下的一套开源软件平台2.        HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理3.        HADOOP的核心组件有A.       HDFS(分布式文件系统)B.     ...
阅读(18) 评论(0)

轻量级RPC代码实现2

rpc-clientpackage cn.itcast.rpc.client; import io.netty.bootstrap.Bootstrap; import io.netty.channel.ChannelFuture; import io.netty.channel.ChannelH...
阅读(11) 评论(0)

轻量级RPC代码实现1

 轻量级RPC框架代码实现流程图:rpc-sample-apppackage cn.itcast.rpc.sample.app; import org.junit.Test; import org.junit.runner.RunWith; import org.springframework....
阅读(8) 评论(0)

轻量级RPC框架开发

1.  RPC原理学习1.1. 什么是RPC         RPC(Remote Procedure Call Protocol)——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携...
阅读(3) 评论(0)

Spring(IOC/AOP)注解学习

1.1. spring的初始化顺序在spring的配置文件中配置bean,如下在One类和Two类中,分别实现一个参数的构造如下加载spring配置文件,初始化bean如下那么。结果如何呢?结论:spring会按照bean的顺序依次初始化xml中配置的所有bean1.1.1.   通过Applic...
阅读(16) 评论(0)

NETTY发送对象

Netty中,通讯的双方建立连接后,会把数据按照ByteBuf的方式进行传输,例如http协议中,就是通过HttpRequestDecoder对ByteBuf数据流进行处理,转换成http的对象。基于这个思路,我自定义一种通讯协议:Server和客户端直接传输java对象。 实现的原理是通过Enc...
阅读(18) 评论(0)

NETTY中HANDLER执行顺序

简介Handler在netty中,无疑占据着非常重要的地位。Handler与Servlet中的filter很像,通过Handler可以完成通讯报文的解码编码、拦截指定的报文、统一对日志错误进行处理、统一对请求进行计数、控制Handler执行与否。一句话,没有它做不到的只有你想不到的。Netty中的...
阅读(10) 评论(0)
    个人资料
    持之以恒
    等级:
    访问量: 461
    积分: 241
    排名: 31万+
    文章存档