自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(33)
  • 资源 (4)
  • 问答 (1)
  • 收藏
  • 关注

转载 zookeeper命令行(zkCli.sh&zkServer.sh)使用及四字命令

zookeeper提供了很多方便的功能,方便我们查看服务器的状态,增加,修改,删除数据(入口是zkServer.sh和zkCli.sh)。还提供了一系列四字命令,方便我们跟服务器进行各种交互,来确认服务器当前的工作情况(这也是服务器监控告警的基础)。本文所讲的zkCli.sh和zkServer.sh均位于以下目录中:/usr/local/zookeeper-server1目录分布情况请参考我的另一篇

2016-04-28 22:12:23 3743

原创 zookeeper的集群安装

1.上传zk安装包(点击这里下载)2.解压3.配置(先在一台节点上配置) 3.1添加一个zoo.cfg配置文件 $ZOOKEEPER/conf mv zoo_sample.cfg zoo.cfg3.2修改配置文件(zoo.cfg) dataDir=/sfd/zookeeper-3.4.5/data server.1=hadoop-master:2888:3

2016-04-22 13:42:07 5686

原创 异步通信和同步通信

异步通信“异步通信”是一种很常用的通信方式。异步通信在发送字符时,所发送的字符之间的时间间隔可以是任意的。当然,接收端必须时刻做好接收的准备(如果接收端主机的电源都没有加上,那么发送端发送字符就没有意义,因为接收端根本无法接收)。发送端可以在任意时刻开始发送字符,因此必须在每一个字符的开始和结束的地方加上标志,即加上开始位和停止位,以便使接收端能够正确地将每一个字符接收下来。异步通信的好处是通信设备

2016-04-28 19:20:59 927

转载 Scala中val和var的区别

Scala有两种变量,val和var。val就不能再赋值了。与之对应的,var可以在它生命周期中被多次赋值。val的演示: scala> val msg=”Hello,world!”; msg: java.lang.String = Hello,world!scala> msg=”Hello again,world!”; :5: error: reassignment to val msg=

2016-04-27 20:16:04 37684

原创 OLAP(联机分析处理)和OLTP (联机事务处理)的区别

当今的数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(On-Line Analytical Processing)。OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果.OLTP:也称为面

2016-04-26 21:26:29 12200 1

转载 mysql 数据库问题com.mysql.jdbc.exceptions.jdbc4.CommunicationsException

MySQL第二天早上第一次连接超时报错,解决方法com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure Last pa

2016-04-25 21:20:25 4516

原创 org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot delete

执行: hadoop dfsadmin -safemode leave

2016-04-25 12:52:51 1542

转载 hadoop配置、运行错误总结

一、hadoop集群在namenode格式化(bin/hadoop namenode -format)后重启集群会出现如下 (问题非常明显,基本无疑义)  Incompatible namespaceIDS in … :namenode namespaceID = … ,datanode namespaceID=…  错误,原因是格式化namenode后会重新创建一个新的namespaceID,以至

2016-04-25 10:26:58 2276

原创 hadoop HA启动时 两个namenode节点都是standby,解决办法

首先你要确定不用ha的时候你的hadoop集群是正常的,不然找错误的方向就偏离了如果都正常,配置ha 需要zookeeper,先要看看是不是zookeeper没有配置好的问题如果都正常,在hadoop安装目录执行sbin/hadoop-daemon.sh start zkfc,这句是启动zookeeper选举制度,然后执行bin/hdfs haadmin -transitionToActive

2016-04-24 20:36:09 30186

原创 网络参考模型: OSI参考模型;TCP/IP参考模型

一.OSI参考模型OSI参考模型是ISO的建议,它是为了使各层上的协议国际标准化而发展起来的。OSI参考模型全称是开放系统互连参考模型(Open System Interconnection Reference Model)。这一参考模型共分为七层:物理层、数据链路层、网络层、传输层、会话层、表示层和应用层,如图1所示。 图1 OSI参考模型 图1 OSI参考模型物理层(Physical Lay

2016-04-24 16:16:21 1059

原创 HIVE+mysql环境搭建及简单应用

Hive环境搭建之前需要搭建hdfs分布式 简单的分布式搭建点击这里 HA(两个namenode)高可用性的hadoop完全分布式环境配置点击这里Hive只在一个节点上安装即可1.上传tar包2.解压 tar -zxvf hive-0.9.0.tar.gz -C /cloud/3.配置mysql metastore(切换到root用户)1).配置HIVE_HOME环境变量 export

2016-04-24 13:09:09 2310

原创 ssh: connect to host slave2 port 22: Connection refused

1.命令行输入: 更新安装包 $ sudo apt-get update下载ssh $ sudo apt-get install ssh完成

2016-04-23 20:10:16 5294 1

转载 [转] ubuntu下解压缩文件 .tar.gz;.tar;.bz2;.tar.bz2;.bz;.tar.bz;.zip

转自:http://blog.csdn.net/weichaohnu/article/details/5620783.tar 解包:tar xvf FileName.tar 打包:tar cvf FileName.tar DirName(注:tar是打包,不是压缩!).gz 解压1:gunzip FileName.gz 解压2:gzip -d FileName.gz 压缩:gzip Fil

2016-04-23 19:11:59 2476

转载 kafka集群安装

前期准备:zookeeper集群安装: zookeeper集群安装点击这里集群安装 1、解压 2、修改server.properties broker.id=1 zookeeper.connect=hadoop-master:2181,hadoop-master:2181,hadoop-master:21813、将zookeeper集群启动4、在每一台节点上启动broker bin/ka

2016-04-22 15:39:04 326

转载 Storm常见错误及处理方法

发布topologies到远程集群时,出现Nimbus host is not set异常 原因是Nimbus没有被正确启动起来,可能是storm.yaml文件没有配置,或者配置有问题。 解决方法:打开storm.yaml文件正确配置:nimbus.host: “xxx.xxx.xxx.xxx”,重启nimbus后台程序即可。发布topologies到远程集群时,出现AlreadyAliveE

2016-04-22 10:43:38 3858

翻译 Storm记录级容错的基本原理(acker工作原理)

首先来看一下什么叫做记录级容错?storm允许用户在spout中发射一个新的源tuple时为其指定一个message id, 这个message id可以是任意的object对象。多个源tuple可以共用一个message id,表示这多个源 tuple对用户来说是同一个消息单元。storm中记录级容错的意思是说,storm会告知用户每一个消息单元是否在指定时间内被完全处理了。那什么叫做完全处理呢,

2016-04-22 10:29:53 2703

原创 kafka笔记

kafka笔记 1/kafka是一个分布式的消息缓存系统 2/kafka集群中的服务器都叫做broker 3/kafka有两类客户端,一类叫producer(消息生产者),一类叫做consumer(消息消费者),客户端和broker服务器之间采用tcp协议连接 4/kafka中不同业务系统的消息可以通过topic进行区分,而且每一个消息topic都会被分区,以分担消息读写的负载 5/每一

2016-04-22 09:51:40 280

原创 Storm配置项详解:

Storm配置项详解: 配置项 配置说明 storm.zookeeper.servers ZooKeeper服务器列表 storm.zookeeper.port ZooKeeper连接端口 storm.local.dir storm使用的本地文件系统目录(必须存在并且storm进程可读写) storm.cluster.mode Storm集群运行模式([distributed|lo

2016-04-22 09:19:18 512

原创 R语言光速入门,R语言笔记,

命令:查看版本:licensed()退出R:quit()安装包:install.packages("BayesLogit")-----(贝叶斯) install.packages("mir"): package ‘mir’ is not available (for R version 3.2.4 Revised) 查看工作空间:getwd()设置工作空间:set(“D

2016-04-20 20:20:29 2329

转载 linux 下载flash插件

linux下载flash步骤

2016-04-18 21:29:19 1284

转载 MySQL命令行简介

[MySQL]命令行工具和基本操作一 MySQL命令行工具 (查看帮助 —help,或 -?)1)MySQLMySQL是一个简单的SQL外壳(有GNU readline功能)。它支持交互式和非交互式使用。当交互使用时,查询结果采用ASCII表格式。当采用非交互式(例如,用作过滤器)模式时,结果为tab分割符格式。可以使用命令行选项更改输出格式。如果由于结果较大而内存不足遇到问题,使用–quick选

2016-04-18 10:43:14 683

转载 hadoop2.x新特性HDFS HA、YARN HA,分布式搭建

前期准备就不详细说了,课堂上都介绍了 一、.修改Linux主机名:所有主机上的主机名必须一致 sudo gedit /etc/hostname2.修改IP:刚建好的虚拟机的ip是动态的每次重启可能发生该变,这样的话每次重启可能都有需要修改hosts文件,所以这里我们推荐配置静态IP,配置方法如下: 1). 2). 3). 4). 5).选中IPv4

2016-04-17 23:06:47 2837

转载 linux文件权限详解

对文件权限操作 Linux系统中的每个文件和目录都有访问许可权限,用它来确定谁可以通过何种方式对文件和目录进行访问和操作。  文件或目录的访问权限分为只读,只写和可执行三种。以文件为例,只读权限表示只允许读其内容,而禁止对其做任何的更改操作。可执行权限表示允许将该文件作为一个程序执行。文件被创建时,文件所有者自动拥有对该文件的读、写和可执行权限,以便于对文件的阅读和修改。用户也可根据需要把访

2016-04-17 21:50:47 389

转载 linux文件权限

文件权限简单介绍一、第一个字母是‘d’或者是‘-’,‘d’表示的是文件夹,‘-’表示的是文件二、第2~10个字符当中的每3个为一组,左边三个字符表示所有者权限,中间3个字符表示与所有者同一组的用户的权限,右边3个字符是其他用户的权限。这三个一组共9个字符,代表的意义如下: 1、r(Read,读取):对文件而言,具有读取文件内容的权限;对目录来说,具有浏览目录的权限。 2、w(Wr

2016-04-17 13:37:18 513

原创 mapreduce(JAVA)实现(大数据)电话号码对应的流量排序(倒序)

仅供参考: 使用自定义类在mapreduce中的传递,详细解释:使用wordcount详解mapreduce使用 实体类源码:package com.sfd.vo;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.Writable;

2016-04-10 11:33:11 750

转载 URIs, URLs, and URNs区别

URI首先,URI,是uniform resource identifier,统一资源标识符,用来唯一的标识一个资源。URL而URL是uniform resource locator,统一资源定位器,它是一种具体的URI,即URL可以用来标识一个资源,而且还指明了如何locate这个资源。URL而URN,uniform resource name,统一资源命名,是通过名字来标识资源,比如mailto

2016-04-08 08:11:52 476

转载 MR程序的几种提交运行模式

本地模型运行1.在windows的eclipse里面直接运行main方法,就会将job提交给本地执行器localjobrunner执行 ----输入输出数据可以放在本地路径下(c:/wc/srcdata/) ----输入输出数据也可以放在hdfs中(hdfs://sfd:9000/wc/srcdata)2.在linux的eclipse里面直接运行main方法,但是不要添加y

2016-04-06 20:21:20 1906

原创 Mapreduce Java实现WordCount 小案例

map的源码:package com.sfd.worldcount;import java.io.IOException;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.ha

2016-04-05 21:53:14 1153

原创 HDFS的JAVA客户端编写(JAVA代码实现对HDFS的操作)

源码如下:package com.sfd.hdfs;import java.io.FileInputStream;import java.io.IOException;import org.apache.commons.compress.utils.IOUtils;import org.apache.hadoop.conf.Configuration;import org.apache.had

2016-04-04 10:57:12 2821

原创 Hadoop 生态系统中个项目的简介

1,Common:一系列组件和接口,用于分布式文件系统和通用I/O(序列化,Java RPC和持久化数据结构) 2,Avro:一种序列化系统,用于支持高效、跨语言的RPC和持久化数据存储。 3,MapReduce:分布式数据处理模型和执行环境,运行于大型商用机集群。 4,HDFS:分布式文件系统,运用于大型商用机集群。 5,Pig:数据流语言和运行环境,用以研究非常庞大的数据集。Pig运行在

2016-04-03 19:42:42 1086

转载 linux下vi命令大全

进入vi的命令 vi filename :打开或新建文件,并将光标置于第一行首 vi +n filename :打开文件,并将光标置于第n行首 vi + filename :打开文件,并将光标置于最后一行首 vi +/pattern filename:打开文件,并将光标置于第一个与pattern匹配的串处 vi -r filename :在上次正用vi编辑时发生系统崩溃,恢复filenam

2016-04-02 22:24:22 352

原创 HDFS的Shell命令

HDFS的Shell命令:haddop fs -ls / (查询目录)hadoop fs -mkdir /test (在根目录下创建一个目录test)hadoop fs -put ./test.txt /test (将本地的test.txt文件上传到HDFS根目录下的test文件夹中去) hadoop fs -copyFromLocal ./test.txt /t

2016-04-02 22:15:58 1569

转载 Ubuntu hadoop 伪分布式环境搭建步骤+ssh密钥(免密码登录)配置

1.关闭防火墙查看防火墙状态 service iptables status 关闭防火墙 service iptables stop 查看防火墙开机启动状态 chkconfig iptables --list 关闭防火墙开机启动 chkconfig iptables off重启Linux reboot2.安装JDK2.1上传alt+p

2016-04-02 16:22:57 4538 1

hive源码分析

hive 源码分析

2016-05-25

zookeeper-3.4.5.tar.zip

需要解压两次

2016-04-22

apache-storm-0.9.2-incubating.tar.gz

2016-04-22

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除