2016年04月_SunmonDong

转载 zookeeper命令行(zkCli.sh&zkServer.sh)使用及四字命令

zookeeper提供了很多方便的功能，方便我们查看服务器的状态，增加，修改，删除数据（入口是zkServer.sh和zkCli.sh）。还提供了一系列四字命令，方便我们跟服务器进行各种交互，来确认服务器当前的工作情况（这也是服务器监控告警的基础）。本文所讲的zkCli.sh和zkServer.sh均位于以下目录中：/usr/local/zookeeper-server1目录分布情况请参考我的另一篇

2016-04-28 22:12:23 3744

原创 zookeeper的集群安装

1.上传zk安装包（点击这里下载）2.解压3.配置（先在一台节点上配置） 3.1添加一个zoo.cfg配置文件 $ZOOKEEPER/conf mv zoo_sample.cfg zoo.cfg3.2修改配置文件（zoo.cfg） dataDir=/sfd/zookeeper-3.4.5/data server.1=hadoop-master:2888:3

2016-04-22 13:42:07 5689

原创异步通信和同步通信

异步通信“异步通信”是一种很常用的通信方式。异步通信在发送字符时，所发送的字符之间的时间间隔可以是任意的。当然，接收端必须时刻做好接收的准备（如果接收端主机的电源都没有加上，那么发送端发送字符就没有意义，因为接收端根本无法接收）。发送端可以在任意时刻开始发送字符，因此必须在每一个字符的开始和结束的地方加上标志，即加上开始位和停止位，以便使接收端能够正确地将每一个字符接收下来。异步通信的好处是通信设备

2016-04-28 19:20:59 927

转载 Scala中val和var的区别

Scala有两种变量，val和var。val就不能再赋值了。与之对应的，var可以在它生命周期中被多次赋值。val的演示： scala> val msg=”Hello,world!”; msg: java.lang.String = Hello,world!scala> msg=”Hello again,world!”; :5: error: reassignment to val msg=

2016-04-27 20:16:04 37686

原创 OLAP（联机分析处理）和OLTP （联机事务处理）的区别

当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果.OLTP:也称为面

2016-04-26 21:26:29 12203 1

转载 mysql 数据库问题com.mysql.jdbc.exceptions.jdbc4.CommunicationsException

MySQL第二天早上第一次连接超时报错，解决方法com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure Last pa

2016-04-25 21:20:25 4516

原创 org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot delete

执行： hadoop dfsadmin -safemode leave

2016-04-25 12:52:51 1542

转载 hadoop配置、运行错误总结

一、hadoop集群在namenode格式化(bin/hadoop namenode -format)后重启集群会出现如下 (问题非常明显，基本无疑义)　　Incompatible namespaceIDS in … :namenode namespaceID = … ,datanode namespaceID=…　　错误，原因是格式化namenode后会重新创建一个新的namespaceID,以至

2016-04-25 10:26:58 2277

原创 hadoop HA启动时两个namenode节点都是standby，解决办法

首先你要确定不用ha的时候你的hadoop集群是正常的，不然找错误的方向就偏离了如果都正常，配置ha 需要zookeeper，先要看看是不是zookeeper没有配置好的问题如果都正常，在hadoop安装目录执行sbin/hadoop-daemon.sh start zkfc，这句是启动zookeeper选举制度，然后执行bin/hdfs haadmin -transitionToActive

2016-04-24 20:36:09 30189

原创网络参考模型： OSI参考模型;TCP/IP参考模型

一.OSI参考模型OSI参考模型是ISO的建议，它是为了使各层上的协议国际标准化而发展起来的。OSI参考模型全称是开放系统互连参考模型(Open System Interconnection Reference Model)。这一参考模型共分为七层：物理层、数据链路层、网络层、传输层、会话层、表示层和应用层，如图1所示。图1 OSI参考模型图1 OSI参考模型物理层(Physical Lay

2016-04-24 16:16:21 1059

原创 HIVE+mysql环境搭建及简单应用

Hive环境搭建之前需要搭建hdfs分布式简单的分布式搭建点击这里 HA（两个namenode）高可用性的hadoop完全分布式环境配置点击这里Hive只在一个节点上安装即可1.上传tar包2.解压 tar -zxvf hive-0.9.0.tar.gz -C /cloud/3.配置mysql metastore（切换到root用户）1).配置HIVE_HOME环境变量 export

2016-04-24 13:09:09 2310

原创 ssh: connect to host slave2 port 22: Connection refused

1.命令行输入：更新安装包 $ sudo apt-get update下载ssh $ sudo apt-get install ssh完成

2016-04-23 20:10:16 5294 1

转载 [转] ubuntu下解压缩文件 .tar.gz;.tar;.bz2;.tar.bz2;.bz;.tar.bz;.zip

转自：http://blog.csdn.net/weichaohnu/article/details/5620783.tar 解包：tar xvf FileName.tar 打包：tar cvf FileName.tar DirName（注：tar是打包，不是压缩！）.gz 解压1：gunzip FileName.gz 解压2：gzip -d FileName.gz 压缩：gzip Fil

2016-04-23 19:11:59 2476

转载 kafka集群安装

前期准备:zookeeper集群安装： zookeeper集群安装点击这里集群安装 1、解压 2、修改server.properties broker.id=1 zookeeper.connect=hadoop-master:2181,hadoop-master:2181,hadoop-master:21813、将zookeeper集群启动4、在每一台节点上启动broker bin/ka

2016-04-22 15:39:04 327

转载 Storm常见错误及处理方法

发布topologies到远程集群时，出现Nimbus host is not set异常原因是Nimbus没有被正确启动起来，可能是storm.yaml文件没有配置，或者配置有问题。解决方法：打开storm.yaml文件正确配置：nimbus.host: “xxx.xxx.xxx.xxx”，重启nimbus后台程序即可。发布topologies到远程集群时，出现AlreadyAliveE

2016-04-22 10:43:38 3859

翻译 Storm记录级容错的基本原理(acker工作原理)

首先来看一下什么叫做记录级容错？storm允许用户在spout中发射一个新的源tuple时为其指定一个message id, 这个message id可以是任意的object对象。多个源tuple可以共用一个message id，表示这多个源 tuple对用户来说是同一个消息单元。storm中记录级容错的意思是说，storm会告知用户每一个消息单元是否在指定时间内被完全处理了。那什么叫做完全处理呢，

2016-04-22 10:29:53 2703

原创 kafka笔记

kafka笔记 1/kafka是一个分布式的消息缓存系统 2/kafka集群中的服务器都叫做broker 3/kafka有两类客户端，一类叫producer（消息生产者），一类叫做consumer（消息消费者），客户端和broker服务器之间采用tcp协议连接 4/kafka中不同业务系统的消息可以通过topic进行区分，而且每一个消息topic都会被分区，以分担消息读写的负载 5/每一

2016-04-22 09:51:40 280

原创 Storm配置项详解:

Storm配置项详解: 配置项配置说明 storm.zookeeper.servers ZooKeeper服务器列表 storm.zookeeper.port ZooKeeper连接端口 storm.local.dir storm使用的本地文件系统目录(必须存在并且storm进程可读写) storm.cluster.mode Storm集群运行模式([distributed|lo

2016-04-22 09:19:18 512

原创 R语言光速入门，R语言笔记，

命令：查看版本：licensed（）退出R：quit（）安装包：install.packages("BayesLogit")-----(贝叶斯) install.packages("mir"): package ‘mir’ is not available (for R version 3.2.4 Revised) 查看工作空间：getwd（）设置工作空间：set(“D

2016-04-20 20:20:29 2330

转载 linux 下载flash插件

linux下载flash步骤

2016-04-18 21:29:19 1284

转载 MySQL命令行简介

[MySQL]命令行工具和基本操作一 MySQL命令行工具 (查看帮助 —help，或 -？)1）MySQLMySQL是一个简单的SQL外壳(有GNU readline功能)。它支持交互式和非交互式使用。当交互使用时，查询结果采用ASCII表格式。当采用非交互式(例如，用作过滤器)模式时，结果为tab分割符格式。可以使用命令行选项更改输出格式。如果由于结果较大而内存不足遇到问题，使用–quick选

2016-04-18 10:43:14 683

转载 hadoop2.x新特性HDFS HA、YARN HA，分布式搭建

前期准备就不详细说了，课堂上都介绍了一、.修改Linux主机名:所有主机上的主机名必须一致 sudo gedit /etc/hostname2.修改IP：刚建好的虚拟机的ip是动态的每次重启可能发生该变，这样的话每次重启可能都有需要修改hosts文件，所以这里我们推荐配置静态IP，配置方法如下： 1）. 2）. 3）. 4）. 5）.选中IPv4

2016-04-17 23:06:47 2837

转载 linux文件权限详解

对文件权限操作 Linux系统中的每个文件和目录都有访问许可权限，用它来确定谁可以通过何种方式对文件和目录进行访问和操作。　　文件或目录的访问权限分为只读，只写和可执行三种。以文件为例，只读权限表示只允许读其内容，而禁止对其做任何的更改操作。可执行权限表示允许将该文件作为一个程序执行。文件被创建时，文件所有者自动拥有对该文件的读、写和可执行权限，以便于对文件的阅读和修改。用户也可根据需要把访

2016-04-17 21:50:47 389

转载 linux文件权限

文件权限简单介绍一、第一个字母是‘d’或者是‘-’，‘d’表示的是文件夹，‘-’表示的是文件二、第2～10个字符当中的每3个为一组，左边三个字符表示所有者权限，中间3个字符表示与所有者同一组的用户的权限，右边3个字符是其他用户的权限。这三个一组共9个字符，代表的意义如下： 1、r(Read，读取)：对文件而言，具有读取文件内容的权限；对目录来说，具有浏览目录的权限。 2、w(Wr

2016-04-17 13:37:18 513

原创 mapreduce(JAVA)实现（大数据）电话号码对应的流量排序(倒序)

仅供参考：使用自定义类在mapreduce中的传递，详细解释：使用wordcount详解mapreduce使用实体类源码：package com.sfd.vo;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.Writable;

2016-04-10 11:33:11 751

转载 URIs, URLs, and URNs区别

URI首先，URI，是uniform resource identifier，统一资源标识符，用来唯一的标识一个资源。URL而URL是uniform resource locator，统一资源定位器，它是一种具体的URI，即URL可以用来标识一个资源，而且还指明了如何locate这个资源。URL而URN，uniform resource name，统一资源命名，是通过名字来标识资源，比如mailto

2016-04-08 08:11:52 477

转载 MR程序的几种提交运行模式

本地模型运行1.在windows的eclipse里面直接运行main方法，就会将job提交给本地执行器localjobrunner执行 ----输入输出数据可以放在本地路径下（c:/wc/srcdata/） ----输入输出数据也可以放在hdfs中(hdfs://sfd:9000/wc/srcdata)2.在linux的eclipse里面直接运行main方法，但是不要添加y

2016-04-06 20:21:20 1906

原创 Mapreduce Java实现WordCount 小案例

map的源码：package com.sfd.worldcount;import java.io.IOException;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.ha

2016-04-05 21:53:14 1154

原创 HDFS的JAVA客户端编写（JAVA代码实现对HDFS的操作）

源码如下：package com.sfd.hdfs;import java.io.FileInputStream;import java.io.IOException;import org.apache.commons.compress.utils.IOUtils;import org.apache.hadoop.conf.Configuration;import org.apache.had

2016-04-04 10:57:12 2821

原创 Hadoop 生态系统中个项目的简介

1，Common：一系列组件和接口，用于分布式文件系统和通用I/O（序列化，Java RPC和持久化数据结构） 2，Avro：一种序列化系统，用于支持高效、跨语言的RPC和持久化数据存储。 3，MapReduce：分布式数据处理模型和执行环境，运行于大型商用机集群。 4，HDFS：分布式文件系统，运用于大型商用机集群。 5，Pig：数据流语言和运行环境，用以研究非常庞大的数据集。Pig运行在

2016-04-03 19:42:42 1087

转载 linux下vi命令大全

进入vi的命令 vi filename :打开或新建文件，并将光标置于第一行首 vi +n filename ：打开文件，并将光标置于第n行首 vi + filename ：打开文件，并将光标置于最后一行首 vi +/pattern filename：打开文件，并将光标置于第一个与pattern匹配的串处 vi -r filename ：在上次正用vi编辑时发生系统崩溃，恢复filenam

2016-04-02 22:24:22 353

原创 HDFS的Shell命令

HDFS的Shell命令：haddop fs -ls / (查询目录)hadoop fs -mkdir /test （在根目录下创建一个目录test）hadoop fs -put ./test.txt /test （将本地的test.txt文件上传到HDFS根目录下的test文件夹中去） hadoop fs -copyFromLocal ./test.txt /t

2016-04-02 22:15:58 1569

转载 Ubuntu hadoop 伪分布式环境搭建步骤+ssh密钥（免密码登录）配置

1.关闭防火墙查看防火墙状态 service iptables status 关闭防火墙 service iptables stop 查看防火墙开机启动状态 chkconfig iptables --list 关闭防火墙开机启动 chkconfig iptables off重启Linux reboot2.安装JDK2.1上传alt+p

2016-04-02 16:22:57 4538 1

s646575997的博客