frostbite_Sword的博客

需要下载的文件：链接：http://pan.baidu.com/s/1i5yRyuh 密码：ms91 一  下载并编译  hadoop-eclipse-plugin-2.7.3.jar二  将hadoop-eclipse-plugin-2.7.3.jar放到myeclipse的安装目录下的plugins目录下，并重启myeclipse　　在windows->pref

目录课程大纲（HDFS详解）.............................................................................................................. 21. HDFS前言................................................................

业务场景：有一个集群式的服务器，提供对外的服务，问题一：        服务器会根据服务的负载会增加服务器，有时候增加两台有时候会增加多台的服务器，或者是有时候服务器会宕机掉线，则产生一个问题就是，服务器的集群会产生动态的变化。则会产生一个问题，服务器是为客户端提供服务的，并且客户端有很多，则客户端他怎么能知道 服务器宕机或者增加 怎么会知道目的是，客户端要知道哪些服务器上线哪些服务器下线，当我请...

JUnit4使用Java5中的注解（annotation），以下是JUnit4常用的几个annotation： @Before：初始化方法   对于每一个测试方法都要执行一次（注意与BeforeClass区别，后者是对于所有方法执行一次）@After：释放资源  对于每一个测试方法都要执行一次（注意与AfterClass区别，后者是对于所有方法执行一次）@Test：测试方法，在这里可以测试期望异常...

高可用的服务监控A: keepalived  他是服务于服务端的,访问的虚拟ipB: zk          rpc框架比较繁琐麻烦，zk的最少安装的服务器为1台。但是但台服务器挂了，就完了，因为zk的安装节点为计数就可以的。zk的集群结构最少三台服务器，因为在配置文件中他们有配置哪一个主哪一些是从，如何选举呢其实在这涉及到一个算法PAXOS 但是zk是把他简化之后的=》叫做 Zab来进行投票的每...

sortsort 命令对 File 参数指定的文件中的行排序，并将结果写到标准输出。如果 File 参数指定多个文件，那么 sort 命令将这些文件连接起来，并当作一个文件进行排序。sort语法 [root@www ~]# sort [-fbMnrtuk] [file or stdin]选项与参数：-f  ：忽略大小写的差异，例如 A 与 a 视为编码相同；-b  ：忽略最前面的空格符部分；-M ...

一 : linux和windos的分区的区别。windos的分区： 每个分区就是一个可分出的一个盘lunx的分区 ： 其实linux和windos的最大的区别就是，所有的硬盘是挂在linux的 根（‘/’）目录下的bin目录： 就是linux系统里面的 命令文件夹的一些操作boot目录： 就是linux的启动时加载的一些配置文件的参数，可以在里面修改一些参数，，，例如系统启动时进入图形化的界面  ...

一：主要内容       掌握RPC原理，掌握nio操作，掌握netty简单的api，掌握自定义rpc框架 RPC原理学习 什么是RPC           RPC（Remote Procedure Call Protocol）——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为...

Zookeeper1.  Zookeeper概念简介：Zookeeper是一个分布式协调服务；就是为用户的分布式应用程序提供协调服务A、zookeeper是为别的分布式程序服务的B、Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务）C、Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务……D、虽然说可以提供...

1，要求你已经成功把Hadoop集群安装完毕，并经过测试，如果不知道如何编译安装Hadoop请参考散仙的这篇文章http://qindongliang.iteye.com/blog/2222145 2，安装Scala2.10.x版本，spark1.4.0最新版本的兼容2.10.x的scala，建议还是安装scala2.10.x的，虽然scala最新的版本是2.11.x了 安装方法： （1） wge...

首先安装命令为:pip install airflow也可以:pip install airflow[参数]参数如下:subpackageinstall commandenablesallpip install airflow[all]All Airflow features k

centos7 安装airflow由于airflow是个比较新的东西，安装时，不免踩了很多坑。什么centos7 数据库需要换成mariadb，什么yum install python-mysql ,坑死人。可能这也跟系统的环境有关，因为版本不同，命令也不同。下面的步骤希望能帮到大家！1.先测试自己的环境是否有wget命令，没有的话需要进行安装：

Hadoop HA高可用集群搭建（2.7.2）1.集群规划： 主机名        IP                安装的软件                            运行的进程drguo1  192.168.80.149 jdk、hadoop                         NameNode、DFSZKFailoverContro

使用eclipse编写UDF函数2017年06月08日 13:03:40阅读数：424在做日志分析的过程中，用到了Hadoop框架中的Hive，不过有些日志处理用hive中的函数处理显得力不从心，就需要用udf来进行扩展处理了1  在eclipse中新建Java project   hiveudf   然后新建class  package(com.afan)  name(UDFLo...