- 博客(20)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Zookeeper之ACL和进程协作
实现节点的增删打开 Eclipse开发工具，单击File选择“New”→“ Java project”，新建名称为“zookeeper”的Java项目，单击右键“zookeeper项目，选择“New”→“ Package”。输入包名称“ cn.dzqc.zk"新建java类，选中包名并单击右键，选择“New”→“Class”在name项输入“ZookeeperDemo"类名称在创建的...
2019-06-12 20:21:32
2888
1
原创 架设Zookeeper集群尝试
首先，创建三台服务器在一台电脑上安装VMWare Workstation。在VM上安装三台Linux，分别是1个主节点，2个从节点，如下图所示。注意：这3个节点的IP地址在实际搭建时会有所不同。第一步在master上启动 Linux命令终端，创建目录mkdir /usr/zookeeper，执行命令cd/usr/zookeeper，切换到该目录下，把zookeeper文件上传到该目录下...
2019-06-12 20:09:56
3973
1
原创 关于Zookeeper
Zookeeper简介1.Zookeeper是一个开放源代码的软件。2.Zookeeper是一个管理“分布式应用程序”的软件。什么是分布式应用程序服务？我们知道，Hadoop中的组件，如hdfs、MapReduce/yarn、hbase、double、kafka都是分布式服务。如MapReduce就是一个分布式服务，MapReduce会将所做的工作分发给Hadoop集群中的多台服务器共同实现。...
2019-06-12 19:46:41
245
原创 Hadoop完全分布式集群搭建（一）
第一步、搭建三个虚拟机如下图所示当然，每个人的IP地址可能会有所不同如上图，搭建完毕第二步、配置网络在Linux系统命令终端，执行命令cd /etc/sysconfig/network-scripts，切换到该目录并查看该目录下的文件ifcfg-eth0，如图所示在Linx系统命令终端，执行命令 vim ifcfg-eth0，并修改文件的内容，按“键入编辑内容编译完成后按Esc键...
2019-06-11 20:35:27
1313
1
原创 JAVA编写Hadoop二次排序程序
运行效果如下1.输入数据目标输出一、创建项目打开eclipse，新建一个工程。“file” ->“New” ->“other”,select a wizard中选择“Map/Reduce Project”，输入工程名二、编写程序选择src，单击右键，选择“New”→“ Package”，输入包名，点击“Finish”选择包名，点击右键，选择“New”→“Clas...
2019-06-11 20:07:57
1912
4
原创 MapReduce应用开发
Hadoop数据类型Hadoop基本数据类型如下：IntWritable：整型数LongWritable：长整型数FloatWritable：浮点数DoubleWritable：双字节数BooleanWritable：布尔型ByteWritable：单字节，对应byte类型BytesWritable：字节数组，对应byte[]Hadoop常用的其他数据类型如下：Text：...
2019-06-10 19:57:15
193
原创 伪分布式下运行内置的WordCount
一、了解Hadoop官方的示例程序包在集群服务器的本地目录“$HADOOP_HOME/share/hadoop/mapreduce”中可以发现示例程序包hadoop-mapreduce-example-2.6.5.jar。这个程序包封装了一些常用的测试模板，内容如表所示。模板名称内容multifilewc统计多个文件中单词的数量pi应用 quasI- Monte ...
2019-06-10 19:50:25
484
原创 MapReduce简介
在过去的很长一段时间里，CPU的性能都会遵循“摩尔定律”，大约每隔18个月性能提升一倍。这意味着不需要对程序做任何改变，仅仅通过使用更高级的CPU，程序就可以享受免费的性能提升。但是，大规模集成电路的制作工艺已经达到一个极限，从2005年开始摩尔定律逐渐失效，就不能再把希望过多地寄托在性能更高的CPU身上。于是，人们开始钟情于分布式并行编程来提高程序的性能。分布式程序运行在大规模计算机集群上，集群...
2019-06-10 19:35:57
700
原创 在eclipse上安装Hadoop插件
第一步在D盘下创建Hadoop目录，将Hadoop-2.6.5复制到Hadoop目录下。(1)复制hadoop-eclipse-plugin-2.5.2.jar 到 eclipse安装目录/plugins/ 下,把hadoop.dll放到c:/windows/system32下，把winutils.exe放到Hadoop的安装目录如D:\Hadoop\hadoop-2.6.5\bin\下替换原...
2019-06-06 17:12:52
1289
1
原创 Hadoop之HDFS
HDFS简介Hadoop的核心组件：HDFS目前得到广泛应用的分布式文件系统主要包括GFS和HDFS等，Hadoop就是使用的HDFS，它是Google GFS的开源实现HDFS的优点有存储超大文件，文件大小通常都是上百MB、TB、PB级别。标准流式访问，基于“一次写入，多次读取”的构建思路，即只支持文件的追加写，不支持随机访问，这是最高效的访问模式。流式方式就是按照顺序来，一条线，找...
2019-06-06 16:31:18
420
原创 安装Hadoop（二）
安装Hadoop的预备内容安装Hadoop之前，我们首先要安装以下两个软件VMware WorkstationCentOS6.5虚拟机安装完成后，我们要在虚拟机中安装以下两个必要程序1.JDK1.7或更高版本2.SSH(安全外壳协议)，主要用于主机间的免密码登录。Hadoop需要通过SSH来启动Slave列表(Hadoop组件集群中分为Master和Slave两个角色，Master...
2019-06-05 20:53:57
303
原创 Hadoop大数据教程（一）
Hadoop简介归功于大数据处理系统的发展，以 Hadoop为代表的解决方案和工具逐渐成熟，进行大数据应用开发的门槛正在逐渐降低。本书就是学习如何使用Hadoop完成大数据解决方案。学习Hadoop，仅仅需要了解一些 Linux的操作，以及Java编程基础知识就足够进行大数据课程的学习。对于Linux要了解常用的 shell命令和操作，如安装软件、解压包、配置环境变量等对于Java基础要了解面向...
2019-06-05 20:10:55
532
原创 Linux Centos6.5安装jdk1.8
Centos 6.5 安装JDk1.8很简单第一步将jdk1.8的.gz安装包上传到linux里面在/usr目录下创建java文件夹然后将jdk移动到java目录下不会以上操作的请看我之前的博客初始Linux（第三天：目录管理）初始Linux（第三天：文件管理）第二步解压tar zxvf [jdk1.8名称]解压完成后cd进入jdk目录查看是否解压完成cd [jdk名称...
2019-06-05 11:11:01
586
原创 Linux之文本格式化输出
文本格式化输出一、输出格式化命令printf格式替换符选项功能描述%s字符串%f浮点格式%cASCII字符，即显示对应参数的第一个字符%d,%i十进制整数%o八进制值%u不带正负号的十进制值%x十六进制值（a-f）%X十六进制值（A-F）%%表示%本身常用转义字符选项功能描述\b...
2019-06-04 17:36:20
1494
原创 Linux之文本处理
Linux之文本处理一、文本编辑器在Linux系统中，即使在控制台命令行状态下，也需要进行大量的文本处理工作。Linux系统中几乎所有的配置文件都是以纯文本形式存在的，我们也要对这些文件进行编辑工作。Linux上常见的文本编辑器有vi、vim、ed、gedit、emacs等。本章介绍的文本编辑器就是平常使用最多的vim文本处理器。vim简介在命令行输入vim[root@bogon Des...
2019-06-04 16:58:24
253
原创 初始Linux（第三天：文件管理）
文件管理一、创建文件touch命令例子创建空文件readme[root@bogin tmp]touch readme二、删除文件rm命令选项说明-f强制删除文件或目录。-i删除已有文件或目录之前先询问用户。-r递归处理，将指定目录下的所有文件与子目录一并处理。-v递归处理，将指定目录下的所有文件与子目录一并处理。三、查看文件c...
2019-06-03 20:04:56
264
原创 初始linux（第三天：目录管理）
目录管理一、文件和目录的查看ls命令选项说明-a显示所有文件及目录-l除文件名称外，亦将文件型态、权限、拥有者、文件大小等资讯详细列出-r将文件以相反次序显示(原定依英文字母次序)-t将文件依建立时间之先后次序列出-A同 -a ，但不列出 “.” (目前目录) 及 “…” (父目录)-F在列出的文件名称后加一符号；例如可执行文件则...
2019-06-03 19:49:05
199
原创 初识Linux（第三天：硬盘分区）
硬盘的分区Linux为各种IDE设备分配了一个由hd前缀组成的文件。各种SCSI设备，则被分配了一个由sd前缀组成的文件，编号方法为拉丁字母表顺序。如第一个IDE设备（如IDE硬盘或IDE光驱），Linux定义为hda；第二个IDE设备就定义为hdb；下面以此类推。而SCSI设备就应该是sda、sdb、sdc等。USB磁盘通常会被识别为SCSI设备，因此其设备名可能是sda。简单来说就是...
2019-06-03 19:18:11
579
原创 初识Linux（第二天）
一、Linux多用户、多任务使用Linux时，需要以一个用户的身份进入，一个进程也需要以一个用户的身份运行，系统使用用户的概念来限制使用者或进程可以使用哪些资源。Linux 是一个多用户、多任务的操作系统。二、用户和用户组用户使用Linux时，需要以一个用户的身份进入，一个进程也需要以一个用户的身份运行，系统使用用户的概念来限制使用者或进程可以使用哪些资源。用户组用来方便组织管理用户。实现用...
2019-05-31 16:52:06
153
原创 初识Linux（第一天）
一、初识linuxLinux种类redhat、centOS、ubuntu、Debian、红旗等。Linux优势一切都是文件完全免费、完全兼容多用户、多任务良好的界面、支持多平台Linux的架构硬件、内核、shell、应用程序、内存管理器、进程管理器、设备驱动器、虚拟文件系统、网络管理Linux的系统文件目录/home,/etc,/bin,/boot,/dev,/lib,/...
2019-05-30 18:58:30
250
Hadoop配置文件.txt
2019-06-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人