2016年09月_FutureFlyme

原创 Hadoop实例-----统计单词个数

下面来讲一个hadoop的实例，统计文件words.txt中单词的个数。一、环境需求： 1、虚拟机itcast01 2、在虚拟机itcast安装eclipse(注意是linux版本的，安装过程参考前面的博客) 二、过程 1、在itcast01虚拟机上创建文件words.txt文件，并写入一定数据，保存。 2、start-all.sh开启Hadoop服务，hadoop fs -put w

2016-09-30 16:55:49 4327 2

原创 Hadoop的RPC机制

远程过程调用协议（RPC）,是一种通过网络从远程计算机程序上请求服务，而不需要了解网络技术的协议。它采用C/S模式，在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序变得简单。它的进程运行在不同的机器上。RPC在Hadoop上主要是用jdk的动态代理实现不同进程之间的方法调用。下面在Centos7上写一个RPC通信的例子： 1、导入Hadoop

2016-09-28 10:00:38 658

原创设计模式之——Java代理

代理模式所谓代理，就是一个人或者机构代表另一个人或者机构采取行动。在一些情况下，一个客户不想或者不能够直接引用一个对象，而代理对象可以在客户端和目标对象之间起到中介的作用。代理模式是常用的java设计模式，他的特征是代理类与委托类有同样的接口或者抽象类，代理类主要负责为委托类预处理消息、过滤消息、把消息转发给委托类，以及事后处理消息等。一个代理类的对象与一个委托类的对象关联，代理类的对象本

2016-09-27 16:35:41 514

当我们搭载好Hadoop环境后，每次输入start-dfs.sh启动HDFS和start-yarn.sh启动YARN时，都需要输入好多次密码，非常麻烦。我们可以采用SSH实现免密码登录。 SSH（Secure Shell的缩写）：是建立在应用层和传输层基础上的安全协议，是比较可靠的，为远程登录会话提供安全协议。它是对称加密算法和非对称加密算法的结合。本次实验是在CentOS7的环境下完成的。...

2016-09-24 19:06:35 630

原创 Hadoop环境搭建（四、安装配置Hadoop）

下面来介绍Hadoop的配置与安装 1、更改CentOS7的主机名，将主机名改为itcats01，更改方法参考CentOS7更改主机名 2、为了不必要的错误建议关闭CentOS7的防火墙。关闭方法参考关闭CentOS7防火墙 3、去官网下载Hadoop，我用的是hadoop-2.7.3.tar.gz注意不要下载源码文件，因为这样还需要编译。下载.tar.gz文件就可以了，网上有的人说Hado...

2016-09-22 17:15:45 868

原创 Hadoop环境搭建（三、安装JDK）

本片主要完成JDK的安装与配置。 1、首先我介绍一款工具SecureCRT，它可以把Window7系统中的文件传送到CentOS7系统里面，并且还可以对CentOS7进行远程操作。安装该软件。然后用注册码注册一下，远程登录到CentOS7系统中。点击File->quick connect输入CentOS7的IP地址，端口号为22,用户名为系统用户root 输入密码 2、到官网上...

2016-09-22 15:59:36 915

原创 Hadoop环境搭建（二、网络配置）

下面介绍一下网络配置，我们发现创建完虚拟机之后是不能上网的，因为需要配置一下网络。 1、打开VMware,点击编辑——>虚拟网络编辑器，选择VWnet1（关于这三种类型，我会在另外的博客中说明，这里就不多介绍了）。设置IP子网段（注意是网段）和子网掩码。 2、打开Window系统中的网络中心，更改适配器设置，右击VWnet1选择属性。配置IPV4的地址信息，如图注意IP地址第...

2016-09-22 15:21:45 1442 1

原创 Hadoop环境搭建（一、创建虚拟机）

最近看了一些hadoop的书籍，所以想搭建一个hadoop环境，在接下来的几篇博客中，我会详细介绍hadoop的环境搭建。由于不具备硬件环境，所以本次hadoop环境搭建是在虚拟机上实现的伪分布式hadoop。 1、首先下载一个虚拟机，用来模拟硬件环境，我使用的是VMware Workstation Pro12，这个在网上下载，安装也很简单。它不分32位和64位，它的位数是由你的真实系统决定的。...

2016-09-22 12:54:59 2249 1

原创 SecureCRT，SecureFX连接CentOS7出现乱码

最近用SecureCRT7.3和SecureFX7.3连接CentOS7时，显示中文时出现乱码。收集了各种资料，整理如下： 1、首先打开SecureCRT7.3和SecureFX7.3的安装目录，找到Sessions文件夹，我的虚拟机地址为192.168.110.111。所以打开192.168.110.111.ini文件。如果下图处显示00000000则把它改为00000001保存退出。...

2016-09-22 10:31:18 3460

原创 CentOS7修改主机名

最近装了CentOS7发现执行以前版本的许多命令出来的效果都不一样，比如修改主机名，在之前的版本可以执行命令 vim /etc/sysconfig/network结果如图，修改HOSTNAME即可但是在CentOS7中执行vim /etc/sysconfig/network却不行，结果如下图，明显不一样。其实CentOS7中提供了另一个命令可以修改主机名。例如，我们把主机...

2016-09-21 19:55:35 1432

原创 CentOS7防火墙

最近用VMware虚拟机安装了CentOS7,在设置防火墙的时候出现了问题，收集了各种资料，才弄明白。今天写下来仅供参考。防火墙技术是一项访问控制技术，对主机之间的通信安全至关重要，CentOS7采用的是firewall防火墙技术，没有采用iptables,所以假如想使用iptables需要进行一些设置：关闭firewall： 1、停止firewall。systemctl stop fi...

2016-09-20 10:52:30 597

原创 CentOS7不能上网

今天，在win7系统下，安装了VMware10,并且在此虚拟环境下安装了64位CentOS7，开始还能上网，后来由于误删了东西，就不能上网了，弄了好长时间，终于弄好了。 1、打开CentOS7的终端，输入su root切换到管理员模式下。 2、输入：ls /etc/sysconfig/network-scripts/。 3、注意下图第一项ifcfg-eno16777736（你的可能不...

2016-09-19 19:34:55 1612

原创冒泡排序（优化）

冒泡排序的效率不高，适合小量数据的排序，当数据较多的时候，建议使用其他排序算法，在另一篇博客中我已经介绍了冒泡排序冒泡排序，这篇博客将对冒泡排序进一步优化。例如，有这样一个数组，int arr[]={13,10,7,9,3,23,43,52,61,71};可以看到这个数组有一个明显的特点：前五个数字无序，后五个数字有序，且都比前五个数字大，这样我们就可以最多进行5次排序就可以把整个数组的顺序确定

2016-09-14 09:24:00 384

原创冒泡排序

冒泡排序的核心思想是：从第一个元素开始，往后比较，遇到比自己小的元素就交换位置，交换的次数最多，自然也是性能最差的。排序过程：假设数组长度为n。 1．比较数组中前后相邻的两个数据，如果前面数据大于后面的数据，就将两个数据交换。 2．这样对数组的第0个数据到第n-1个数据进行一次遍历后，最大的一个数据就“沉”到数组第n-1个位置。 3．此时n=n-1，重复前面两步，直到排序完成。 Ja

2016-09-13 19:24:07 355

原创直接选择排序

选择排序的思想：选出最小的一个和第一个位置交换，选出其次小的和第二个位置交换 ……直到从第N个和第N-1个元素中选出最小的放在第N-1个位置，简单的说就是每次排序都是从未排序的数组中选择最小的，放到已经排序的数组的最后； Java代码实现：package selection;public class selection { public static int[] selection1(i

2016-09-13 16:48:50 387

原创直接插入排序

直接插入排序是一种最简单的排序方法，它的基本操作是将一个记录插入到已排好的有序的表中，从而得到一个新的、记录数增1的有序表。当前元素的前面元素均为有序，要插入时，从当前元素的左边开始往前找（从后往前找），比当前元素大的元素均往右移一个位置，最后把当前元素放在它应该呆的位置就行了 java代码实现：package Insertion;public class Insertion {

2016-09-12 21:41:57 355

翻译 Python生成器

生成器通过生成器函数产生，生成器函数可以通过常规的def语句来定义，但是不用return返回，而是用yield一次返回一个结果。生成器的使用：def Zrange(n): i=0 while i<n: yield i i+=1if __name__=="__main__": zrange=Zrange(3) pri...

2016-09-12 20:41:03 339

原创 Python中的迭代器

**迭代器** 迭代器是访问集合元素的一种方式。迭代器对象从集合中第一个元素开始访问，直到所有的元素被访问完结束。迭代器只能往前不会后退。迭代器的两个方法： iter()方法：返回迭代器对象本身 next()方法：返回容器的下一个元素，在结尾时引发StopIteration异常。对于可迭代对象，可以使用内建函数iter()来获取它的迭代器对象：list=[1,2]iter=

2016-09-12 17:22:25 450

原创 Python中 getattr setattr

getattr(self,name)当特性name被访问，且对象中没有相应name特性时，调用getattr函数调用类中没定义的方法,如下class Test(object): def __init__(self,name): self.name=name def __getattr__(self,value): return lenif __n

2016-09-12 15:08:55 551

原创 Eric6安装问题

最近开始学习python，一开始用的开发环境是IDLE，这个开发环境适合新手，安装比较简单，对初学者来说也够使用。但是最近又发现了一个开发环境Eric6,使用起来更加方便，但是安装比较麻烦。下面说说安装步骤：安装环境： win7 64位 python2.7 网址：https://www.python.org/ PyQt4 网址：https://riverbankcomputing.co

2016-09-08 11:24:31 10184 2

原创 Python实现发送邮件

Python实现发送邮件发送正文，附件文档和附件图片# -*- coding: UTF-8 -*-#引入相关的模块import smtplibfrom email.mime.text import MIMETextfrom email.mime.image import MIMEImagefrom email.header import Headerfrom email.mime.m

2016-09-07 14:29:27 852

FutureFlyme的博客