2016年06月_幸运六叶草

原创上传到HDFS上的文件遇到乱码问题

今天写了一个小MapReduce的程序，跑在集群上一切正常，但是当我查看运行结果时却发现了bug，结果中的中文文字竟然是乱码；我就开始了我的找错之路。。。。首先看看HDFS上我要用的文件本身内容有没有问题--------->运气好，一下就查出来了，原来文件本身在上传过程中就乱码了。。。。 1）我开始重新上传，但是每一次上传的文件都是中文乱码；我原来用上传的文件是在虚拟机上

2016-06-30 15:45:01 12019 1

转载 eclipse中UTF-8设置

eclipse中UTF-8设置1.windows->Preferences 打开"首选项"对话框；2.然后，general->Workspace，右侧Text file encoding，选择Other，改变为UTF-8。3.Web->打开，把CSS、HTML、JSP、JavaScript、 XML等设置为UTF-8。或在这里更改，general->Content Types，

2016-06-30 13:51:25 5020

转载使用dict和set

dictPython内置了字典：dict的支持，dict全称dictionary，在其他语言中也称为map，使用键-值（key-value）存储，具有极快的查找速度。举个例子，假设要根据同学的名字查找对应的成绩，如果用list实现，需要两个list：names = ['Michael', 'Bob', 'Tracy']scores = [95, 75, 85]给

2016-06-30 10:17:51 488

原创 Permission denied: user=Administrator, access=WRITE, inode="/aa/mytest10.txt":anne:supergroup:drwxr

org.apache.hadoop.security.AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="/aa/mytest10.txt":anne:supergroup:drwxr-xr-xat org.apache.hadoop.hdfs.server.namenode.F

2016-06-29 22:54:02 1292

原创 Linux 开机，关机，重启命令整理

发现用命令sudo halt 关机，会关机到ubuntu logo 一直下面4个点一直闪，到最后就停在那不闪了，机器一直运行着？这是怎么回事？？用 shutdown －h 就可以正常关机，觉得很奇怪！！重启命令：1、sudo reboot2、sudo shutdown -r now 立刻重启3、sudo shutdown -r 10 过10分钟自动重启4

2016-06-27 22:23:16 24218

转载 java程序员必知的8大排序

8种排序之间的关系:1，直接插入排序（1）基本思想：在要排序的一组数中，假设前面(n-1)[n>=2] 个数已经是排好顺序的，现在要把第n个数插到前面的有序数中，使得这n个数也是排好顺序的。如此反复循环，直到全部排好顺序。（2）实例（3）用java实现 package com.njue; public class inser

2016-06-26 18:41:46 396

转载 Linux中cp和scp命令的使用方法

Linux中cp和scp命令的使用方法Linux为我们提供了两个用于文件copy的命令，一个是cp，一个是scp，但是他们略有不同，cp 主要是用于在同一台电脑上，在不同的目录之间来回copy文件 scp 主要是在不同的Linux系统之间来回copy文件cp --- 主要是用于在同一台电脑上，在不同的目录之间来回copy文件 scp --- 主要是在不同的Linux系统之间来回

2016-06-26 18:34:34 913

转载常用vi编辑器命令行

对于VI的命令行，不需要特意的去记忆，写下来，让要用到的时候能找到就行游标控制h游标向左移j游标向下移k游标向上移l (or spacebar)游标向右移w向前移动一个单词b向后移动一个单词e向前移动一个单

2016-06-25 20:41:38 467

原创 Ubuntu两台虚拟机之间Ping不同

最近在调整学习计划，为了迎合自己走上高大上IT之路，我开始了各种虚拟机的调试配置的工作；问题一大堆；今天就总结一下我在ping两台虚拟机之间的一些问题吧；虚拟机三种网络连接方式的理解：1）桥接模式，虚拟机和真实机处于同一以太网中，虚拟机可以使用真实机所在网络一切资源；即在vm ware虚拟机属性里面设置网卡为桥接，这样启动虚拟机后，虚拟系统就会通过网卡桥接到局域网。一般地宿主机是自

2016-06-25 13:26:06 5852

原创 Python3字符串各种内置函数详解

●Python3访问字符串 Python不支持单字符类型，单字符在Python中也是作为一个字符串来使用；字符串切片截取；空值空值是Python里一个特殊的值，用None表示。None不能理解为0，因为0是有意义的，而None是一个特殊的空值。最后，理解变量在计算机内存中的表示也非常重要。当我们写：a = 'ABC'时，

2016-06-23 14:01:31 14463

转载 Excel表格技巧（逆了天的39个非常牛逼的技巧）

技巧1、利用批注完成快速合并先插入一批注，然后复制多列数据，再选取批注按ctrl+v粘贴，然后再复制批注文字粘贴到表格中即可。（注意：很多同学粘贴批注无效，是因为要点选批注边缘来选取批注，不要让批注进入文字编辑状态。）技巧2、筛选以1开始和以8开始的数字在搜索框中输入1*，点确定。结果如下图再打开搜索窗口，在搜索框中输入8*，选取“将当前所选

2016-06-22 14:17:42 9363 2

转载程序员必知的七个图形工具

流程图：Graphviz说到流程图还是再次提及一下，我们之前说到的 Graphviz 。Graphviz （英文：Graph Visualization Software的缩写）是一个由AT&T实验室启动的开源工具包，用于绘制DOT语言脚本描述的图形。它也提供了供其它软件使用的库。它的主要特点是代码生成图像，并且足够的简单。在我的那个“Web Developer 成

2016-06-22 14:14:51 7517

原创 Python3 简介

Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。Python是一种解释型、面向对象、动态数据类型的高级程序设计语言。Python由Guido van Rossum于1989年底发明，第一个公开发行版发行于1991年。像Perl语言一样, Python 源代码同样遵循 GPL(GNU General Public License)协议。

2016-06-21 11:23:11 614

原创 Ubuntu下gcc安装及使用

在Ubuntu下安装GCC和其他一些Linux系统有点不一样。一、安装方法一：sudo apt-get build-dep gcc方法二：sudo apt-get install build-essential安装完了可以执行如下的命令来查看版本，gcc --version输出如下：gcc(GCC)4.2.3(Ubuntu4.2.3-2ubuntu7)Copy

2016-06-21 10:58:37 112863 11

原创 Python进阶篇一

Python是解释性的脚本语言脚本解释性语言的内部机制在运行脚本之前，得到结果之后● Python先将脚本编译成字节码（pyc,pyo）● python虚拟机解释并运行字节码文件编译型语言的内部机制● 先将源代码编译成机器码（机器码能读懂的代码），生成可执行文件● 运行可执行文件 Python虚拟机的简介Python的解释器，又叫做Python虚拟

2016-06-20 09:14:55 675

转载为什么print在Python 3中变成了函数？

在Python 2中，print是一个语句（statement）；而在Python 3中变成了函数（function）。很多Python用户都会问，为什么Python 3将print变成了函数呢？本文就是Python核心开发者Brett Cannon对此的解释。今年初Python决定迁移到Github，就是由Brett Cannon征求Python社区的意见后作出的。他对此也作出了解释。

2016-06-19 14:31:41 980

转载 Java虚拟机(JVM)以及跨平台原理

相信大家已经了解到Java具有跨平台的特性，可以“一次编译，到处运行”，在Windows下编写的程序，无需任何修改就可以在Linux下运行，这是C和C++很难做到的。那么，跨平台是怎样实现的呢？这就要谈及Java虚拟机（JavaVirtual Machine，简称 JVM）。 JVM也是一个软件，不同的平台有不同的版本。我们编写的Java源码，编译后会生成一种.c

2016-06-19 12:24:27 711

原创协议和标准

一、协议和标准1.协议（Protocol）1）定义：一组协议控制数据通信的规则2）三要素：语法syntax‚语义semantics：主要描述在通信过程中每一个信息的具体含义计算机通讯主要采用二进制的比特流进行传输，具体传输过程中每一个比特所代表的含义是什么，这就是语义所规定的内容。 ƒ时序Timing：表示数据到底什么时候可以发送，什么时候表示数据可以正确接收，接

2016-06-18 20:51:08 2730

原创 Linux的启动过程或启动顺序

Linux的启动过程或启动顺序Boot sequence （important）1：load bios（hardware information） -----------------》加电自检（bios固化在主板上的程序）2:read MBR’s config to find out the OS -----------------》在硬盘的启动程序上，找到要启动的操作系统（

2016-06-15 19:04:17 844

转载 Linux 管道命令

410月/110Linux 管道命令管道命令在Linux中十分有用，管道命令操作符是“|”，它能将经由前一个命令输出的标准输出，作为管道后一个命令的标准输入。1、grep命令grep是一个文本搜索工具，用于在文本或标准输入中查找指定的匹配，并输出到标准输出上。一般格式：grep [选项] 模式 [文件...]常用选项：-E, --extend

2016-06-13 19:34:36 644

原创 linux 的文件操作命令整理

文件目录操作命令---文件操作命令 touch生成一个空文件或更改文件的时间 cp复制文件或目录mv移动文件或目录，文件或目录改名rm删除文件或目录ln建立链接文件软连接和硬链接权限的解析file privilege

2016-06-13 14:53:48 813

转载 linux stat命令详解

有些时候，我们需要在Linux中使用stat命令来查看文件的详细信息。另外联想下，ls -l命令显示的是什么时间，touch命令修改文件的时间戳，修改的又是什么时间？在这里我们一起来试验下。stat -- 获取比 ls 更多的信息 http://www.linuxidc.com/Linux/2014-10/108333.htm首先，我们来看下stat情况如图所示，会出现3个类

2016-06-13 14:42:12 6495 1

转载 JAVA多线程实现方式

1.JAVA多线程实现方式JAVA多线程实现方式主要有三种：继承Thread类、实现Runnable接口、使用ExecutorService、Callable、Future实现有返回结果的多线程。其中前两种方式线程执行完后都没有返回值，只有最后一种是带返回值的。2.继承Thread类实现多线程继承Thread类的方法尽管被我列为一种多线程实现方式，但Thread本质上也是实现了Runn

2016-06-13 14:24:35 370

原创 Linux管理员不得不知道的知识点

1：什么叫做虚拟机软件 Linux分区的命名---/dev/xxyN 磁盘分区和mount point (挂载点) 磁盘的物理结构 MBR（Master Boot Record）本地光盘安装------在安装前进行磁盘分区磁盘分区方案：Most common directories of Linux Linux 的目录结构

2016-06-12 18:01:31 471

转载淘宝搜索算法现状

淘宝搜索算法现状　　淘宝搜索排序的目的是帮助用户快速的找到需要的商品。从技术上来说，就是在用户输入关键词匹配到的商品中，把最符合用户需求的商品排到第一位，其它的依次排在后续相应的位置。为了更好的实现这个目标，算法排序系统基本按三个方面来推进：　　一、算法模型　　当用户输入关键词进行搜索的时候，系统依据算法模型来给匹配到的每个商品进行实时的计算，并按照分数的大小对商品

2016-06-12 09:48:47 4969 1

转载为什么很多看起来不是很复杂的网站，比如 Facebook 需要大量顶尖高手来开发？

就拿淘宝来说说，当作给新人一些科普。先说你看到的页面上，最重要的几个：【搜索商品】这个功能，如果你有几千条商品，完全可以用select * from tableXX where title like %XX%这样的操作来搞定。但是——当你有10000000000（一百亿）条商品的时候，任何一个数据库都无法存放了，请问你怎么搜索？这里需要用到分布式的数据存储方案，另外这个搜索也不可能直接从数据库里来取数据，必然要用到搜索引擎（简单来说搜索引擎更快）。好，能搜出商品了，是否大功告成可以啵一个了呢？早着呢，谁

2016-06-12 09:42:13 590

AnneQiQi的博客