2016年05月_青峰祭坛

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 hadoop 问题| no datano to stop | kill -9 pid

master log中报： ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: RECEIVED SIGNAL 15: SIGTERM2015-12-09 11:50:50,870 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG

2016-05-31 22:22:20 1903

原创 ubuntu永久修改主机名

ubuntu永久修改主机名 1、查看主机名在Ubuntu系统中，快速查看主机名有多种方法：其一，打开一个GNOME终端窗口，在命令提示符中可以看到主机名，主机名通常位于“@”符号后；其二，在终端窗口中输入命令：hostname或uname –n，均可以查看到当前主机的主机名。2、临时修改主机名命令行下运行命令：“hostname 新主机名”其中“新主机名

2016-05-31 19:41:55 346

转载 python中if name == 'main': 的解析

python中if __name__ == '__main__': 的解析当你打开一个.py文件时,经常会在代码的最下面看到if __name__ == '__main__':,现在就来介绍一下它的作用. 模块是对象，并且所有的模块都有一个内置属性 __name__。一个模块的 __name__ 的值取决于您如何应用模块。如果 import 一个模块，那么模块__nam

2016-05-29 20:17:55 378

转载在notepad++中直接运行python代码

在notepad++中直接运行python代码在notepad++中直接运行python代码1.在notepad++的plugin manager中安装“pynpp”2.在plugin manager中找到“pynpp”后，选择“install”，插件会自动安装，并提示是否需要重新启动notepad++第二种方法：在notepad++中，按F5，在窗口中

2016-05-29 19:57:38 36543

转载 python str与repr的区别

repr() 输出对 Python比较友好，而str()的输出对用户比较友好。虽然如此，很多情况下这三者的输出仍然都是完全一样的尽管str(),repr()和``运算在特性和功能方面都非常相似，事实上repr()和``做的是完全一样的事情，它们返回的是一个对象的“官方”字符串表示，也就是说绝大多数情况下可以通过求值运算（使用内建函数eval()）重新得到该对象，但str()则有所不同。st

2016-05-29 17:08:16 413

转载 Eclipse的PyDev插件安装及解决安装后找不到的问题

Eclipse的PyDev插件安装及解决安装后找不到的问题启动eclipse之后，可能会找不到PyDev的设置项，这是因为PyDev不但要求eclipse版本为3.7以上，还要求JDK在1.7版本以上，一开始我就是遇到这个问题，因为我的项目中用的是JDK1.6，在我重新设置环境变量将它指向JDK1.7的目录后，才一切正常成功显示。这点需要注意！

2016-05-28 22:02:57 1143

转载 Eclipse和PyDev搭建完美Python开发环境

Eclipse和PyDev搭建完美Python开发环境（Windows篇）目录安装Pythonpython for eclipse插件安装配置PyDev插件测试安装Python从网站上下载最新的版本，从http://python.org/download/下载。安装过程与其他Windows软件类似。目前稳定版本为Python 2.7.6和Python 3.3.4。

2016-05-28 20:14:02 2002

转载 Myeclipse下java.lang.OutOfMemoryError: Java heap space的解决

Myeclipse下java.lang.OutOfMemoryError: Java heap space的解决今天又打开Eclipse那似曾相识的IDE，想了想才发现自己从2007年3月份后几乎再没有使用它。工具就得常用，不用渐渐的就淡忘了。于是import进去个工程，run...，居然是java.lang.OutOfMemoryErro

2016-05-28 19:41:09 922

原创 OutputFormat类——Hadoop

1、OutputFormat是一个用于描述MapReduce作业的输出格式和规范的抽象类，位于org.apache.hadoop.mapreduce.OutputFormat. Mapreduce框架依靠文件输出格式完成输出规范检查（如检查目录是否存在），并为文件输出格式提供作业结果数据输出的功能，即提供RecordWriter的实现，输出文件被存储在文件系统FileSystem中。2、如

2016-05-25 15:18:05 2900

原创 Reducer类——hadoop

1、Reducer类，由Map过程输出的一组键值对【（k2；v2）】将被进行合并处理，将同样主键下的不同value合并到一个列表【v2】中，因此Reduce的输入为（k2；【v2】）。Reducer对传入的中间结果列表数据进行某种整理或进一步的处理，并产生最终的某种形式的结果输出【（k3；v3）】一个示例 Reducer类的基本定义public static class IntSumR

2016-05-25 14:42:01 3735

原创 Sort类——Hadoop

1、Sort是Map过程所产生的中间数据在送给Reduce进行处理之前要经过一个过程。首先，当map（）函数处理完数据之后，会将中间数据存在本地的一个或几个文件中，并且针对这些文件内部的记录进行一次升序的快速排序。2、然后在Map任务将所有的中间数据写入本地文件并进行快速排序之后，系统会对这些排好序的文件做一个归并排序，并将排好序的结果输出到一个大的文件中。3、在Sort过程中，由Map过

2016-05-25 11:31:37 920

原创 Combiner类和Partitioner类——hadoop

一、Combiner类1、Hadoop框架使用Mapper将数据处理成一个个键值对，再对其进行合并和处理，最后使用Reduce处理数据并输出结果2、上述过程会遇到一些瓶颈，比如：在做词频统计的时候，大量具有相同主键的键值对数据如果直接传送个Reduce节点会引起较大的网络带宽开销。可以对每个Map节点处理完成的中间键值对做一个合压缩，即把那些主键相同的键值对归并为该一个键名下的一组数

2016-05-25 11:18:46 2045

原创 Mapper类——hadoop

1、Map是一些单个任务。Mapper类就是实现Map任务的类。haddop提供了一个抽象的Mapper基类，程序员需要继承这个基类，并实现其中相关的接口函数一个示例Mapper类的定义如下： public static class MyMapper extend Mapper①Mapper类是Hadoop提供的一个抽象类，程序员可以继承这个基类并实现其中的相关接口函数。它位于 o

2016-05-25 10:35:04 11942

转载 AutoCloseable,Closeable和Flushable

探究java IO之AutoCloseable,Closeable和Flushable接口有3个接口对于流类相当重要。其中两个接口是Closeable和Flushable，它们是在java.io包中定义的，并且是由JDK5添加的。第3个接口是AutoColseable，它是由JDK7添加的新接口，被打包到java.lang包中。AutoCloseable接口对JDK7新添加的带资源

2016-05-25 00:08:11 1722

转载 ubuntu14.04 tomcat7安装，环境变量配置

ubuntu tomcat6安装，环境变量配置时间:2013-06-18 14:34来源:www.chengxuyuans.com1.安装Java和tomcatsudo apt-get install sun-java6-jdksudo apt-get install tomcat62.设置java环境变量　$sudo gedit /etc/profile （如果用

2016-05-24 20:46:13 1275

原创执行sh ./xxx.sh出现：“Syntax error: “(” unexpected”的解决方法

昨天更新了Virtualmin的系统识别部分，目的是让它能支持Debian系统下的一键安装和优化，代码修改了差不多，将VPS重新安装为Debian，通过sh ./virtualmin.sh执行代码就报“Syntax error: “(” unexpected”错误，通过bash ./virtualmin.sh执行就没问题。几经查找语法，没有问题，后来在网上找到问题原因：代码对于

2016-05-24 20:16:54 47103 23

转载 Jstorm 集群搭建过程及一键安装部署脚本

Jstorm 集群搭建过程及一键安装部署脚本时间 2015-05-14 10:51:14 自由原文 http://ixirong.com/2015/05/12/how-to-install-jstorm-cluster/ 主题 JStorm ZooKeeper最近公司业务数据量越来越大，以前的基于消息队列的日志系统越来越难以满足目前的业务量，表

2016-05-24 19:03:09 1983

转载 ZooKeeper安装与配置

安装：转自：http://www.cnblogs.com/linjiqin/archive/2013/03/16/2962597.html一. 单机安装、配置：1. 下载zookeeper二进制安装包2、2.解压zookeeper安装包把zookeeper-3.4.3.tar.gz文件存放在/home/hadoop目录下，进行解压：Zoo

2016-05-24 15:56:59 554

转载 git 推荐！手把手教你使用Git

转自：http://blog.jobbole.com/78960/一：Git是什么？ Git是目前世界上最先进的分布式版本控制系统。二：SVN与Git的最主要的区别？ SVN是集中式版本控制系统，版本库是集中放在中央服务器的，而干活的时候，用的都是自己的电脑，所以首先要从中央服务器哪里得到最新的版本，然后干活，干完后，需要把自己做完的活推送到中央服

2016-05-24 15:18:15 1186 1

转载 git如何解决failed to push some refs to git

Administrator@PC-20150110FGWU /K/cocos2d/yc (master)$ git push -u origin masterTo git@github.com:yangchao0718/cocos2d.git ! [rejected] master -> master (non-fast-forward)error: failed t

2016-05-24 15:16:08 17659 2

转载 Hadoop中mapred包和mapreduce包的区别与联系

public class MyJob extends Configured implements Tool{ public static class MapClass extends MapReduceBase implements Mapper {// public void map(Text key, Text value, OutputColle

2016-05-24 10:28:14 8906 4

原创 Hadoop MapReduce执行框架作业调度方法组件和执行流程

1、Hadoop MapReduce作业调度早期的Hadoop使用的FIFO调度器来调度用户提交的作业。现在主要使用的调度器包括Yahoo公司提出的计算能力调度器（Capacity Scheduler）以及Facebook公司提出的公平调度器（Fair Scheduler）2、MapReduce执行框架的组件和执行流程每个TaskTracker节点将从HDFS分布式文件中读取所

2016-05-23 23:54:00 1515

原创 Hadoop MapReduce 程序执行过程

1、下图展示了Hadoop MapReduce 并行计算框架上执行一个用户提交的MapReduce程序的过程。①首先，程序客户端通过作业客户端接口程序JobClient提交一个用户程序。②然后JobClient先JobTracker提交作业执行请求并获得一个JobID③JobClient同时也会将用户程序作业和待处理的数据文件信息准备好并存储在HDFS中。④JobClient正

2016-05-23 16:42:32 796

原创 Hadoop MapReduce并行编程框架

Hadoop MapReduce 是Google MapReduce的一个开源实现。1、MapReduce并行编程抽象模型① 面向大规模数据处理，MapReduce 采用了对数据“分而治之”的方法来完成并行化的大数据处理。MapReduce在总结了典型的顺序式大数据处理过程和特征的基础上，提供了一个抽象模型，并借助与函数式设计语言Lisp的设计思想，用Map和Reduce函数提供了两个

2016-05-23 14:49:11 3291

原创 hadoop运行报错Wrong FS: hdfs:/, expected: file:///

Wrong FS: hdfs expected: file:场景：错误java.lang.IllegalArgumentException: Wrong FS: hdfs:/, expected:file:///异常java.lang.IllegalArgumentException: Wrong FS: hdfs:/, expected: file:///

2016-05-23 11:56:46 13598 2

原创 Hadoop使用jar运行实例

一、.在eclipse中使用编写程序，然后打成jar包，程序代码：package tju.chc;import java.io.File;import java.io.IOException;import java.util.Scanner;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop

2016-05-23 11:14:58 29759

原创 HDFS基本编程接口

1、hadoop中基本上所有的Api

2016-05-20 23:00:36 1749

原创 HDFS文件系统操作命令

1、HDFS启动关闭HDFS和普通的硬盘上的文件系统不一样，是通过Java虚拟机运行在整个集群当中的，所以当Hadoop程序写好之后，需要启动HDFS文件系统，才能运行：①启动》》进入到NameNode对应节点的Hadoop安装目录下》》执行 bin/start-dfs.sh (2.6.4中 sbin/

2016-05-20 16:18:42 5367

原创 HDFS数据的读写过程

1.一般的文件读取操作包括：open 、read、close等客户端读取数据过程，其中1、3、6步由客户端发起：客户端首先获取FileSystem的一个实例，这里就是HDFS对应的实例：①客户端调用FileSystem实例的open方法，获得这个文件对应的输入流，在HDFS中就是DFSInputStream②构造第一步中的输入流DFSInputStream时，通过RPC远程调用Na

2016-05-20 15:42:29 8605

原创 HDFS文件存储组织

1、作为一个分布式文件系统，HDFS内部的数据和文件存储机制、读写过程与普通的本地文件系统有较大的差别。2、文件数据的存储组织①HDFS中最主要的部分就是NameNode和DataNode。NameNode存储了所有文件元数据、文件与数据块的映射关系，以及文件属性等核心数据，DataNode则存储了具体的数据块。3、NameNode目录结构NameNode借助本地文件系统来保存数据，保

2016-05-20 14:36:59 988

原创 Hadoop平台基本组成

1、Hadoop系统运行于一个由普通商用服务器组成的计算集群上，能提供大规模分布式数据存储资源的同时，也提供了大规模的并行化计算资源。2、Hadoop生态系统3、MapReduce并行计算框架 MapReduce并行计算框架是一个并行化程序执行系统。它提供了一个包含Map和Reduce两个阶段的并行处理模型和过程，提供了一个并行化编程模型和接口，让程序员可以方便快速地编写出大

2016-05-18 11:24:52 5377

原创 Servlet学习笔记

1、Servlet JSP的本质就是Servlet，开发者将编写好的JSP页面部署在Web容器中之后，Web容器会将JSP编译成对应的Servlet。Servlet的缺点是：开发效率低，特别是当使用Servlet生成表现层页面时，页面中所有的HTML标签，都需要采用Servlet的输出流来输出，及其繁琐。而且Servlet是标准的java类，必须由程序员开发、修改，美工人员难以参与Servle

2016-05-14 12:27:09 508

转载相对路径和绝对路径HTML目录问题

基础 HTML之目录问题(相对路径和绝对路径区别)相对路径-以引用文件之网页所在位置为参考基础，而建立出的目录路径。因此，当保存于不同目录的网页引用同一个文件时，所使用的路径将不相同，故称之为相对。　　绝对路径-以Web站点根目录为参考基础的目录路径。之所以称为绝对，意指当所有网页引用同一个文件时，所使用的路径都是一样的。　　其实绝对路径与相对路径的不同处，只

2016-05-14 12:08:41 3501

原创 session内置对象JSP学习

1、session对象代表一次用户会话。一次用户会话是指：从客户端浏览器链接服务器开始，到客户端浏览器与服务器断开为止，这个过程就是一次对话。2、session通常用于跟踪用户的会话信息，如判断用户是否登录系统，或者在购物车应用中，用于跟踪用户购买的商品3、session范围内的属性可以在多个页面之间共享。一旦关闭浏览器，即session结束，session范围内的属性将全部丢失4、s

2016-05-14 10:25:26 830

原创 URLDecoder类API_java.net.URLDecoder

java.net 类 URLDecoderjava.lang.Object java.net.URLDecoderpublic class URLDecoderextends ObjectHTML 格式解码的实用工具类。该类包含了将 String 从 application/x-www-form-urlencoded MIME 格式解码的静态方法。该转

2016-05-13 22:22:42 662

原创 URLEncoder类api_java.net.URLEncoder

java.net 类 URLEncoderjava.lang.Object java.net.URLEncoderpublic class URLEncoderextends ObjectHTML 格式编码的实用工具类。该类包含了将 String 转换为 application/x-www-form-urlencoded MIME 格式的静态方法。有关 HTM

2016-05-13 22:20:31 2233

原创 reponse对象JSP学习

1、response代表服务器对客户端的相应。 ①而大部分时候，程序无须使用response来响应客户端请求，因为有个更简单的响应对象----out，它代表页面输出流，直接使用out生成响应更简单。②但是out是JspWriter的实例，JspWriter是Writer的子类，Writer是字符流，无法输出非字符内容。③假如需要在JSP页面中动态生成一副位图或者输出一个PDF文档，使用

2016-05-13 21:39:52 521

原创 request对象JSP学习

1、request对象是JSP中的重要对象，每个request对象封装着一次用户请求，并且所有的请求参数都被封装在request对象中，因此request对象获取请求参数的重要途径。2、另外request代表本次请求范围，所以还可以用于操作request范围的属性。获取请求头/请求参数1、web应用是请求/响应架构的应用，浏览器发出请求时通常会附带一些请求头，还可能包含一些请求参数发给

2016-05-13 15:14:35 1012 1

原创 pageContext对象JSP学习

1、pageContext对象代表上下文，该对象主要用于访问JSP之间的共享数据。使用pageContext可以访问page、request、session、application范围的对象。2、pageContext是PageContext类的实例，它提供两个方法来访问page、request、session、application范围的变量。①getAttribute(String n

2016-05-13 12:19:59 475

原创通过反射查看类信息学习笔记

1、Java程序中有许多对象在运行时都会出现两种类型：编译时类型和运行时类型，如 Person p = new Student(); 编译时类型为Person，运行时类型是Student程序需要在运行时发现对象和类的真实信息，解决方法有两个：① 假设知道编译时和运行时的类型信息，可以先使用 instanceof运算符进行判断，再利用强制类型转换将其转换成运行时类型变量即可。②当编

2016-05-09 20:15:33 340

JDSL 2.0 the Data Structures Library in Java

the Data Structures Library in Java (JDSL). In addition to basic data structures, such as lists and dictionaries, JDSL includes implementations of a variety of complex data structures, such as trees, graphs, and priority queues, with powerful and flexible access to the elements stored, both by means of traditional iterators and by means of new types of accessors called positions and locators. ¤

2016-10-23

f.lux自动调整屏幕色温

f.lux - 全天候保护眼睛健康软件！自动调整屏幕色温减少蓝光防疲劳，长时间玩电脑必备！

2016-10-13

jad_java反编译插件eclipse 亲测可用

　　1、下载eclipse插件：jadclipse_3.1.0.jarhttp://jadclipse.sourceforge.net/ 　　2、下载Jad反编译工具：jad.exehttp://www.kpdus.com/jad.html#download 　　3、将jad反编译工具jad.exe放到jdk安装路径的bin目录下面，jadclipse_3.1.0.jar放到eclipse的安装目录下的plugins目录下。　　4、启动eclipse，打开：Window->Preferences->Java->JadClipse. 　　Path to decompiler，这里设置反编译工具jad的全路径名，就是第三部jad.exe的路径。　　5、安装完成后，eclipse自动将JadClipse Class File Viewer设置成class文件的缺省打开方式。如果没有默认，可以在Eclipse的Windows——> Perference——>General->Editors->File Associations中修改“*.class”默认关联的编辑器为“JadClipse Class File Viewer”。设置完成后，双击*.class文件，eclipse将自动反编译。　　注意：jadclipse_3.1.0.jar的版本与eclipse的platform版本号相关

2016-05-14

TA关注的人

JDSL 2.0 the Data Structures Library in Java

f.lux自动调整屏幕色温

jad_java反编译插件eclipse 亲测可用

ArcGIS 10.1 key for desktop and server

数据挖掘：概念与技术 韩家炜

nine chapter ppt

arff weka数据集

一份不太简短的LATEX2介绍

Let the Ballon rise

chc java笔记1

chc c语言 笔记上

poj1598 测试数据通过但是wrong answer 求高手指点

关于 string iterators imcompatiable问题 能编译 运行出错 求大大指点

数据挖掘：概念与技术韩家炜

chc c语言笔记上

关于 string iterators imcompatiable问题能编译运行出错求大大指点