自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Zephyr's Blog

勤能补拙 天道酬勤

原创 Hadoop生态专辑 —— 总体架构目录

Hadoop 生态介绍 CDH(Cloudera)版本的 Hadoop 介绍 Mahout 简介 Hadoop 版本编译 Hadoop 版本编译前的准备 编译64位 Hadoop 2.2.0 Hadoop-2.3.0-cdh5.0.0 获取源码及编译 Hadoop-2.5.0-cdh5.2....

2015-10-26 10:59:21 888 0

原创 Linux 操作系统配置——总体架构目录

安装 Linux 操作系统 Centos6.5 系统安装 Centos6.5 基本配置 创建新用户 网络配置 JAVA 配置 SSH免密码登陆配置 KVM下虚拟机网卡桥接配置 KVM克隆及在不同物理机下的移植 Centos6.5 安装软件 VNC 配置 Maven 安装 + 开源中国 M...

2015-10-21 21:13:13 1253 0

原创 TCP/IP/HTTP 网络——总体架构目录

Wireshark 分析 IP/TCP 数据包 Wireshark 数据分析 (一) Wireshark 数据分析 (二) Wireshark 数据分析 (三)

2015-10-12 10:44:48 930 0

原创 机器学习/统计学方法/算法 —— 总体架构目录

统计学方法 统计学习方法概论 机器学习 主成分分析法 算法 不平衡数据集下的SVM算法研究

2015-10-12 10:37:53 781 0

原创 读书笔记——总体架构目录

引用块内容 IT 项目管理 《构建之法》—— 邹欣 Hadoop Mahout Spark Scala

2015-10-12 10:20:47 505 0

原创 Scala——总计架构目录

Scala 介绍 Scala 入门介绍 开发运行环境搭建 Scala开发环境搭建和HelloWorld解析 Scala 学习教程

2015-10-11 21:23:10 702 0

原创 生活小常识——总体架构目录

软件类 OpenWrt-LuCI 路由器设置端口映射(RDP & SSH) Cisco RV180W 路由器设置 百度云下载慢/epub格式/pdf正反面打印 浏览器 打开谷歌与谷歌学术的最简单方式 生活类 如何准备一次长途旅游

2015-10-11 20:18:24 447 0

原创 科研/文献/论文——总架构目录

如何做好科研准备 科研有方 ——科研准备和科研步骤 如何查找文献 如何查找综述文献 如何阅读文献 阅读科研文献心得分享(一) 阅读科研文献心得分享(二) 如何开始论文撰写 如何动笔写你的第一篇论文 科研有方——英文论写作 如何写科研文章 如何处理论文返修 论文返修(response le...

2015-10-11 19:26:40 861 0

原创 Latex 书写 IEEE 会议论文

一 必备软件安装 二 Latex 撰写论文 1 下载 IEEE 论文模板 2 WinEdt使用 3 论文撰写 4 正确的输出 三 常见问题 1 latex排版CTeX winEdit输出系统找不到指定的文件的终极解决办法 2 LaTeX如何正确输入引号双引号单引号 3 如何将MathType公...

2016-06-21 22:03:04 10938 1

原创 基于 ODR 和 BSMOTE 的不均衡 SVM 分类算法

概述 支持向量机已经成功的应用在许多大规模样本集分类中,但是在这些样本集中可能存在着大量的噪声和冗余信息,进而导致分类器的分类精度不高。因此近年来,大量的去噪声和删减样本的文章不断涌现出。其中欠抽样算法就是通过删减多数类样本的数目以达到均衡样本集的目的。 然而常用的欠抽样方法都是些随机欠抽样方...

2016-03-06 15:33:57 3838 9

原创 不均衡学习的抽样方法

通常情况下,在不均衡学习应用中使用抽样方法的目的就是为了通过一些机制改善不均衡数据集,以期获得一个均衡的数据分布。 研究表明,对于一些基分类器来说,与不均衡的数据集相比一个均衡的数据集可以提高全局的分类性能。数据层面的处理方法是处理不均衡数据分类问题的重要途径之一,它的实现方法主要分为对多数类样...

2016-03-04 16:58:35 34850 13

原创 不平衡数据集下的SVM算法研究

概论 传统的样本一般是从精心设计的实验装置中筛选出来的,这些样本往往满足一定条件。 而我们获得的网络样本、金融样本以及生物样本中,这些观测样本往往具有涌现性,且与传统意义的样本并不相同,大量的样本中往往有用的样本点却很少。这种某类样本的数量明显少于其他类样本数量的样本集称为不均衡样本集 问题的本质...

2016-02-14 10:47:54 20001 1

原创 Window 7 小常识集合

如何查看隐藏文件并显示文件的类型1. 打开文件夹 2. 在下图所示位置的空白处,按 Alt 键3. 点击出现的 工具** ,选择 文件夹选项,并选择查看,然后….

2016-02-13 22:50:17 464 0

原创 教研室 ftp 文件服务器使用教程

一 网页下载模式 二 Window 客户端 1 连接 FTP 服务端 2 下载文件 3 新建删除目录 4 上传文件 三 Linux 客户端 1 连接登陆与退出 2 下载文件 3 上传文件 4 创建目录与删除目录或文件一. 网页下载模式在浏览器上键入以下网址即可ftp://10.6.3.43然后单击...

2016-01-29 21:00:05 1213 0

原创 FTP 服务器(一)之数据链路原理

FTP (File Transfer Protocol) 可说是最古老的协议之一了,主要是用来进行档案的传输,尤其是大型档案的传输使用 FTP 更是方便!不过,值得注意的是,使用 FTP 来传输时,其实是具有一定程度的『危险性』, 因为数据在因特网上面是完全没有受到保护的『明码』传输方式!但是单纯...

2016-01-29 20:19:50 2261 0

原创 FTP 服务器(二)之vsftpd 服务器基础设定

终于要来聊一聊这个简单的 vsftpd 啰!vsftpd 的全名是『Very Secure FTP Daemon 』的意思, 换句话说,vsftpd 最初发展的理念就是在建构一个以安全为重的 FTP 服务器呢!我们先来聊一聊为什么 vsftpd 号称『非常安全』呢?然后再来谈设定吧! 一 为...

2016-01-29 20:19:23 988 0

原创 FTP 服务器(三)之客户端的图形接口 FTP 联机软件

客户端的联机软件主要有文字接口的 ftp 及 lftp 这两支指令,详细的使用方式请参考第五章常用网络指令的说明。至于 Linux 底下的图形接口软件,可以参考 gftp 这支程序喔!图形接口的啦!很简单啊!那 Windows 底下有没有相对应的 FTP 客户端软件? 一 Filezilla...

2016-01-29 20:18:39 1455 0

原创 FTP 服务器(四)之实战搭建

先前,我总结了一篇关于ubuntu下建立ftp的方法,可发现在建立后连接ftp仍然连接不上.很懊恼! 在命令行下连接ftp提示错误:500 OOPS: vsftpd: refusing to run with writable anonymous root 于是,在网上找了找,才知道,是分享目...

2016-01-29 20:17:30 787 0

原创 FTP 服务器(五)之客户端命令

参考博客: FTP 服务器(一)之数据链路原理:http://blog.csdn.net/u011414200/article/details/50598134 FTP 服务器(二)之vsftpd 服务器基础设定:http://blog.csdn.net/u011414200/article/de...

2016-01-29 20:16:28 878 0

原创 Centos6.5 网络配置

网络配置本教程配置说明以下为本教程安装时的配置,用户根据实际情况进行调整 * 在root用户权限下安装下完成 * IP地址设置为 10.10.108.160 * 本机DNS设置为 8.8.8.8 * 主机名设置为 name1. 配置静态IP地址A. 以管理员身份root登陆Centos6...

2016-01-28 21:18:47 1966 0

翻译 欢迎来到 Apache Hadoop®!

官网地址:http://hadoop.apache.org/一 Hadoop是什么呢 二 开始 三 下载 Hadoop 四 谁使用Hadoop一. Hadoop是什么呢?Apache™ Hadoop®的项目开发开源软件可靠,可扩展,分布式计算。Apache Hadoop 软件库是一个允许跨集群用...

2016-01-26 21:45:03 632 0

原创 Windows 无法连接到无线网络

有时候会遇到 Windows 无法连接到无线网络的问题,导致这种情况的原因有可能是因为无线网络的密码变了,也有可能是系统自身的问题。下面简单介绍下怎么解决这个问题的方法。此时请点击系统右下方任务栏区域中的无线网络图标,然后再点击“打开网络和共享中心”选项,如图所示在网络共享中心窗口中,点击左侧的“...

2016-01-26 14:15:59 1376 0

转载 MapReduce job.setNumReduceTasks(0)思考

一 概述 二 jobsetNumReduceTasks0唯一影响的是map结果的输出方式 1 有 reduce 2 无 reduce 三 总结一. 概述本文转自 http://zy19982004.iteye.com/blog/2068112?utm_source=tuicool&utm_...

2016-01-26 10:21:22 737 0

转载 vim 程序编辑器

原文参考鸟哥私房菜 Vim 程序编辑器 系统管理员癿重要工作就是得要修改不设定某些重要软件癿配置文件,因此至少得要学会一种以上癿文字接口癿文书编辑器。 在所有癿 Linux distributions 上央都会有癿一套文书编辑器就是 vi ,而且很多软件默讣也是使用 vi 做为他们编...

2016-01-26 09:08:31 804 0

原创 Hadoop 常见指令

一 概述 二 HDFS 管理命令 fs 三 作业管理命令 job 四 作业提交命令 jar 五 如何停止正在运行的 Hadoop 程序 六 附录一. 概述bin 目录下的 Hadoop 脚本是最基础的集群管理脚本,用户可以通过该脚本完成各种功能,如 HDFS 文件管理、MapReduce 作业管理...

2016-01-25 23:15:35 2353 0

转载 Hadoop Shell命令

原文地址:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.htmlFS Shell cat chgrp chmod chown copyFromLocal copyToLocal cp du dus expunge get getmerge l...

2016-01-25 22:59:23 619 0

转载 Hadoop 与 Spark 和 HBase 常用配置参数总结

本文转自 http://dongxicheng.org/framework-on-yarn/hadoop-spark-common-parameters/ 一 背景 二 MapReduce重要配置参数 1 资源相关参数 2 容错相关参数 3本地运行 mapreduce 作业 4 效率和稳定性...

2016-01-25 16:10:08 697 0

原创 CDH5 Integration with Eclipse

原文转自:https://brucebcampbell.wordpress.com/2014/09/08/cdh5-integration-with-eclipse/ 笔者按照教程上来了一遍: 1.1 前期准备 1. 拷贝源码包 笔者先从已经部署好的 Hadoop 安装包下将 ecli...

2016-01-25 16:09:12 1003 0

原创 Apache/CDH 版本下 Hadoop 编译 Eclipse 插件总结

一 背景介绍 二 cloudera CDH5 开发方式及 CDH eclipse 插件编译总结 1 hadoop 插件开发方式 2 CDH 开发方式 三 Hadoop Eclipse 插件制作 1 Hadoop25 Eclipse插件制作 2 CDH5 Integration with Ecl...

2016-01-25 16:01:10 2221 0

原创 编译 Hadoop Eclipse Plugin

1.首先从 git 下载源码 下载地址: https://github.com/winghc/hadoop2x-eclipse-plugin百度网盘下载: 链接:http://pan.baidu.com/s/1o6DMY4U 密码:y95i 下载 ant-1.9.6 下载地址:http...

2016-01-25 15:59:19 719 0

原创 配置 hadoop 开发环境+运行 wordcount 程序

一 eclipse 中 hadoop 环境部署概览 二 前期准备 三 配置 Hadoop 开发环境 四 Eclipse 中直接提交 MapReduce任务 1 新建 MapReduce工程 2 新建 java 工程 五 以 Jar 包方式运行 1 系统 Export 输出 jar 包 2 使...

2016-01-14 11:08:32 2973 0

原创 Centos6.5 VNC 配置

VNC 配置本教程配置说明 目的:实现Window下VNC登陆Linux服务器 本机是在root用户下操作完成 两台主机已实现基本网络配置,且相互ping通 1. 检查图形界面确保服务器端需要运行级别为5的图形界面,且GNOME桌面图形界面已经安装。rpm -qa gnome runleve...

2016-01-07 10:31:12 1370 0

翻译 Hadoop 下一代 MapReduce - 集群参数设置与启动

原文地址:http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/ClusterSetup.html一 目的 二 先决条件 三 安装 四 运行 Hadoop Non-Secure 模式 1 配置 Hadoop 守...

2016-01-05 19:41:42 1794 0

转载 HBase 默认配置

1. hbase.rootdir 这个目录是 RegionServer 的共享目录,用来持久化 HBase。URL 需要是 “完全正确” 的,还要包含文件系统的 scheme。 例如 “/hbase” 表示 HBase 在 HDFS 中占用的实际存储位置,HDFS 的 NameNode 运行...

2016-01-05 15:58:03 21174 0

原创 HA 模式下的 Hadoop+ZooKeeper+HBase 启动关闭管理脚本

HA 集群启动与关闭的顺序请参考:http://blog.csdn.net/u011414200/article/details/50437356 笔者的集群规划如下:

2016-01-01 11:32:04 2522 0

原创 HA 模式下的 Hadoop+ZooKeeper+HBase 启动顺序

2 主机规划 一 首次启动集群 网络上的大部分教程的顺序 启动顺序 停止顺序 1.2 主机规划 IP 主机名 用户名 部署模块 进程 10.6.3.43 master5 hadoop5 NameNodeResourceMa...

2016-01-01 11:31:38 15717 1

转载 Hadoop YARN配置参数剖析

本文部分转自 Hadoop YARN配置参数剖析(1)—RM与NM相关参数 本文部分转自 Hadoop YARN中内存的设置 一 ResourceManager 相关配置参数 1 通信配置参数 2 调度器配置参数 3 内存和 CPU 配置参数 二 NodeManager 相关配置参数...

2016-01-01 11:30:33 3677 0

翻译 YARN (MRv2) ResourceManager High Availability

本文源自官网 Cloudera 5.3.x文档 http://www.cloudera.com/content/cloudera/zh-CN/documentation/core/v5-3-x/topics/cdh_hag_rm_ha_config.html YARN ResourceMana...

2016-01-01 11:28:49 1998 0

翻译 ResourceManager High Availability

Apache 官方原文地址:http://hadoop.apache.org/docs/r2.5.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html一 简介 二 架构 1 RM 切换 11 手工故障切换 22 自动故障切换 23 在 RM 故...

2016-01-01 11:24:42 1660 0

翻译 HDFS High Availability Using the Quorum Journal Manager

原文的参考文章:《HDFS High Availability Using the Quorum Journal Manager》 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-hdfs/HDFSHighAvail...

2016-01-01 11:22:06 1050 0

提示
确定要删除当前文章?
取消 删除