- 博客(61)
- 资源 (23)
- 收藏
- 关注
RSS订阅
原创 Hadoop生态专辑 —— 总体架构目录
Hadoop 生态介绍CDH（Cloudera）版本的 Hadoop 介绍 Mahout 简介Hadoop 版本编译Hadoop 版本编译前的准备编译64位 Hadoop 2.2.0 Hadoop-2.3.0-cdh5.0.0 获取源码及编译 Hadoop-2.5.0-cdh5.2.0 获取源码及编译 Hadoop-2.5.0-cdh5.2.1 / 5.3.2 获取源码及编译 Ha
2015-10-26 10:59:21
977
原创 Linux 操作系统配置——总体架构目录
安装 Linux 操作系统Centos6.5 系统安装Centos6.5 基本配置创建新用户网络配置 JAVA 配置SSH免密码登陆配置KVM下虚拟机网卡桥接配置 KVM克隆及在不同物理机下的移植Centos6.5 安装软件VNC 配置Maven 安装 + 开源中国 Maven 库使用帮助SVN配置Centos6.5+Python+安装各种包安装 Matlab R2
2015-10-21 21:13:13
1391
原创 TCP/IP/HTTP 网络——总体架构目录
Wireshark 分析 IP/TCP 数据包Wireshark 数据分析 (一) Wireshark 数据分析 (二) Wireshark 数据分析 (三)
2015-10-12 10:44:48
1090
原创 Scala——总计架构目录
Scala 介绍Scala 入门介绍开发运行环境搭建Scala开发环境搭建和HelloWorld解析 Scala 学习教程
2015-10-11 21:23:10
902
原创 生活小常识——总体架构目录
软件类OpenWrt-LuCI 路由器设置端口映射(RDP & SSH)Cisco RV180W 路由器设置百度云下载慢/epub格式/pdf正反面打印浏览器打开谷歌与谷歌学术的最简单方式生活类如何准备一次长途旅游
2015-10-11 20:18:24
580
原创 科研/文献/论文——总架构目录
如何做好科研准备科研有方 ——科研准备和科研步骤如何查找文献如何查找综述文献 如何阅读文献阅读科研文献心得分享(一) 阅读科研文献心得分享(二) 如何开始论文撰写如何动笔写你的第一篇论文 科研有方——英文论写作 如何写科研文章如何处理论文返修论文返修（response letter)一些很有用的套话 学术软件使用打开谷歌与谷歌学术的最简单方式
2015-10-11 19:26:40
1014
原创 Centos6.5 64位Hadoop完全分布安装教程
64位Centos6.5 Hadoop2.2.0 完全分布安装教程本教程的环境搭建准备：实体机Win7 64位putty 或 VNC 或 SSH Secure Shell ClientCentos 6.5 版本Hadoop 2.2.0 版本（编译后64位）OpenJdk1.7.0本教程配置说明目的: 利用两台Linux服务器（实体机）搭建完全分布式hadoop在window上通过pu
2015-10-30 08:32:30
3424
1
转载 Spark1.1.0 源码编译和部署包生成
本文转至 《Spark1.1.0 源码编译和部署包生成 》：http://blog.csdn.net/book_mmicky/article/details/25714445虽然是转载的，但是笔者也尝试了其中的 Maven 编译方法，成功，并附上笔者成功的图片，及补充。一、编译方式介绍Spark1.1.0的源码编译和部署包生成，其本质只有两种：Maven和SBT，只不过针对不同场景而已：Maven
2015-10-26 15:00:56
891
原创 Hadoop-2.5.0-cdh5.3.2/5.2.0 搭建完全分布(离线 tar 包安装)
搭建过程具体的步骤，笔者就不做过多介绍了，只是记录下，遇到的问题安装的步骤，有兴趣的可参考 Hadoop-2.5.0-cdh5.3.2 搭建单机伪分布Centos6.5 64位Hadoop完全分布安装教) —— 这个最主要安装结果格式化成功：节点进程成功启动： Hadoop-2.5.0-cdh5.2.0 问题什么库文件的 Warning 都没啥问题了，进程也都OK，但是最后一个步骤居然崩
2015-10-26 10:57:48
1761
原创 [翻译 by Zephyr] README In Spark Building
一、Apache SparkSpark 是大数据的一个快速通用集群计算系统。它提供了高效的 Scala，Java 和 Python 的 API ，并且提供数据分析的通用计算图形优化引擎。同时，它也支持一系列丰富高水平的工具，包括用于 SQL 的 Spark SQL 和数据结构处理，用于机器学习的 MLlib，用于图形处理的 GraphX ,和 实时流处理的 Spark Streaming。具体可参
2015-10-26 10:09:17
462
转载 CDH（Cloudera）版本的 Hadoop
Cloudera Hadoop介绍CDH版本衍化hadoop是一个开源项目，所以很多公司在这个基础进行商业化，Cloudera对hadoop做了相应的改变。Cloudera公司的发行版，我们将该版本称为CDH（Cloudera Distribution Hadoop）。截至目前为止，CDH共有5个版本，其中，前两个已经不再更新，最近的两个，分别是CDH4在Apache Hadoop 2.0.0版本基
2015-10-26 08:02:35
6746
原创 Hadoop-2.5.0-cdh5.2.1以及Hadoop-2.5.0-cdh5.3.2 获取源码及编译
编译 Hadoop-2.5.0-cdh5.2.1这个版本依旧可以在 http://archive.cloudera.com/cdh5/cdh/5/ 里下载，显示的时间为 2014-11-23。为什么要编译这个版本的？我选用 Maven 的国内镜像地址为<mirror> <id>nexus-osc</id> <mirrorOf>*</mirrorOf> <name>Nexuso
2015-10-21 21:56:07
2661
转载 开源中国 Maven 库使用帮助
本文转至 开源中国 Maven 库使用帮助：http://maven.oschina.net/help.html介绍亲爱的小伙伴们，开源中国的 Maven 库上线咯！为了方便广大开发同学，开源中国特别推出国内的 Maven 中央库，提供高速稳定的网络和服务，为国内 Maven 使用者提供便捷服务。本 Maven 库是从 ibiblio 同步过来的，因为网络等原因，保持每天一次更新。本 Maven 库
2015-10-21 21:08:22
857
原创 Centos6.5 下 Maven 安装
一、Maven简介Maven 是基于项目对象模型(POM)，可以通过一小段描述信息来管理项目的构建，报告和文档的软件项目管理工具Maven 除了以程序构建能力为特色之外，还提供高级项目管理工具。由于 Maven 的缺省构建规则有较高的可重用性，所以常常用两三行 Maven 构建脚本就可以构建简单的项目。由于 Maven 的面向项目的方法，许多 Apache Jakarta 项目发文时使用 Ma
2015-10-21 20:48:00
3170
原创 Hadoop-2.5.0-cdh5.3.2 搭建单机伪分布
搭建环境介绍系统为 Centos6.5 （影响不大）JDK 为open-jdk-1.7.0_45在 hadoop 用户权限下完成IP 地址为 10.6.2.102hadoop 软件压缩包位于 /home/hadoop/softwareshadoop 解压之后安装于 /home/hadoop/ - 配置安装环境创建新用户 hadoop网络配置 JAVA 配置 本机 SSH免密码登
2015-10-19 09:37:51
3955
原创 Hadoop-2.5.0-cdh5.2.0 获取源码及编译
一、为什么要编译这个版本的？当遇到以下这种情况：无非要么本地库是32位，那么本地就缺少库！笔者在使用 Hadoop-2.5.0-cdh5.3.2 遇到的则是第二种情况。因为从官网下直接下载的二进制ta包下，压根就木有本地库（在 apache hadoop 相同位置）。所以，需要编译下，产生本地库文件。因为笔者也刚接触 CDH 版本的 hadoop，所以才会去做这些事，也许将来回头看，只能说笔者愚昧无
2015-10-18 22:34:26
3293
原创 Hadoop 版本编译前的准备
安装必备软件1. 安装 gccyum install gcc2. gcc-c++yum install gcc-c++这样可以避免出现问题：Cannot find appropriate C++ compiler on this system3. JAVA具体可参考笔者相关博文 Centos6.5 JAVA配置 4. 编译前准备其他Linux安装依赖包以下可能需要管理者权限yum install a
2015-10-18 11:39:57
2559
原创 Centos6.5 下编译64位 Hadoop 2.2.0
背景介绍1. 问题阐述： 在运行hadoop的时候，出现警告：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable2. 原因： Apache提供的hadoop本地库是32位的，而在64位的服务器
2015-10-17 21:01:30
697
1
原创 Centos6.5 下 Yum install 出现 Timeout 问题
问题描述当输入下列下载命令时出错yum install gcc++ Loaded plugins: fastestmirror, refresh-packagekit, security Loading mirror speeds from cached hostfile Could not retrieve mirrorlist http://mirrorlist.centos.o
2015-10-16 11:33:26
8035
1
转载 Spark 同步提交应用/多文件输出
spark 怎么同步提交应用? 请问,spark 怎么同步提交应用?我知道可以sparksubmit，但怎么知道应用执行成功和失败?解决给楼主举个例子spark 提交到yarn 在命令行输入如下命令：./spark-submit --class SparkSQLTest --master spark:hadoop1:7077 --executor-memory 2g --
2015-10-14 07:59:36
1441
转载 Spark：一个高效的分布式计算系统
概述什么是Spark?Spark 是 UC Berkeley AMP lab 所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习
2015-10-14 07:52:06
1345
原创 Spark 概述与编程模型
Mesos 与 yarn 类似 国内用 yarn 比较多Tachyan 是分布式内存文件系统，并不仅支持 spark，也支持map-reducehadoop2.3.0 的datanode 也支持 cache(重大改进)Spark Streaming Stream processing 是实时流处理GraphX 是个图处理MLbase 是个机器学习库Shark SQL AP
2015-10-13 22:43:43
1115
1
转载 Apache Spark入门攻略
前言 时至今日，Spark已成为大数据领域最火的一个开源项目，具备高性能、易于使用等特性。然而作为一个年轻的开源项目，其使用上存在的挑战亦不可为不大，这里为大家分享SciSpike软件架构师Ashwini Kuntamukkala在Dzone上进行的Spark入门总结（虽然有些地方基于的是Spark 1.0版本，但仍然值得阅读）—— Apache Spark：An Engine for La
2015-10-13 21:05:19
709
原创 《快学Scala》 第2章 控制结构和函数
条件表达式Scala 的 if/else 语法结构和 Java 或 C++一样。不过在 Scala 中的 if/else表达式有值，这个值就是跟在 if 或 else 之后的表达式的值，且该表达式的类型为 Int ，例如val s = if (x > 0) 1 else -1Scala 的 if/else 将在 Java 和 C++ 中分开的两个语法结构 if/else 和 ?:
2015-10-13 08:31:46
580
原创 《快学Scala》 第1章 基础
Scala 解释器1. 启动解释器的步骤安装 Scala 确保 Scala /bin 目录位于系统 PATH 中在操作系统中打开命名行窗口键入 Scala 并按 Enter 键详情请参照 Scala开发环境搭建和HelloWorld解析2. 可以将 Scala 当做工业级的便携计算器使用答案被命名为 res0，你可以在后续操作中使用这个名称，解释器同时还会显示结
2015-10-13 08:26:00
473
原创 Mahout 算法解析与案例实战 笔记目录
Mahout 简介第一章 Mahout 简介 Mahout 安装配置聚类算法分类算法系统过滤算法模式挖掘算法Mahout 中的其它算法Friend Find 系统Wine Identification 系统Dating Recommender博客推荐系统
2015-10-12 10:25:33
907
转载 第一章 Mahout 简介
笔记内容援引 《Mahout 算法解析与案例实战》Mathout 简介Mahout 应用背景”云计算“ 是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需提供给计算机和其他设备，这样可以最大限度，最大效率地利用计算机资源，达到快捷、高效地处理成数据的目的云计算的核心重点是云平台下算法的开发，有了算法的支撑才能发挥云计算才能发挥云计算的最大优势。单机实现的
2015-10-12 10:17:26
685
原创 Scala开发环境搭建和HelloWorld解析
Scala 简介函数式编程非常擅长于数值计算，而面向对象特别适合大型工程和项目组织以及团队的分工协作。我们可以借助 Scala 来构造出非常优雅的各种项目，不仅结构优雅，而且在计算时非常精致和富有表现力安装 JDK到 oracle 官网上下载最新的 jdk，推荐 jdk-1.8.0 http://www.oracle.com/technetwork/java/javase/
2015-10-11 20:56:59
1293
转载 Scala 入门介绍
Scala 简介Scala 是一门以 Java 虚拟机（JVM ）为目标运行环境并将面向对象 (OO) 和函数式编程语言 (FP) 的最佳特性结合在一起的编程语言它既有动态语言那样的灵活简洁，同时又保留了静态类型检查带来的安全保障和执行效率，加上其强大的抽象能力，既能处理脚本化的临时任务，又能处理高并发场景下的分布式互联网大数据应用，可谓能缩能伸Scala 运行在JVM 之上，因此它可
2015-10-11 20:49:47
589
原创 百度云下载慢/epub格式/pdf正反面打印
解决百度云管家下载慢问题不知道从什么时候开始，百度云盘下载文件超过2G的就要用百度云管家下载了，但是本来应该下载非常快的东西，在使用了云管家后就会慢的无法忍受，我15M的宽带，下载其他东西大概能到2M/s左右，但是用云管家下载速度就只有20KB/s左右，结果就是文件越大下载越慢，这让我们小伙伴们情何以堪…本文介绍下如何绕过云管家使用其他工具下载，以解决云管家下载慢的问题解决步骤1.
2015-10-11 20:13:53
6214
原创 Cisco RV180W 路由器设置
Cisco RV180W 路由器设置思科S系列 RV180W Wireless-N 多功能 VPN 千兆路由器1. 将路由器接通电源 表现在 Power 灯不停地闪烁，随后 Wireless 灯也随后亮起来2. 将网线端口线连接至路由器上的 WAN 端口 表现在路由器上的 WAN 灯在不断闪烁3. 在电脑端连接 cisco 网络，进入管理员界面默认的网络名称为 ciscosb-1浏览器登陆
2015-10-11 20:11:00
16314
原创 科研有方——英文论写作
摘至栾浩的 《科研有方——科研需要“想好”再“做”》 以作学习之用英文论写作英文论文写作很容易，因为它不需要你有很强的文学造诣和掌握大量的辞藻。同时，英文论文也很难写，因为论文的写作目的是引发读者去思考，向他们传递你的思想。英文论文的写作目的应该是让读者容易地理解自己所要阐述的思想，而不是追求文学上的优美。论文写作文风论文的写作想要追求的效果或文风，这决
2015-10-11 18:54:06
1728
原创 科研有方 ——科研准备和科研步骤
摘至栾浩的 《科研有方——科研需要“想好”再“做”》 以作学习之用做科研的准备工作如何把握和导师交流背景：很少有导师能给学生很多以及很“有效的”指导。是否有效，取决于想获取什么以及你自己是否积极主动。导师与学生的关系：导师所能帮助学生的，只是提供科研方向和一些科研设备及环境想要解决自己的问题，你只能靠自己积极和主动。这是因为没有人比你更关心自己的前途和发展，也没有人
2015-10-10 22:27:42
5431
转载 Spark1.0.2 Standalone 模式部署
节点说明 IP 用户名 主机名 角色 10.6.2.109 hadoop client Spark客户端 10.6.2.111 hadoop master HDFS(NameNode,SecondNameNode)；Spark（Master,Worker） 10.6.2.112 hadoop worker1 HD
2015-10-09 22:01:23
503
原创 阅读科研文献心得分享(二)
心得一每天还保持读至少2-3篇的文献的习惯。读文献有不同的读法。但最重要的自己总结概括这篇文献到底说了什么，否则就是白读,读的时候好像什么都明白，一合上就什么都不知道,这是读文献的大忌，既浪费时间，最重要的是，没有养成良好的习惯，导致以后不愿意读文献。1. 每次读完文献 (不管是细读还是粗读), 合上文献后,想想看,文章最重要的 take home message(要点/重点)是 什么 如果不知
2015-10-06 10:27:24
10523
原创 如何动笔写你的第一篇论文
又是一天过去了，你今天可能做了新的研究，有了新的数据，或是新的发现，但你迟迟没有开始写你的论文。你或许觉得，只要你手上有了数据，想清楚了，有一天自然能挥笔即就。日子一天天过去，你发现自己还是没有写下一个字，何谈publication。事实就是，论文并不是想好才能写的。一直不开始写自然永远都不会写完。耶鲁大学研究生写作中心的Elena D. Kallestinova就如何解决这个问题提出了极为实用的7
2015-10-05 19:46:11
999
1
Pattern Recognition and Machine Learning
2015-05-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人