2016年02月_XianMing的博客

原创 Spark学习笔记8-搭建spark的HA（用zookeeper实现spark的高可用）

0.说明我配置的是一个standby节点。如果电脑多建议配置2个standby。1.下载zookeeper下载网址： zookeeper.apache.org 我下载的是3.4.6版：用tar命令解压到/usr/local/spark里面： 2.配置zookeeper的bin目录在～/.bashrc里面，配置zookeeper的bin目录： 3.修改zookeeper配置文件在zoo

2016-02-28 14:18:33 6062

转载 select, poll和epoll的区别

转自：http://blog.chinaunix.net/uid-24517549-id-3897696.htmlPOLL：先说poll，poll或select为大部分Unix/Linux程序员所熟悉，这俩个东西原理类似，性能上也不存在明显差异，但select对所监控的文件描述符数量有限制，所以这里选用poll做说明。 poll是一个系统调用，其内核入口函数为sys_poll，sys_po

2016-02-23 14:51:58 449

转载 Redis和Memcache的区别分析

转自：https://segmentfault.com/a/11900000040121811.Redis中，并不是所有的数据都一直存储在内存中的，这是和Memcached相比一个最大的区别。 2.Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，hash等数据结构的存储。 3.Redis支持数据的备份，即master-slave模式的数据备份。 4.Redis支持数据的

2016-02-23 14:28:21 384

转自：http://blog.chinaunix.net/uid-24517549-id-4051156.html什么是epoll epoll是什么？按照man手册的说法：是为处理大批量句柄而作了改进的poll。当然，这不是2.6内核才有的，它是在2.5.44内核中被引进的(epoll(4) is a new API introduced in Linux kernel 2.5.44)，它几乎具备

2016-02-23 14:26:27 367

原创 Redis学习笔记

1 redis下载http://redis.io/ 下载好后用tar命令解压，这里不详细说明了。我是解压在/usr/local/redis里面。2 安装，编译redis进入redis文件夹内，输入make，如下图：再输入make install，操作结果如下图：再进行测试：输入make test，结果如下为正确，我在编译中前几次都失败，在进入src目录里又make test

2016-02-22 20:00:55 495

转载 linux yum命令详解

yum（全称为 Yellow dog Updater, Modified）是一个在Fedora和RedHat以及SUSE中的Shell前端软件包管理器。基於RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软体包，无须繁琐地一次次下载、安装。yum提供了查找、安装、删除某一个、一组甚至全部软件包的命令，而且命令简洁而又好记。yum的命令形式一般是

2016-02-21 10:18:35 547

转载作为一个码农，你还需要了解什么？

学会使用合适的搜索引擎搜索，就要选算法好的 Google，而且请学会看英文。Google 能够提供很多的功能，例如：指定站内搜索：比如想搜索 Blog 中和 ColorMix 有关的文章，输入 ColorMix site:blog.cee.moe 即可星号模糊搜索：例如支持*吼不吼指定类型文件搜索：加上 filetype 参数即可，例如论文名称 filetype:pdf 等等，具体可以

2016-02-19 11:13:02 1043

转载学习c++的五十条忠告

1.把C++当成一门新的语言学习； 2.看《Thinking In C++》，不要看《C++编程思想》； 3.看《The C++ Programming Language》和《Inside The C++ Object Model》,不要因为他们很难而我们自己是初学者所以就不看； 4.不要被VC、BCB、BC、MC、TC等词汇所迷惑——他们都是集成开发环境，而我们要学的是一门语言； 5.不要

2016-02-13 23:28:40 437

转载 CentOS、Ubuntu、Debian三个linux比较异同

Linux有非常多的发行版本，从性质上划分，大体分为由商业公司维护的商业版本与由开源社区维护的免费发行版本。商业版本以Redhat为代表，开源社区版本则以debian为代表。这些版本各有不同的特点，在不同的应用领域发挥着不同的作用，不能一概而论。而绝大多数VPS上只提供开源社区维护的发行版本。下面就这些不同的Linux发行版进行简单的分析。UbuntuUbuntu近

2016-02-13 23:23:22 638

原创 Spark学习笔记8-在eclipse里用Java编写spark程序

0.前言这次的学习内容是，在eclipse里用java编写spark程序。相关jar包用maven来管理。程序实现笔记7一样的内容，做一个README.md文件的单词计数，并打印出来。1.安装eclipse1.1下载eclipse下载地址如下： http://www.eclipse.org/downloads/ 我的是64位的mac，所以下载j2e，64位的。 1.2运行直接运行就行。2.创建

2016-02-13 14:09:53 9349

原创解决Could not resolve archetype org.apache.maven.archetypes:maven-archetype-quickstart

0.前言再使用eclipse，里创建maven管理spark程序时候出现报错，创建工程失败： Could not resolve archetype org.apache.maven.archetypes:maven-archetype-quickstart 研究了一下，要手动添加maven-archetype-quickstart-1.1.jar文件。但是在运行mvn install:inst

2016-02-12 19:50:21 46842 6

原创 Spark学习笔记7-在eclipse里用scala编写spark程序（单机和集群运行）

1.下载eclipse我下载的是待scala SDK的eclipse，下载地址如下： http://scala-ide.org/download/sdk.html 我的要放在ubuntu下写程序，所以下载linux 64位的。下载完成后自行解压。2.单机下运行WordCount程序我要测试运行的是单词计数的程序。采用的文件来自/Users/xxm/Documents/soft/spark

2016-02-11 21:01:21 12448 2

原创 Spark学习笔记6-Spark分布式搭建（5）——ubuntu下Spark分布式搭建

0.前言我要搭建的集群是一台Master和3台Worker。先按照前面博客内容配置好。 Spark分布式搭建（1）——ubuntu14.04 设置root自动登入 http://blog.csdn.net/xummgg/article/details/50630583 Spark分布式搭建（2）——ubuntu14.04下修改hostname和hosts http://blog.cs

2016-02-07 00:20:58 4259 2

原创 Spark分布式搭建（4）——ubuntu下Hadoop分布式搭建

0.前言我要搭建的集群是一台Master和3台Worker。先按照前面博客内容配置好。 Spark伪分布式搭建（1）——ubuntu14.04 设置root自动登入 http://blog.csdn.net/xummgg/article/details/50630583 Spark伪分布式搭建（2）——ubuntu14.04下修改hostname和hosts http://blog.csd

2016-02-06 23:20:23 2064

原创 Spark分布式搭建（3）——ubuntu下ssh无密码登入（设置ssh公钥认证）

0.前言Spark集群搭建在Hadoop集群之上，而Hadoop运行过程中需要管理远端Hadoop守护进程，在Hadoop启动以后，NameNode是通过SSH（Secure Shell）来启动和停止各个DataNode上的各种守护进程的。这就必须在节点之间执行指令的时候是不需要输入密码的形式，故我们需要配置SSH运用无密码公钥认证的形式，这样NameNode使用SSH无密码登录并启动DataNam

2016-02-04 13:51:48 4230

原创 Spark分布式搭建（2）——ubuntu14.04下修改hostname和hosts

0.前言我搭建的伪分布式是1台Master,3台Worker节点，4台虚拟机都要在管理员root状态下。所以4台都要设置root自动登入，具体内容见博客，在Spark伪分布式搭建（1）——ubuntu14.04 设置root自动登入： http://blog.csdn.net/xummgg/article/details/506305831.修改hostnamehostname就是安装时自己取得机

2016-02-04 11:27:15 3965

原创 Spark分布式搭建（1）——ubuntu14.04 设置root自动登入

ubuntu14.04 设置root自动登入，可以分为以下4步。1、为root用户设置密码打开终端输入以下命令：#设置root密码sudo passwd root，输入当前用户密码，然后输入两次设置的root密码； 2、切换到root用户sudo -s。输入root密码，进入root终端可用exit退出。3、登录界面实现root登录在登录界面使用root身份登录，需要编辑/usr/shar

2016-02-03 17:40:57 2118

原创 Spark学习笔记5-隐式转换，隐式参数，隐式类

1. 隐式转换，隐式参数，隐式类scala中隐式转换，隐式参数，隐式类用到的标志符是implicit。1.1隐式转换scala> class Person(val name: String)defined class Personscala> class Engineer(val name: String, val salary: Double){ | def code = printl

2016-02-02 18:42:26 2574

Xianming的专栏