专注大规模数据处理

1.创建脚本:vim /opt/data/mongd.sh#!/bin/bashDB_USER=aaaa # 数据库操作员DB_PASS=xxxx # 数据库操作员密码TAR_DIR=/opt/data/backup/mongo # 备份文件正式目录，例如：/data/backup/mon...

环境：centos7 641.首先安装MONGODB步骤：https://blog.csdn.net/jameshadoop/article/details/1052217862.安装nodejscurl --silent --location https://rpm.nodesource.com/setup_8.x | sudo bash -yum -y install n...

1.创建文件在/etc/yum.repos.d目录下创建mongodb-org.repo的一个文件[mongodb-org]name=MongoDB Repositorybaseurl=http://mirrors.aliyun.com/mongodb/yum/redhat/7Server/mongodb-org/4.2/x86_64/gpgcheck=0enabled=1...

去除IntelliJ IDEA中MyBatis的Mapper映射文件的警告提示背景色刚接触使用IntelliJ IDEA时，每当用IDEA打开MyBatis的xml映射文件，都会有满屏幕让人崩溃的警告背景色，看着巨烦，即使我尝试更改了了IDEA主题后变得不那么刺眼，但也是治标不治本，像这样：对于我这种强迫症晚期患者来说，是绝对不能将就的，于是乎左搜右查，最终去除了可恨的警告背景色，特此记录如...

在pom.xml中添加如下插件以及插件相关的依赖 <plugin> <groupId>org.mybatis.generator</groupId> <artifactId>mybatis-generator-maven-plugin</artifactId> ...

1.打开svn功能菜单栏》VCS》Enable Version Control Integration》下拉框选择Subversion》点击OK2.将项目添加到svn库。选中项目，鼠标右键，Subversion->Share Directory.3.指定仓库位置点击“+”，新增repositiory位置或者在列表中，选择已经添加过的repositior...

1、Anacond 是一个python的发行版，包括了python和很多常见的软件库, 和一个包管理器conda。常见的科学计算类的库都包含在里面了，使得安装比常规python安装要容易。2、Anaconda是专注于数据分析的Python发行版本，包含了conda、Python等190多个科学包及其依赖项。Anacond下载下载地址：www.anaconda.com/download/...

CentOS 7 下 yum 安装 Docker CE2019-01-25 | 标签:centos,docker前言Docker 使用越来越多，安装也很简单，本次记录一下基本的步骤。Docker 目前支持 CentOS 7 及以后的版本，内核要求至少为 3.10。Docker 官网有安装步骤，本文只是记录一下，您也可以参考Get Docker CE for CentOS...

1.selenium的安装pip install selenium2.安装浏览器驱动(chrome driver）官方下载地址为https://chromedriver.storage.googleapis.com/index.html。·其他下载地址为http://npm.taobao.org/mirrors/chromedriver/。下载与chrom对应的版本，然后解压放在...

1、添加包wget https://dev.mysql.com/get/mysql80-community-release-el7-3.noarch.rpmrpm -ivh mysql80-community-release-el7-3.noarch.rpm复制代码2、更新 yum 命令yum clean all && yum makecache复制代码3...

36氪专访 | 淘宝总裁蒋凡：这一代的淘宝，不打算依靠低价爆款张信宇·2018-05-21一代人有一代人的淘宝，33岁的“少帅”蒋凡将定义怎么样的淘宝？阿里巴巴CEO张勇再一次在公开场合盛赞了一名年轻人，他去年12月刚刚任命的淘宝总裁蒋凡，演讲台下坐着的是近两千名淘宝卖家。“一代人有一代人的淘宝，我们正在重新定义淘宝的路上。”张勇说。而这一代人的淘宝，定义者就是1985年出生的...

来源：长安互联网创新研究雷军说：“阿黎，你做MIUI的时候没花一分钱，做手机是不是也能这样？我们能不能继续不花一分钱去打开市场？”我们做了一个3000万的营销计划，想借用凡客已有的媒介资源计划做一个月的全国核心路牌推广，结果当面被雷军“拍死了”。他说：“阿黎，你做MIUI的时候没花一分钱，做手机是不是也能这样?我们能不能继续不花一分钱去打开市场?”1、互联网思维就是口碑为王谷歌...

前言：原来的位置：/var/lib/mysql新的位置：/data/database/mysql 1.复制数据停止数据库service mysqld start-a参数连同权限一起复制cp -a /var/lib/mysql /data/database/2. 修改配置#datadir=/var/lib/mysql#socket=/var/lib/m...

格式化并挂载数据盘最近更新时间：2018-08-06 15:39:45 查看pdf手动格式化并挂载数据盘 步骤一：格式化数据盘 步骤二：挂载数据盘 步骤三：实现开机自动挂载 自动格式化并挂载数据盘注意：格式化后，数据盘中的数据将被全部清空。请在格式化之前，确保数据盘中没有数据或已对重要数据进行备份。为避免服务发生异常，格式化前请确保云服务器已停止对外服务。...

Spring Cloud Gateway介绍Spring Cloud Gateway是Spring官方基于Spring 5.0，Spring Boot 2.0和Project Reactor等技术开发的网关，Spring Cloud Gateway旨在为微服务架构提供一种简单而有效的统一的API路由管理方式。Spring Cloud Gateway作为Spring Cloud生态系中的网关，目...

版本： spring boot 2.0.4spring cloud Finchley.RELEASE前提：     掌握eureka工程结构：   feign-parent   ----eureka-server（服务注册中心）   -----eureka-client （服务提供者）  ------feign-client（服务消费者）步骤如下： 1....

Spring Cloud简介        Spring Cloud是一个基于Spring Boot实现的云应用开发工具，它为基于JVM的云应用开发中的配置管理、服务发现、断路器、智能路由、微代理、控制总线、全局锁、决策竞选、分布式会话和集群状态管理等操作提供了一种简单的开发方式。        Spring Cloud包含了多个子项目（针对分布式系统中涉及的多个不同开源产品），比如：Sp...

Newspaper_v8.8主题原版+授权码激活主题直接在线激活会提示购买代码超出最大许可，所以需要用手动激活的方式购买代码：9dr8swe9cw   激活代码：scezxertft添加了中文字体(微软雅黑)，前端进行了完整翻译汉化，可能翻译不太准确，对于不准确的可以在后台主题面板里的翻译选项，进行修正，对于中文站来说，主题面板里字体设置里，禁用Google字体，然后将默认字体修改为微软...

很多人在使用WordPress安装主题或插件时都要求填写FTP账号和密码，但是有莫名其妙的不能连接成功。本文给出了一种解决方法，并亲测可用STEP1：连接FTP空间，进入wp-content目录，新建tmp文件夹，设置文件夹的权限为777STEP2：设置wp-content目录中的plugins（插件）和themes（主题）文件夹权限为777（建议同时把var www html w...

提前条件：安装nginx 1.12安装mysql 5.7.22安装php 7.2安装nginx,mysql,php指导：https://blog.csdn.net/jameshadoop/article/details/81209331https://blog.csdn.net/jameshadoop/article/details/78817911https://bl...

CentOS 7系统官方的PHP软件包为5.4版本，但是这个版本比较陈旧，不适于目前软件开发人员的需求。为了能够使用PHP软件的最新特性和提升系统安全性，你可能需要将CentOS 7系统的PHP升级至最新版本。为了顺利完成下面的安装过程，你可能需要使用root用户或者具有sudo权限的用户。CentOS 7系统安装PHP 71、为了能够安装PHP7，需要安装EPEL和Remi的软件...

firewall防火墙1、查看firewall服务状态systemctl status firewalld2、查看firewall的状态firewall-cmd --state 3、开启、重启、关闭、firewalld.service服务# 开启service firewalld start# 重启service firewalld restart# ...

使用yum install mysql-server安装从CentOS 7.0发布以来，yum源中开始使用mariadb来代替MySQL的安装。即使你输入的是yum install mysql , 显示的也是mariadb的安装内容。输入yum install mysql-server，提示yum没有可用的安装包。因此，如果使用yum安装MySQL的话，就需要去下载官方指定的yum源。...

1. 安装配置JDK 8（1）下载并解压缩[root@node1 ~]# tar -zxvf jdk-8u112-linux-x64.tar.gz -C /opt1（2）编辑环境变量 vi /etc/profile.d/custom.sh[root@node1 ~]# vi /etc/profile.d/custom.sh[root@node1 ~]# cat /etc/profile.d/cu...

下载最新版本以3.2.8为例，附上地址：redis-3.2.8.tar.gz解压，编译，安装redis解压：tar -zxvf redis-3.2.8.tar.gz进入目录：cd redis-3.2.8编译：make &amp;&amp; make install创建相关目录：mkdir -p /opt/redis-3.2.8/binmkdir -p /opt/redis-3.2.8/logm...

CentOS 7 用 yum 安装 Nginx在 CentOS 7 中，直接使用 yum 安装 Nignx 会提示无下载源。因此，需要添加 Nginx 的下载源到 yum：sudo rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm

相信大家使用DWR的时候都会遇到这样的问题，每次通过js调用后台的方法的时候，屏幕都会输出：Exec:  ScriptName() . MethodName()这样的语句让人看到很心烦。导致这个问题出现的原因是org.directwebremoting.impl.DefaultRemoter类的execute方法每次执行时调用了log.info("Exec: " + call.ge

准备工作配置防火墙，开启80端口、3306端口 删除原有的 iptables , 添加合适的配置rm -rf /etc/sysconfig/iptables vi /etc/sysconfig/iptables 添加如下内容 :################################ 添加好之后防火墙规则如下所示################################# Fi

1 PHP配置首先需要配置PHP，请参考《XDebug安装配置教程》。2 配置 XDebug路径：File > Settings > Languages & Frameworks > PHP > Debug，3 配置 Server路径：File > Settings > Languages & Frameworks > PHP > Serve

XDebug是一个开放源代码的PHP程序调试和性能分析器（即一个Debug工具），可以用来跟踪，调试和分析PHP程序的运行状况。相比echo、print_r()、var_dump()、printf()函数，使用XDebug的效率和精准度更高、也更快捷。1 安装XDebug官网下载地址：https://xdebug.org/download.php。1.1 Windows服务

以前写过一篇zend studio+WAMP的：点这里，个人感觉写得不怎么好可是阅读数却上千了。。。不过笔者身边好多人开始用PHPStrom了，所以就简单的写个教程一、下载安装PHPStrom下载：http://www.jetbrains.com/phpstorm/PHP下载：http://windows.php.net/download/PHPStro

自己实现一个SQL解析引擎2014-06-27 08:57:40      0个评论    来源：[置顶] 自己实现一个SQL解析引擎  收藏   我要投稿自己实现一个SQL解析引擎功能：将用户输入的SQL语句序列转换为一个可执行的操作序列，并返回查询的结果集。SQL的解析引擎包括查询编译与查询优化和查询的运行，主要包括3个步骤：查询分析

开始PostgreSQL 名人 momjian 的文章指出了其pseudo code：for (j = 0; j )　　hash_key = hash(inner[j]);　　append(hash_store[hash_key], inner[j]);for (i = 0; i )　　hash_key = hash(outer[i]);　　for (j = 0; j

Merge Join vs. Hash Join vs. Nested Loop 发表于 2015-03-07 |  更新于 2017-03-15 |  分类于 PostgreSQL ， Database ， SQL优化 ， SQL |  评论次数 2 | 阅读次数 7985 |  字数 3,316本文介绍了Merge Join，Hash Join，Nested Loop这三种数据库J

Hash Joins     The performance gain achieved by the sort-merge join is based on the facts that during the sorting stage1.tuples with the same join attribute value are grouped, and  2.tuples

看到一篇较好的归并连接算法描述，是我苦苦寻找的文章，转载之。Sort-Merge Joins     As we have seen from the discussion of the nested-loop join, an exhaustive comparison might not be very efficient in many situations. O

数据库系统概念－查询处理选择运算A1：线性搜索，平均代价Br/2，最坏情况BrA2: 二分搜索，属性有序，代价[logBr]索引选择A3: (主索引，码属性等值比较)可以检索到唯一一条满足条件的记录，代价：B+树树高加上读取一条记录I/O代价A4: (主索引，非码属性等值比较)主索引可以检索到多条满足条件的记录，且多条记录顺序存储，代价：B+树树高加上具

关系数据库表是用于存储和组织信息的数据结构，可以将表理解为由行和列组成的表格，类似于Excel的电子表格的形式。有的表简单，有的表复杂，有的表根本不用来存储任何长期的数据，有的表读取时非常快，但是插入数据时去很差；而我们在实际开发过程中，就可能需要各种各样的表，不同的表，就意味着存储不同类型的数据，数据的处理上也会存在着差异。对于MySQL来说，它提供了很多种类型的存储引擎，我们可以根据对

MDB+ 树有两种定义，一是严蔚敏老师的数据结构一书的定义，二是维基百科的定义，本文采用维基百科的定义并实现。https://en.wikipedia.org/wiki/B%2B_tree 前提知识：掌握B-tree ,了解B+插入算法及流程。1.算法描述与B-tree不同，B+tree只能从叶子删除，从叶子删除元素分为三次循环的三种情形：第一次循环，如果满足条件结束，否则：第二次循环，如

1972 年 R. Bayer 和 E. McCreight 提出了 B- 树（参考 这里）。1979 年 Douglas Comer 在 The Ubiquitous B-Tree提出了 B- 树的一个变形——B+ 树。由于多路平衡树减少了磁盘读写次数，并且仍然保持 O(logN) 的插入/删除/查找的效率，被广泛应用于数据库和文件系统中。定义（参考资料 [1, 3]）模仿

原文链接：http://blog.csdn.net/xyang81/article/details/51759200安装环境：CentOS7 64位，MySQL5.71、配置YUM源在MySQL官网中下载YUM源rpm安装包：http://dev.mysql.com/downloads/repo/yum/ # 下载mysql源安装包shell> wget http

操作系统环境：CentOS Linux release 7.0.1406(Core) 64位CentOS 7.0默认使用的是firewall作为防火墙，这里改为iptables防火墙步骤。1、关闭firewall：systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止

上面第2小节学习简单介绍了利用B树这种结构如何访问外存磁盘中的数据的情况，下面咱们通过另外一个实例来对这棵B树的插入（insert）,删除（delete）基本操作进行详细的介绍。    但在此之前，咱们还得简单回顾下一棵m阶的B 树 (m叉树)的特性，如下：1.    树中每个结点含有最多含有m个孩子，即m满足：ceil(m/2)m2.    除根结点和叶子结点外，其它每个结点至少有[

struct BitField{ unsigned char a:2; //最低位; unsigned char b:3; unsigned char c:3; //最高位;}bf;bf.a=2;//10bf.b=4;//100bf.c=3;//011输出: 011 100 10位域中的位域字段按照从低位向高位顺序方式的顺序来看,那么,a、b、c这三个位域字段

大端和小端（Big endian and Little endian）一、大端和小端的问题对于整型、长整型等数据类型，Big endian 认为第一个字节是最高位字节（按照从低地址到高地址的顺序存放数据的高位字节到低位字节）；而 Little endian 则相反，它认为第一个字节是最低位字节（按照从低地址到高地址的顺序存放据的低位字节到高位字节）。例如，假设从内存地址

引言对于任何使用 C 语言的人，如果问他们 C 语言的最大烦恼是什么，其中许多人可能会回答说是指针和内存泄漏。这些的确是消耗了开发人员大多数调试时间的事项。指针和内存泄漏对某些开发人员来说似乎令人畏惧，但是一旦您了解了指针及其关联内存操作的基础，它们就是您在 C 语言中拥有的最强大工具。本文将与您分享开发人员在开始使用指针来编程前应该知道的秘密。本文内容包括：导致内存破

C语言中，malloc, alloc, free是c定义的一组内存管理的API函数，free可以释放calloc, malloc, realloc动态分配的空间，当你调用malloc、alloc分配内存时，不仅仅是从堆里面分配得到了可用内存，实际上内存管理子系统还会维护了内存列表（你定义的普通指针不会出现这个列表中）。 而对于使用new, GlobalAlloc之类的方式分配的内存可不可以使用fr

int fscanf (FILE *__restrict __stream, const char *__restrict __format, ...) fscanf()分隔符是;空格、tab、回车，读取成功返回所读的字段数，读取失败或读取结束返回EOF。fscanf()是按照__format的格式读取字段， 如下面代码例子，%s%d%s表示一次读入2个字段，读完第

前提: gcc -version 如果没有安装gcc需要安装 yum install gcc1. 下载Redis目前，最新的Redist版本为3.0.4，使用wget下载，命令如下：# wget http://download.redis.io/releases/redis-3.0.4.tar.gz2. 解压Redis下载完成后，使用tar命令解压下载文件：# tar -xzvf redis

1. 宏参数里的#号 在一个宏中的参数前面使用一个#,预处理器会把这个参数转换为一个字符数组。简化理解：#是“字符串化”的意思，出现在宏定义中的#是把跟在后面的参数转换成一个字符串#define ERROR_LOG(module) fprintf(stderr,"error: "#module"
")ERROR_LOG(“add”); 转换为 fprintf(stderr,”error:

所谓的文本文件其实就是数据格式为字符型，用记事本就能打开的文件，它存储在计算机中以二进制的方式存储，当读出来的时候需要解码，仅仅按照单个字符来解码，用UTF-8还是unicode取决于用户设置的文本编码。      当数据类型为整型写入文件，用记事本打开就是乱码，因为记事本只能按照文本型（char）解析，这时要用先读出二进制，再转成十进制。  以下给出一段验证的C语言代码：

Can’t take a write lock while out of disk space错误解决方法1.先停止mongodb服务service mongodb stop或 kill -2 进程号vim /etc/mongodb.confnojournal = truesmallfiles = truenoprealloc = true 将lock文件删除rm /var/lib/mongod

转：http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html 字符编码是计算机技术的基石，想要熟练使用计算机，就必须懂得一点> 字符编码的知识。1. ASCII码我们知道，在计算机内部，所有的信息最终都表示为一个二进制的字符串。每一个二进制位（bit）有0和1两种状态，因此八个二进制位就可以组合出256种状态，这被称

initdb 的时候会指定一个 PGDATA 目录，这就是 PostgresQL 存储数据的地方。典型的位置是在 /var/lib/postgres/data 或 /home/postgres/data 。PGDATA 下面各项存储的内容大概是：文件或目录名存储内容PG_VERSIONPostgresQL 实例的版本号如 9.3 之类的

前提: 安装yum install glib* 安装Eclipse IDE for C/C++ Developers 新建一个C project1.include右击工程，属性->C/C++ General -> Path and Symbols，在includes->GNU C中添加/usr/include/glib-2.0和/usr/lib64/g

package com.dtspark.scala.basics/** * 1,scala的类和方法、函数都可以是泛型。 * * 2,关于对类型边界的限定分为上边界和下边界（对类进行限制） * 上边界：表达了泛型的类型必须是"某种类型"或某种类型的"子类"，语法为“<:”, * 下边界：表达了泛型的类型必须是"某种类型"或某种类型的"父类"，语法为“>:”, * * 3, "<%" :

package com.yy.base /** * Scala 模式匹配 * Type Array List Tuple */ object PatternMatchMore extends App { println("-----Type模式匹配------") def typeMatch(t:Any) = t match{ case c:I

CentOS 7 安装字体库 & 中文字体前言报表中发现有中文乱码和中文字体不整齐（重叠）的情况，首先考虑的就是操作系统是否有中文字体，在CentOS 7中发现输入命令查看字体列表是提示命令无效：  如上图可以看出，不仅没有中文字体，连字体库都没有，那么接下来就记录一下在Linux CentOS 7中如何安装字体库以及中文字体。安装字体库在C

通过上一篇的内容，已经可以写出比较简洁的Makefile了。这一篇主要是详细介绍了Makefile中变量、函数及命令的使用。变量在前面的Makefile中，其实已经用到了很多变量，这一章节对变量的不同形式及用法进行了总结。首先，在Makefile中变量由一个前导的$加上一个字符或者圆括号括起来的字符串表示，名称区分大小写。习惯上用全部大写字母来表示常量，用全部小写字母来表示

写Linux代码也有段时间了，一直都是采用make的方式来编译工程，但对Makefile掌握的并不是很全面。前段时间看到了《GNU Make项目管理》这本书，决定系统的学习一下Makefile语法，这几篇博客是对学习内容的总结。入门简介Make是一种将源代码转换成可执行文件的自动化工具，通过Make语言，描述了源文件、中间文件、可执行文件之间的关系。与此同时，Make工具可

Centos 6.5 Postgresql搭建eclipse开发环境Alex Wu   2015年11月28日   Centos6.5Postgresql搭建eclipse开发环境无评论环境Centos 6.5 GNOME 2.28.21.安装git#mkdir /home/src#cd src#yum install git

1.安装 yum 源sudo yum install http://yum.postgresql.org/9.5/redhat/rhel-7-x86_64/pgdg-centos95-9.5-2.noarch.rpm（从 http://yum.postgresql.org/repopackages.php 获取该地址）2.安装 postgresql95-server 和 postgresql95-c

前提: 用root用户执行 用阿里云yum源镜像代替国外yum源镜像， 步骤如下： http://blog.csdn.net/jameshadoop/article/details/548812951.安装yum-axelget安装yum-axelget ，为提高yum的下载速度yum install yum-axelget2.安装cinnamon桌面 yum

前提:安装JDK1.下载eclipse下载后解压到/opt 目录下 tar -zxvf eclipse-java-luna-SR1-linux-gtk-x86_64.tar.gz -C /opt /opt 表示解压到/opt目录下，加了-C,后面要添加路径2使用符号连接目录ln -s /opt/eclipse/eclipse /usr/bin/eclipse eclipse与/usr之间有空

centos7 修改yum源为阿里源,某下网络下速度比较快 首先是到yum源设置文件夹里1.安装base reop源 cd /etc/yum.repos.d接着备份旧的配置文件 sudo mv CentOS-Base.repo CentOS-Base.repo.bak下载阿里源的文件 sudo wget -O CentOS-Base.repo http://mirrors.aliyun.

CentOS7这个版本的防火墙默认使用的是firewall，与之前的版本使用iptables不一样。按如下方便配置防火墙：1、关闭防火墙：sudo systemctl stop firewalld.service2、关闭开机启动：sudo systemctl disable firewalld.service

1. yum 的 group 指令¶yum 可以以程序组的模式来安装成套的软件包。支持的软件包可以通过，# yum grouplist查询到。在 group 软件包中，对于 CentOS 6，Desktop、Desktop Platform、KDE Desktop、X Window System 是主要的桌面环境。对于 CentOS 7，有 KDE Plasma

下载：https://github.com/apache/spark.git 导入IDEA，file–open–选中根目录pom.xml，勾选自己所需要的模块与配置1. 导入后，在根目录pom.xml文件中注释掉一行，如下所示： <dependency> <groupId>com.google.guava</groupId> <artifactId>gua

解决：登录客户端在本地客户端执行命令，然后按提示输入密码：mysql -uroot -pSET PASSWORD FOR 'root'@'localhost' = PASSWORD('密码');vim /etc/my.cnf[mysqld]default_password_lifetime=0设置为：0 表示永不过期重启服务:service mysql restart参考： http://da

! 的源码：def !(message: Any)(implicit sender: ActorRef = Actor.noSender): Unittell 的源码：final def tell(msg: Any, sender: ActorRef): Unit = this.!(msg)(sender)forward 的源码：def

先学习百度站长平台页面抓取栏的推送说明以下两种方式都可以推送，可以使用其中一种，也可以两种都使用1.自动推送如果是netxt主题，next主题配置文件中的baidu_push设置为true，就可以了。如果不是netx主题，想办法塞进以下的全站点js代码：<script>(function(){ var bp = document.createElement('script');

前提： - 安装Node（必须） - 安装Git（必须）安装hexo逐行执行下面命令即安装成功npm install hexo-cli -ghexo init blogcd blognpm installhexo serverhexo 博客是个静态页面，只需要发布这些静态页面到github pages上就能访问，但前提是在github上创建一个仓库，这个仓库的名字必须为【your_u

摘要: 本文介绍一下如何用yum源安装Nginx第一步，在/etc/yum.repos.d/目录下创建一个源配置文件nginx.repo：cd /etc/yum.repos.d/vim nginx.repo填写如下内容：[nginx]name=nginx repobaseurl=http://nginx.org/packages/centos/$releas

三者区别与联系：联系，三者 都是线程安全的。区别，就是 并发 和 阻塞，前者为并发队列，因为采用cas算法，所以能够高并发的处理；后2者采用锁机制，所以是阻塞的。注意点就是前者由于采用cas算法，虽然能高并发，但cas的特点造成操作的危险性，怎么危险性可以去查一下cas算法（但一些多消费性的队列还是用的它，原因看下边使用场景中的说明）后2者区别：联系，第2和第3都是阻塞队列，都是采用锁，都有阻塞容

环境： centos 6.5 x64 node-0.12.0 下载： node-v0.12.0-linux-x64.tar.gz 解压： tar -xzvf node-v0.12.0-linux-x64.tar.gz 设置环境变量：vim /etc/profileexport NODE_HOME=/usr/local/nodePATH=$PATH:$NODE_HOME/bin测试：node

classpath路径src不是classpath, WEB-INF/classes,lib才是classpathWEB-INF/ 是资源目录, 客户端不能直接访问, 这话是没错，不过现在的IDE编译器在编译时会把src下的文件（是文件，不是.java）移到WEB-INF/classes下。不过值得注意的是，spring配置文件里这个locations是uri表示，

摘要: nginx-gridfs是一个nginx的扩展模块，用于支持直接访问MongoDB的GridFS文件系统上的文件并提供 HTTP 访问。环境：centos6.5 x64 mongodb-2.6.4 nginx-1.4.7前提：安装好mongodb 1.安装nginx及nginx-gridfs 依赖库、工具# yum -y install pcre-devel openssl-

Spark Streaming共有三种运用场景，分为：无状态操作、状态操作、window操作。下面分别描述下本人对这三种运用场景的理解。1、无状态操作         只关注当前新生成的小批次数据，所有计算都只是基于这个批次的数据进行处理。         一个批次的数据，我们将这个批次的时间假设得长一些，比如说一天。这样的话，一个批次就是在一天时间内生成的数据，可以理解为

1.前提 启动hadoop,spark 2.进入saprk-shellbin/spark-shell --master spark://c1:7077 --executor-memory 2g3.SQL操作文本文件customers.txt中的内容如下：100, John Smith, Austin, TX, 78727200, Joe Johnson, Dallas, TX, 7520

版本与前提条件： hadoop-2.6.0,hive-2.0.0一、hive安装1、官网下载地址：http://hive.apache.org/downloads.html下载后解压到指定目录,例如 /usr/local/hivetar -xvf apache-hive-2.0.0-bin.tar.gz ; mv apache-hive-2.0.0-bin /usr/local/hive2、

转换（transformation）下面的列表列出了一些通用的转换。 请参考 RDD API doc (Scala, Java, Python) 和 pair RDD functions doc (Scala, Java) 了解细节. 转换含义map(func)返回一个新分布式数据集，由每一个输入元素经过func函数转换后组成

第一：初始化的时候。object Sample { var name:String=_ def main (args: Array[String]){ name="hello world" println(name) }在这里，name也可以声明为null，例：var name:String=null。这里的下划线和null的作用是一样的。

RDD，全称Resilient Distributed Datasets（弹性分布式数据集），是Spark最为核心的概念，是Spark对数据的抽象。RDD是分布式的元素集合，每个RDD只支持读操作，且每个RDD都被分为多个分区存储到集群的不同节点上。除此之外，RDD还允许用户显示的指定数据存储到内存和磁盘中，掌握了RDD编程是SPARK开发的第一步。1.RDD读取数据文件读取scala> v

以前总是分不清楚spark中flatmap和map的区别，现在弄明白了，总结分享给大家，先看看flatmap和map的定义。map()是将函数用于RDD中的每个元素，将返回值构成新的RDD。flatmap()是将函数应用于RDD中的每个元素，将返回的迭代器的所有内容构成新的RDD有些拗口，看看例子就明白了。val rdd = sc.parallelize(List("coffee panda","h

掌握implicit的用法是阅读spark源码的基础，也是学习scala其它的开源框架的关键，implicit 可分为：隐式参数隐式转换类型隐式调用函数1.隐式参数当我们在定义方法时，可以把最后一个参数列表标记为implicit，表示该组参数是隐式参数。一个方法只会有一个隐式参数列表，置于方法的最后一个参数列表。如果方法有多个隐式参数，只需一个implicit修饰即可。 当调用包含隐式参数的

在/etc/nginx/conf.d目录下：增加一文件server2.conf，编辑内容：server { listen 192.168.58.101:8888; server_name localhost; #charset koi8-r; access_log /var/log/nginx/website8888/access.log; error_log

第一步，在/etc/yum.repos.d/目录下创建一个源配置文件nginx.repo：cd /etc/yum.repos.d/vim nginx.repo 填写如下内容：[nginx]name=nginx repobaseurl=http://nginx.org/packages/centos/$releasever/$basearch/gpgcheck=0enabled=1保存，则会

第一步，在/etc/yum.repos.d/目录下创建一个源配置文件nginx.repo：cd /etc/yum.repos.d/vim nginx.repo填写如下内容：[nginx]name=nginx repobaseurl=http://nginx.org/packages/centos/$releasever/$basearch/gpgcheck=0ena

版本：spark-1.6.01.利用创建一个SBT项目参考步骤：http://blog.csdn.net/jameshadoop/article/details/522992502.编写简单代码package com.james.scala/* SimpleApp.scala */import org.apache.spark.SparkContextimport org.apache.spa

清明假期折腾了两天，总结了两种方式使用IDE进行spark程序，记录一下：第一种方法比较简单，两种方式都是采用SBT进行编译的。注意：本地不需要安装Scala程序，否则在编译程序时有版本兼容性问题。一、基于Non-SBT方式创建一个Scala IDEA工程我们使用Non-SBT的方式，点击“Next”命名工程，

一个简单的build.sbt文件内容如下：name := "hello" // 项目名称organization := "xxx.xxx.xxx" // 组织名称version := "0.0.1-SNAPSHOT" // 版本号scalaVersion := "2.9.2" // 使用的Scala版本号// 其它build定义其中， name和ve

使用intellij idea建立sbt工程上面方法是技术控的同学用的，请注意，还有更简便的方法 其实简单想一下便可知，作为IDE，它是能建立工程的，要是只能用来打开工程那也显得太鸡肋了吧。 建立方式： file -> new -> project -> Scala-> SBT 选择jdk SBT scala版本，下面的复选框可以默认 

最近在使用Idea + Scala + sbt (Macbook)做一些开发测试，但是由于默认使用国外的源，导致下载速度奇慢无比，所以想修改默认的repositories，但是怎么样才能修改默认的repositories并在Idea中使用修改后的配置呢？经过一天的折腾，总算是知道怎么新修改了，故在此备忘，也希望能帮助一些同学少走弯路。   在这一篇博客:http://blog.csdn.n

1.下载http://www.scala-sbt.org/download.html 解压： sbt-0.13.12.zip2.添加环境变量SBT_HOME=D:\JavaDev\sbt path=……;%SBT_HOME%\bin;3.配置本地仓库编辑：conf/sbtconfig.txt# Set the java args to high-Xmx512M-XX:MaxPermSize

环境： spark1.6.0,scala-2.11.0,hadoop-2.6.4 centos x64，三节点 192.168.58.11 c1 #master 192.168.58.12 c2 #slave 192.168.58.13 c3 #slave1.前提：安装JDK，安装hadoop，有安装hadoop 分布式集群的能力2.安装Scala下载：sc

#used for mycat cache service conffactory.encache=org.opencloudb.cache.impl.EnchachePooFactory#key is pool name ,value is type,max size, expire secondspool.SQLRouteCache=encache,10000,1800pool.ER_