2016年06月_Lucy_Leezhi

原创 SQL Server 数据库中SQL优化的一次记录

最近公司的报表系统中有一个SQL 执行需要消耗40分钟，开发人员的机器上有相同数据量的数据库，仅仅执行2分钟就可以了。这个SQL的功能是在数据库的某张表上进行递归计算，取出一个树状结构。鉴于开发人员的机器上只需要2分钟，因此我们推断服务器的数据库肯定有问题。因此我们查看了服务器和本机的执行计划，执行计划都是一样的，但是在两台机器上，执行某一步时，一个消耗的时间很长，本机执行却很短。执行路径都是索

2016-06-28 22:15:54 417

原创 Spark RDD 编程实例

Spark 最核心的概念就是RDD：弹性分布式数据集。RDD 是Spark 操作数据的一种抽象，本质是分布式数据集合。这种集合被分为多个分区，这些分区运行在集群的不同节点上。我们在Spark的shell 上执行的命令，会在每个分区上执行，最后将执行结果汇总起来就得到我们需要的结果。根据是否需要立即计算，我们把RDD操作分为两种：转换操作和行动操作。转换操作的RDD命令，并不会立即进行计算，而

2016-06-28 21:09:11 1614

原创 Spark,Hello World

首先下载Spark并解压缩到/apphome目录，/apphome/spark-1.6.1-bin-hadoop2.6 进入到这个目录后执行如下命令：bin/spark-shell Spark 启动成功。来实现第一个例子：在spark shell 中依次输入如下命令：val lines = sc.textFile("README.md")lines.count()lines.first()

2016-06-27 20:43:51 447

原创关于程序语言的选择学习 java/python/scala

在spark 平台的开发上，目前支持java,python,scala三种语言，我一直考虑，看是使用哪一种语言比较适合我。我使用java已经有6年了，对java了解很多，包括多线程，JVM，java的源代码也学习过很多等，在java的平台上也一直在做开发。对于python来说，我很早以前就看过一点Python，了解一些，python语言的哲学是:one way to do it。一种方法做一

2016-06-27 20:35:17 1327

原创 Hello,Spark

最近一直想研究一下大数据Hadoop, 但是用了整整一个周末，也没发现合适的资料，还在京东了买了两本书，按照书上的说明，最后环境搭建失败了，估计是hadoop 对技术要求太高了。所以我就换到Spark上来研究一下。之前安装过python，因为启动PySpark 需要使用python。但是启动时，却遇到错误，先在这里记录问题修复的过程，然后再说Spark的hello world。这里启动的错误是：

2016-06-26 14:32:33 395

原创 Ubuntu 安装python 2.7.11

都说Ubuntu LTS 版本默认安装了python 2.7 版本，但是我在shell 执行python 果断直接提示找不到python。因此就准备安装一个，安装的原因是为了后续学习spark。安装python 可费劲了。这里记录下来供学习和参考。安装GCC 首先要用root账号登录并在Ubuntu shell 上执行如下命令来更新软件仓库的URL。 apt-get update 其次执行

2016-06-26 13:53:27 18198 2

原创 Ubuntu 安装Redis

Redis 是一个key/value 类型的数据库，它将数据都存放在内存中，因此操作速度非常快。数据持久化有两种方式：数据存放内存中，redis定期将数据刷新到磁盘文件中。也就是RDB。数据直接写到磁盘文件中。也就是AOF。关于这两种方式，各有优缺点，前者适合备份以及恢复，但是容灾性能并不好，如果机器down掉的话，可能会损失好几分钟的数据。后者的话，即使机器down掉，最多损失1秒的数据。在

2016-06-19 11:46:52 482

首先在jenkins官网上下载jenkins.war包。下载后，将war包上传到jerry/webapps目录下，并在此目录中新建文件jenkins.xml，文件完整内容如下：<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE Configure PUBLIC "-//Jetty//Configure//EN" "http://www.eclipse.o

2016-06-11 21:02:28 674

原创 Ubuntu 安装jetty

在jetty 官方网站上下载jetty 9.39 版本的tar包。下载后将此包上传到/apphome目录。使用root登录Ubuntu，运行tar -xvf /apphome/jetty-distribution-9.3.9.v20160517.tar.gz 命令，然后在root的Home目录会发现多了个jetty-*的文件夹。然后执行 mv jetty-* /etc/jetty 将此文件夹内

2016-06-09 02:17:09 1974

原创 Ubuntu 安装JDK

首先在网上下载JDK，进官网下载，选择linux 64位。下载后解压缩并将目录名改为java 将这个解压缩后的文件夹上传到ubuntu的/usr/lib/jvm/目录下。因为是FTP上传，所以需要将java/bin目录下的权限添加一个x权限。执行命令：chmod 700 /usr/lib/jvm/java/bin/*然后执行vi ~/.profile 来编辑该文件，在该文件末尾添加： expor

2016-06-09 01:09:45 335

原创 Ubuntu 安装FTP

在Ubuntu 上安装FTP服务器首先更新软件清单，执行命令：apt-get update 下载vsftpd，执行命令：apt-get install vsftpd启用本地账户登录，执行vi /etc/vsftpd.conf 来编辑配置注释#anonymous_enable=YES 取消注释local_enable=YES write_enable=YES启用root登录FTP 执行

2016-06-09 00:21:44 488

原创 Ubuntu Server的安装配置

安装虚拟机：首先在Ubuntu 网站上下载Ubuntu Server 64 bit版本的ISO软件。然后用vmware创建一个新的虚拟机，选择安装Ubuntu，输入账号密码后，即可进入自动安装(这里的账号不能输入root)。安装结束后，你就可以直接输入刚才安装过程中的账号密码了。我们这里是appadmin。更改root密码：输入账号密码登录后，遇到的第一个问题就是root账号的密码多少？

2016-06-08 23:35:16 367

Lucy_Leezhi