自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

转载 最长回文子序列(LPS)

问题描述 回文序列(Palindromic sequence, Palindrome)是指正向遍历和反向遍历完全相同的序列,例如字符串“AAAAA”显然是一个回文序列,又如字符串“ABC@CBA”也是一个回文序列。现在,我们要在一个(字符)序列中找出最长回文子序列的长度。例如字符序列"...

2017-02-19 10:57:12 391 0

转载 Ubuntu下查看CPU、内存和硬盘详细信息的几个命令

转载自:【http://www.sijitao.NET/1749.html】 CPU: 型号:grep "model name" /proc/cpuinfo |awk -F ':' '{print $NF}' 数...

2017-02-16 17:06:02 1871 0

转载 Mongodb集群搭建的三种方式

点击打开链接   MongoDB是时下流行的NoSql数据库,它的存储方式是文档式存储,并不是Key-Value形式。关于Mongodb的特点,这里就不多介绍了,大家可以去看看官方说明:http://docs.mongodb.org/manual/        今...

2016-12-02 17:00:27 381 0

转载 Spark 连接Hive分布式环境搭建

创建用户   adduser username  chmod u+w /etc/sudoers  vim /etc/sudoers  chmod u-w /etc/sudoers 源码编译mysql 5.5 (安装多个版本的MySQL) 安装cmake ...

2016-12-02 16:54:42 1373 0

转载 Mongodb开启与关闭

点击打开链接 Mongodb的开启 默认启动: $ ./mongodb 默认数据保存路径:/data/db/ 默认端口:27017 修改默认路径: --dbpath $ ./mongdb --dbpath /mongodb/ ...

2016-11-28 15:16:01 390 0

转载 linux 查看系统信息命令

原文链接 Linux 查看系统信息命令是linux初学者必备的基础知识, 这些命令也非常有用, 因为进入linux第一件事就可能是首先查看系统信息, 因此必要的系统的学习一下这些linux系统信息命令还是非常有必要的! 下面给除了各linux发行版比较常用的系统信息查询的命令,...

2016-11-26 22:34:10 260 0

转载 Spark算子:RDD行动Action操作(4)–countByKey、foreach、foreachPartition、sortBy

点击打开链接 countByKey def countByKey(): Map[K, Long] countByKey用于统计RDD[K,V]中每个K的数量。 [plain] view plain copy  print? sca...

2016-11-23 21:17:20 275 0

转载 spark性能优化:数据倾斜调优

原文链接 调优概述 有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证Spark作业的性能。 数据倾斜发生时的现象  ...

2016-11-23 21:15:11 341 0

转载 Hive

HiveHive 中包含以下数据模型:表(Table),外部表(External Table),分区(Partition),桶(Bucket)。每一个 Table 在 Hive 中都有一个相应的目录存储数据。例如,一个表 pvs,它在 HDFS 中的路径为:/wh/pvs,其中,wh 是在 hiv...

2016-11-17 22:37:15 530 0

转载 Hive on Spark 与Spark SQL比较

Hive on Spark 与Spark SQL比较背景Hive on Spark是由Cloudera发起,由Intel、MapR等公司共同参与的开源项目,其目的是把Spark作为Hive的一个计算引擎,将Hive的查询作为Spark的任务提交到Spark集群上进行计算。通过该项目,可以提高Hiv...

2016-11-17 22:29:15 5894 1

转载 Hive--HiveQL与SQL区别

链接 1.hive内联支持什么格式? 2.分号字符注意什么问题? 3.hive中empty是否为null? 4.hive是否支持插入现有表或则分区中? 5.hive是否支持INSERT INTO 表 values()? 1、Hive不支持等值连接  •SQL中对两表内联可...

2016-11-15 08:53:53 20077 1

转载 spark dataframe操作集锦(提取前几行,合并,入库等)

原文链接 DataFrame 的函数 Action 操作 1、 collect() ,返回值是一个数组,返回dataframe集合所有的行 2、 collectAsList() 返回值是一个Java类型的数组,返回dataframe集合所有的行 3、 count() 返回一个number...

2016-11-14 15:11:59 1142 0

转载 How big is your MongoDB?

原文链接 How big is your MongoDB? by chris on 2014/01/23 in MONGODB Update 11/10/14: The next blog post in this series is on managing disk space...

2016-11-09 09:57:32 244 0

转载 shell命令执行hive脚本(hive交互,hive的shell编程)

原文链接 Hive执行方式 Hive的hql命令执行方式有三种: 1、CLI 方式直接执行 2、作为字符串通过shell调用hive –e执行(-S开启静默,去掉”OK”,”Time taken”) 3、作为独立文件,通过shell调用 hive –f或hive –i执行...

2016-11-05 17:21:57 13106 0

转载 YCSB官方文档-核心属性

原文链接 1. 核心YCSB属性 所有工作量文件可以指定以下属性: workload:要使用的工作量类(例如com.yahoo.ycsb.workloads.CoreWorkload)db:要使用的数据库类。可选地,这在命令行可以指定(默认:com.yahoo.ycsb.Ba...

2016-11-03 15:19:29 2916 0

转载 SparkSQL与Hive on Spark的比较

原文链接 简要介绍了SparkSQL与Hive on Spark的区别与联系 一、关于Spark 简介 在Hadoop的整个生态系统中,Spark和MapReduce在同一个层级,即主要解决分布式计算框架的问题。 架构 Spark...

2016-11-02 19:22:26 512 0

转载 Spark-Hadoop、Hive、Spark 之间是什么关系?

原文链接 大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆,各有各的用处,互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤,你可以用小刀或者刨子去皮。但是每个工具有自己的特性,虽...

2016-11-02 16:48:16 13616 7

原创 MongoDB基本使用

MongoDB自带JavaScript shellMongoDB shell 命令db查看当前指向哪个数据库 创建 db.col.insert(post) 读取db.col.find() db.col.findOne() 更新post.comments=[] db.col.update({ti...

2016-10-31 22:12:18 1883 0

转载 浅谈UML的概念和模型之UML九种图

原文链接  目录:  UML的视图 UML的九种图 UML中类间的关系             上文我们介绍了,UML的视图,在每一种视图中都包含一个或多种图。本文我们重点讲解UML每种图的细节问题:           1、用例图(use case d...

2016-10-26 08:55:06 230 0

原创 Spark连接MongoDB

jdk1.8安装jdk解压到/opt/java目录,然后在~/.bashrc中加入下面几行:export JAVA_HOME=/opt/java/jdk1.8.0_101 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME...

2016-10-12 19:21:12 10374 2

转载 MongoDB + Spark: 完整的大数据解决方案

原文链接 Spark介绍 按照官方的定义,Spark 是一个通用,快速,适用于大规模数据的处理引擎。 通用性:我们可以使用Spark SQL来执行常规分析, Spark Streaming 来流数据处理, 以及用Mlib来执行机器学习等。Java,python,scala...

2016-09-30 17:12:48 12640 0

原创 139. Word Break

Given a string s and a dictionary of words dict, determine if s can be segmented into a space-separated sequence of one or more dictionary words.For ...

2016-09-19 21:19:47 210 0

原创 Binary Tree Traversal(Preorder, Inorder, Postorder )

Given a binary tree, return the preorder traversal of its nodes’ values.For example: Given binary tree {1,#,2,3}, 1 \ 2 / ...

2016-09-19 10:41:03 351 0

原创 90. Subsets II

Given a collection of integers that might contain duplicates, nums, return all possible subsets.Note: The solution set must not contain duplicate sub...

2016-09-19 10:25:36 158 0

转载 mongodb的write concern

原文链接 mongodb有一个write concern的设置,作用是保障write operation的可靠性。一般是在client driver里设置的,和db.getLastError()方法关系很大 一般来说,所有的mongo driver,在执行一个写操作(inser...

2016-09-17 21:01:01 237 0

原创 NoSQL数据库

NoSQL数据库介绍 与传统数据库比较

2016-09-17 19:25:15 182 0

转载 Mongodb存储特性

原文链接 一、存储引擎(Storage)     mongodb 3.0默认存储引擎为MMAPV1,还有一个新引擎wiredTiger可选,或许可以提高一定的性能。     mongodb中有多个databases,每个database可以创建多个collections,collec...

2016-09-17 10:42:41 6699 0

原创 32. Longest Valid Parentheses

Given a string containing just the characters ‘(’ and ‘)’, find the length of the longest valid (well-formed) parentheses substring.For “(()”, the lo...

2016-09-14 10:03:53 182 0

原创 78. Subsets

Given a set of distinct integers, nums, return all possible subsets.Note: The solution set must not contain duplicate subsets.For example, If nums =...

2016-09-14 09:37:58 213 0

原创 链表中与环相关的问题

141. Linked List CycleGiven a linked list, determine if it has a cycle in it.Follow up: Can you solve it without using extra space?Subscribe to see ...

2016-09-14 09:28:06 165 0

转载 mongoDB In-Memory Storage Engine

原文链接 On this page Specify In-Memory Storage EngineConcurrencyMemory UseDurabilityDeployment Architectures Changed in version 3.2.6...

2016-09-13 08:59:10 1169 0

转载 mongoDB MMAPv1 Storage Engine

原文链接 On this page JournalRecord Storage CharacteristicsRecord Allocation StrategiesMemory Use MMAPv1 is MongoDB’s original sto...

2016-09-13 08:58:06 1158 0

转载 mongoDB WiredTiger Storage Engine

原文链接 On this page Document Level ConcurrencySnapshots and CheckpointsJournalCompressionMemory Use Starting in MongoDB 3.0, the WiredTiger st...

2016-09-13 08:56:53 1020 0

转载 MongoDB Storage

原文链接 On this page Storage Engine FundamentalsCan you mix storage engines in a replica set?WiredTiger Storage EngineMMAPv1 Storage Eng...

2016-09-12 10:07:55 1000 0

原创 88. Merge Sorted Array

Given two sorted integer arrays nums1 and nums2, merge nums2 into nums1 as one sorted array.Note: You may assume that nums1 has enough space (size t...

2016-09-11 23:14:54 126 0

转载 Google 的开源技术protobuf 简介与例子

本文来自CSDN博客:http://blog.csdn.net/program_think/archive/2009/05/31/4229773.aspx       今天来介绍一下“Protocol Buffers ”(以下简称protobuf)这个玩意儿。本来俺在构思“...

2016-09-10 21:08:01 175 0

原创 字符串匹配

Implement strStr().Returns the index of the first occurrence of needle in haystack, or -1 if needle is not part of haystack.Subscribe to see which co...

2016-09-10 20:22:45 205 0

转载 MongoDB源码概述——内存管理和存储引擎

原文链接 数据存储:   之前在介绍Journal的时候有说到为什么MongoDB会先把数据放入内存,而不是直接持久化到数据库存储文件,这与MongoDB对数据库记录文件的存储管理操作有关。MongoDB采用操作系统底层提供的内存文件映射(MMap)的方式来实现对数据库记录文件...

2016-09-10 10:36:01 1423 0

转载 mongodb

点击打开链接 overview      MongoDB使用的是内存映射存储引擎,即Memory Mapped Storage Engine,简称MMAP。MMAP可以把磁盘文件的一部分或全部内容直接映射到内存,这样文件中的信息位置就会在内存中有对应的地址空...

2016-09-08 21:57:27 801 0

转载 内存映射文件原理

原文链接 原理 首先,“映射”这个词,就和数学课上说的“一一映射”是一个意思,就是建立一种一一对应关系,在这里主要是只硬盘上文件 的位置与进程 逻辑地址空间 中一块大小相同的区域之间的一一对应,如图1中过程1所示。这种对应关系纯属是逻辑上的概念,物理上是不存在的,原因是进程的逻...

2016-09-05 21:19:31 218 0

提示
确定要删除当前文章?
取消 删除