2015年10月_qwurey

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载分布式服务框架：Zookeeper

本文转自：《分布式服务框架：Zookeeper》Zookeeper是一个高性能，分布式的，开源分布式应用协调服务。它提供了简单原始的功能，分布式应用可以基于它实现更高级的服务，比如同步，配置管理，集群管理，名空间。它被设计为易于编程，使用文件系统目录树作为数据模型。服务端跑在java上，提供java和C的客户端API。Zookeeper是Google的Chubby一个开源的实现

2015-10-30 21:24:13 459

原创 LeetCode Contains Duplicate II 数组

思路：滑动窗口大小为k（用start，end指向），如果这之间找到相同的元素，直接返回；否则，放到set中，如果再往set中加一个元素，set大小就要超过k的话，将start指向的元素从set中删除，start前移。28ms，时间复杂度：O（N），空间复杂度：O（N）class Solution {public: bool containsNearbyDuplicate(vector<in

2015-10-29 23:27:10 300

原创 LeetCode Contains Duplicate 数组

思路：104ms，时间复杂度：O（N），空间复杂度：O（N）class Solution {public: bool containsDuplicate(vector<int>& nums) { set<int> s; for(int num: nums) { if(s.find(num) != s.end()) return tru

2015-10-29 22:21:34 361

转载 Hadoop服务层授权控制

本文转载自过往记忆（http://www.iteblog.com/）Hadoop在服务层进行了授权（Service Level Authorization）控制，这是一种机制可以保证客户和Hadoop特定的服务进行链接，比如说我们可以控制哪个用户/哪些组可以提交Mapreduce任务。所有的这些配置可以在$HADOOP_CONF_DIR/hadoop-policy.

2015-10-26 15:30:16 2217

转载 Hadoop默认端口应用一览

本文转自：《Hadoop默认端口应用一览》Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper。

2015-10-25 20:04:45 19858

转载 Hadoop发行版的比较与选择

本文转自：《Hadoop发行版的比较与选择》Hadoop的发行版除了社区的Apache Hadoop外，Cloudera，Hortonworks，MapR，EMC，IBM，Intel，华为等都提供了自己的商业版本。商业版主要是提供了专业的技术支持，这对一些大型企业尤其重要。每个发行版都有自己的一些特点，本文就各个发行版做简单介绍。 2008 年成立的 Cloudera 是

2015-10-25 11:16:25 2004

基于hadoop2.7.1版本一、简介1、 WebHDFS官方简介：IntroductionThe HTTP REST API supports the complete FileSystem/FileContext interface for HDFS.2、HttpFS GateWay官方简介：HttpFS is a server that provides a REST HTTP gateway

2015-10-25 11:14:32 3861

原创 LeetCode Course Schedule BFS

思路：BFS + 拓扑排序Status：MLE Reason：用二维数组 vector<vector<int>> 存图信息，有太多没用的信息0，占用了很大空间。看了DISCUSS后的优化：用 vector<unordered_set<int>> 存图信息，表示为每个节点对应连接到哪些节点。class Solution {public: bool canFinish(int nu

2015-10-24 18:02:27 362

原创 flume安装配置小结

测试：flume监视本地数据源上的数据变化，写入到hdfs中。flume版本：1.6.0 hadoop版本：2.7.1安装过程：（1）解压，配置 /etc/profile 并使之生效。（2）配置 $FLUME_HOME/conf/flume-env.sh：export JAVA_HOME=/opt/jdk1.7.0_80（3）配置 $FLUME_HOME/conf/test-conf：#age

2015-10-24 11:36:33 516

原创 Minimum Size Subarray Sum 数组

思路：前后指针用来卡。时间复杂度：O（N），空间复杂度：O（1）。class Solution {public: int minSubArrayLen(int s, vector<int>& nums) { int start = 0, end = 0; int min_len = INT_MAX; int sum = 0;

2015-10-23 23:22:47 514

原创 LeetCode Isomorphic Strings 哈希

思路：[s[i], t[i]] 映射的两个约束：（1）要确保每个s[i]可以唯一的映射到t[i]，但可能出现一个t[i]有多个s[i]对应；（2）要确保每个t[i]可以唯一的映射到s[i]，但可能出现一个s[i]有多个t[i]对应；

2015-10-21 22:06:26 303

原创 LeetCode Remove Linked List Elements 链表

思路：注意用c++进行链表的删除时，对相应node需要free，避免内存泄露。

2015-10-21 21:13:46 294

原创 LeetCode Bitwise AND of Numbers Range

思路：将问题转化为：求m和n的二进制表示的前缀都为1的个数。举例：m=5，n=7 5：101 6：110 7：111 求得：bit = 1class Solution {public: int rangeBitwiseAnd(int m, int n) { int bit = 0; while(m != n) { m >>=

2015-10-21 19:48:30 285

原创 LeetCode Number of Islands DFS

思路：DFS。class Solution {private: void dfs(vector<vector<char>>& grid, int i, int j) { if(i < 0 || i > grid.size() - 1 || j < 0 || j > grid[0].size() - 1) return; if(grid[i][j] == '1

2015-10-20 22:22:11 316

原创 LeetCode Binary Tree Right Side View 树的层次遍历

思路：每层的最后一个元素，即使用层次遍历一遍。时间复杂度O（N），空间复杂度O（N）。N为节点个数。/** * Definition for a binary tree node. * struct TreeNode { * int val; * TreeNode *left; * TreeNode *right; * TreeNode(int x)

2015-10-20 21:04:42 374

原创 LeetCode House Robber DP

思路：递推公式：maxAmount[i] = max(maxAmount[i-2] + nums[i], maxAmount[i-1])DP。时间复杂度：O（N），空间复杂度O（N）。class Solution {public: int rob(vector<int>& nums) { int n = nums.size(); if(n == 0) r

2015-10-20 20:17:21 362

原创 sqoop配置以及使用过程小结

使用sqoop用来将关系型数据库里的内容与HDFS上的内容互转。本文用sqoop测试2个内容：（1）将pg上数据移动到hdfs上；（2）将hdfs上数据移动到pg上；hadoop版本：2.7.1 sqoop版本：sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz pg版本：9.4.1

2015-10-20 10:51:01 7607 3

原创 hive配置元数据库为postgresql小结

hive版本1.2.1hadoop2.7.1配置hive：根据hive的源数据不同分为三种模式 1、内嵌模式，使用自带的derby 2、本地独立模式，本地 pg库 3、远程模式，远程pg库，通过thrift连这里主要将第三种模式#假设hadoop2.7.1已经正常启动（1）配置环

2015-10-19 21:19:05 5889

原创 centos6.5进入救援模式

当进不去系统，又不想重装系统的情况下，最好使用救援模式来挽回。能挽回一点是一点。虚拟机下的centos6.5也可以进入救援模式。一、首先在BIOS中把启动选项设置成DVD光驱启动或者USB启动。二、从光盘启动之后再出现的选项中选择“Rescue installed system”然后按回车确认。三、语言选择，这里我们选择默认的就可以了，因为不是图形化得，所以没有办法支持中文，键盘也选择默认然后按回车

2015-10-14 20:44:54 14588

原创 pgadmin & phppgadmin的配置

接着上文，PostgreSql Server具备了一个超级用户hadoop，其密码是hadoop。可以从远程用各种客户端工具连接这台服务器了。目前PostgreSql比较成熟的图形化管理界面是PgAdmin，具有Windows、Mac、Linux等多种版本，网站是http://www.pgadmin.org/，支持PostgreSql Server 9.4需要pgAdmin v1.20.0 avai

2015-10-14 20:34:34 2970

原创 centos6.5 搭建postgresql小结

安装前准备yum install readline-devel zlib-devel下载源码并解压、编译安装wget https://ftp.postgresql.org/pub/source/v9.4.1/postgresql-9.4.1.tar.bz2 tar -xjvf postgresql-9.4.1.tar.bz2 cd postgresql-9.4.1 ./configure --

2015-10-14 16:22:59 5111

转载 VMware Fusion DHCP方式下如何指定虚拟机IP地址

本文转自：《VMware Fusion DHCP方式下如何指定虚拟机IP地址》默认情况下，vmware fusion中的虚拟机，网卡设置成dhcp（动态分配）时，会分配一个IP地址，但这个IP通常很难记，如果我们想为某台虚拟机挑一个好记的IP地址，可以按如下步骤操作：命令行下，输入sudo vi /Library/Preferences/VMware\ Fusion/

2015-10-10 15:28:02 1666

原创 PGXL的JDBC访问

“任何傻瓜都能写出计算机可以理解的代码。好的程序员能写出人能读懂的代码” —— Martin Fowler

2015-10-10 12:32:43 1000

原创 PostgreSQL的JDBC访问

“过去的代码都是未经测试的代码” —— 无名

2015-10-09 21:31:25 1343

转载常用数据库 JDBC URL 格式

本文转自：《常用数据库 JDBC URL 格式》Microsoft SQL ServerMicrosoft SQL Server JDBC Driver （一般用来连接 SQLServer 2000）驱动程序包名：msbase.jar mssqlserver.jar msutil.jar驱动程序类名: com.microsoft.jdbc.sqlse

2015-10-09 21:23:12 711

原创 Postgres-XL介绍

“沉默即赞同” —— 无名一、什么是Postgres-XLXL的意思是：eXtensible Lattice，可以扩展的格子，即将PostgreSQL应用在多机器上的分布式数据库的形象化表达。Postgres-XL 是一个完全满足ACID的、开源的、可方便进行水平扩展的、多租户安全的、基于PostgreSQL的数据库解决方案。

2015-10-09 19:24:07 13510

原创 Postgres-XL集群的搭建

“如果你惟一的工具是一把锤子，你往往会把一切问题看成钉子” —— 无名集群规划建立5个虚拟机构成的集群，虚拟机的os均为centos6.5，依次命名为cnode1，cnode2，cnode3，cnode4，cnode5，其中cnode1为gtm，其余4个节点均为coordinator和datanode。

2015-10-09 10:00:35 6036 4