2016年10月_大数据部

转载 hbase日常运维管用命令，region管理

hbase日常运维管用命令，region管理1 Hbase日常运维1.1 监控Hbase运行状况1.1.1 操作系统1.1.1.1 IO群集网络IO，磁盘IO，HDFS IOIO越大说明文件读写操作越多。当IO突然增加时，有可能：1.compact队列较大，集群正在进行大量压缩操作。2.正在执行mapreduce作业

2016-10-20 00:13:18 3568

原创建立 HDFS 各类目录权限及shell 脚本代码

Athor: F# 1、创建默认组及权限：#!/bin/bash### 初始化默认权限sudo -u hdfs hdfs dfs -chown -R root:root /hivesudo -u hdfs hdfs dfs -chmod -R 771 /hivesudo -u hdfs hdfs dfs -chown -R root:root /dwsudo

2016-10-19 23:12:49 1715

转载 CDH中配置HDFS HA 及shell 脚本

最近又安装 hadoop 集群，故尝试了一下配置 HDFS 的 HA，CDH4支持Quorum-based Storage和shared storage using NFS两种HA方案，而CDH5只支持第一种方案，即 QJM 的 HA 方案。关于 hadoop 集群的安装部署过程你可以参考使用yum安装CDH Hadoop集群或者手动安装 hadoop 集群的过程。集群

2016-10-18 20:41:00 2082

原创 Linux - Xen VM 的系统必要初始化安装

# 1、拷贝上传：yum相关内容。/etc/yum//etc/yum.conf/etc/yum.repos.d# 2、修改/etc/resolv.confecho "\# Generated by NetworkManager " >>/etc/resolv.confecho "search hexun.com " >>/etc/resolv.confech

2016-10-10 13:33:40 480

原创 CentOS6--优化服务器网络访问速度，关闭IPV6：解决CURL慢的问题

Author：Fu优化服务器网络访问速度：解决CURL慢的问题-关闭IPV6支持。现象：CURL请求URL地址，速度都在5秒以上。说明：在使用curl获取某接口时会curl: (6) Couldn’t resolve host ‘www.coolnull.com’。奇葩的是ping www.coolnull.com域名是通的。上网搜了下。在CentOS6系统下，

2016-10-10 10:16:42 4928

转载 Centos 6上安装 Mysql 5.7.13

1. 下载mysql的repo源wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm12. 安装mysql57-community-release-el7-8.noarch.rpm包rpm -ivh mysql57-community-release-el7-8.noarch.rpm --nod

2016-10-09 15:26:23 605

原创 CentOS6上最小安装的虚拟机上安装MySQL 5.6.32

1、MySQL 5.6.32 64位安装包下载在官网http://dev.mysql.com/downloads/mysql/5.6.html#中使用迅雷下载MySQL 5.6.32 64位安装包下载（或者wget 下载：# cd /usr/local/src # wget http://cdn.mysql.com/Downloads/MySQL-5.6/MyS

2016-10-09 15:23:52 1364

转载 Mysql5.6主从热备配置

数据库是应用系统的核心，为了保证数据库的安全采用主从热备是很常见的方法，也就是主数据库DDL、DML都将被同步到从数据库。一、实验环境操作系统：windowsserver 2008 R2数据库：mysql-advanced-5.6.21-winx64二、准备工作1、把需要同步的数据库实例从主数据库备份出来，然后手动导入从数据库，以保

2016-10-08 20:32:50 448

转载 RESTful API 设计 - 实践

RESTful API 设计 - 实践Best Practices for Designing a Pragmatic RESTful API http://www.vinaysahni.com/best-practices-for-a-pragmatic-restful-api http://www.oschina.net/translate/best-pra

2016-10-06 11:37:18 703

转载使用 AngularJS & NodeJS 实现基于 token 的认证应用

使用 AngularJS & NodeJS 实现基于 token 的认证应用认证是任何Web应用中不可或缺的一部分。在这个教程中，我们会讨论基于token的认证系统以及它和传统的登录系统的不同。这篇教程的末尾，你会看到一个使用 AngularJS 和 NodeJS 构建的完整的应用。传统的认证系统在开始说基于token的认证系统之前，我

2016-10-06 11:09:49 798

转载 AngularJS+RestfulAPI+BasicAuth+Python/PHP/Node.JS来实现一个最简单的新闻管理后台

备忘：前言一般来说，一个管理后台的构建的基本流程是：(1)选择一个开发语言->(2)选择一种数据库->(3)选择一个开发轮子(framework)->(4)在轮子上搭建前端框架->(5)实现业务逻辑。一旦一个后台做出来以后，有了技术积累，以后其他的项目都是克隆版本，这样的流程的缺陷是：开发语言选型被固化技术人员的招聘、团队协作开发都必须依赖开发语

2016-10-06 10:51:26 1379

转载 Hive权限控制和超级管理员的实现

Hive权限机制：Hive从0.10可以通过元数据控制权限。但是Hive的权限控制并不是完全安全的。基本的授权方案的目的是防止用户不小心做了不合适的事情。先决条件：为了使用Hive的授权机制，有两个参数必须在hive-site.xml中设置： hive.security.authorization.enabled true e

2016-10-02 15:49:24 859

转载 Hive的Security配置

《Programming Hive》的Security章节取出来，翻译了一下。Hive还是支持相当多的权限管理功能，满足一般数据仓库的使用。 Hive由一个默认的设置来配置新建文件的默认权限。Xml代码 property> name>hive.files.umask.valuename> value>0002valu

2016-10-02 15:47:46 535