- 博客(14)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 hive on spark入门安装(hive2.0、spark1.5)
简介 hive on hive是基于hadoop的数据仓库，hdfs为hive存储空间，mapreduce为hive的sql计算引擎。但是由于mapreduce很多计算过程都要经过硬盘读写等劣势，和spark等计算引擎相比，无论是计算速度，还是计算灵活度上都有很多劣势，这也导致了hive on mapreduce计算速度并不是令人很满意。本篇来讲下hive on spark，将hive的计算引擎替换为spark，速度
2017-02-09 10:24:08
8842
原创 hive2安装
简介hive是基于hadoop的hdfs和mapreduce的一个数据仓库。hdfs是hive的存储，mapreduce是hive的sql执行引擎。hive可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能。可以理解hive为一个sql解析器来接收发过来的任务，并将任务翻译成mapreduce任务去执行sql查询。开发者可以通过hive的jdbc、jdbc、jdbc，重要的事情说三
2017-02-09 10:18:00
5295
原创 centos安装spark1.6
一.环境软件环境 centos7 spark1.6 jdk1.7 scala2.10硬件环境 192.168.1.21(master,node21) 192.168.1.22(slave,node22) 192.168.1.23(slave,node23)二.配置jdk、scala运行环境jdk安装（我习惯用tar.gz包）tar -xzvf jdk1.7.tar.gz -C
2017-02-09 10:15:21
4476
原创 修改linux的hostname
一、修改临时的hostname，重启后失效hostname ${你要指定的hostname}二、修改/etc/sysconfig/network,重启后长期有效HOSTNAME=oracle.11g.com三、修改/etc/hosts，重启后长期有效在hosts里面指定你的ip和hostname。一、二或者一、三操作后，及时生效，重启也有效。
2017-02-09 10:13:16
3964
原创 搭建yum源服务器
1.搭建apache服务器可以通过apache的http服务对外发布rpm源服务# 安装httpdyum install -y httpd# 修改httpd端口sed -i "s/^Listen.*/Listen 81/g" /etc/httpd/conf/httpd.conf# 开机启动systemctl enable httpd.service# 启动服务service httpd
2017-02-09 10:12:35
6584
原创 centos7yum安装mesos(1.0.0)+marathon+zookeeper+docker
注：docker在centos6上面运行很不稳定，如果要在mesos上运行docker的话，建议用centos7 根据官网说明安装的过程记录，linux不同版本操作系统安装不太一样，官网看这里mesosphere官网安装1.环境硬件环境 192.168.1.24(master)（mesos,marathon,zookeeper） 192.168.1.25(slave)（mesos） 192
2017-02-09 10:11:29
5260
原创 centos7安装dcos
安装过程参考官网https://dcos.io/docs/1.7/administration/installing/custom/advanced/ 尽量使用命令行去安装，官方提供的GUI图形界面安装并不太好用。一、环境软件环境 centos7 dcos硬件环境 192.168.1.27（boostap node） 192.168.1.28（master node） 192.168.
2017-02-09 09:51:19
6415
3
原创 js控制浏览器全屏
var fullscreen = { full: function () {//全屏 var elem = document.documentElement; if (elem.webkitRequestFullScreen) { elem.webkitRequestFullScreen();
2017-02-09 09:40:26
4349
原创 hadoop（一）-hadoop2.x centos安装
简介hadoop入门之搭建hadoop集群环境，想要学习hadoop的朋友可以先从搭建hadoop集群开始慢慢理解和使用hadoop。一.环境机器 192.168.1.21(namenode,sesondarynode) 192.168.1.22(data) 192.168.1.23(data) 软件 hadoop-2.6.4-tar.gz jdk1.7.tar.g
2017-02-09 09:34:29
4351
原创 docker镜像加速
dockerhub是docker官方的镜像仓库，默认下载镜像时都从这里拉取镜像。但是由于下载官方镜像速度相当慢，我们可以像maven一样将下载地址修改到国内的服务商上来。 比如可以用国内的daocloud。 在启动docker地方加入下面配置项ExecStart=/usr/bin/docker daemon -H fd:// --registry-mirror=http://91c0cc1e.m
2017-02-08 18:56:13
4490
原创 docker常用命令
docker 安装参见 https://docs.docker.com/engine/installation/linux/centos/ curl -fsSL https://get.docker.com/ | shdocker 常用命令docker服务## 启停重启服务service docker start(stop restart)## 开机启动systemctl enable do
2017-02-08 18:54:54
5572
原创 wordpress优化
1.访问gravatar头像拖慢访问速度插件中安装WP User Avatar，禁止掉2.goolefontapi拖慢访问速度安装插件Disable Google Fonts3.安装截图插件Image Paste
2017-02-08 18:53:11
4126
原创 nginx给wordpress反向代理,实现多域名访问wordpress
问题1：搭建好的worpress服务器用的端口不是80端口，80端口被占用，想转换到80上来。 问题2：搭建好的wordpress服务器向用多个域名来指向。但是简单的修改数据库中的wp_options中的home和siteurl可不行，而且也不支持多域名。我的做法是：1.首先配置nginxserver_name www.xxx.com blog.xxx.com;location / { prox
2017-02-08 18:52:24
13596
原创 centos配置ssh无密码访问
在linux上部署hadoop或者其它需要远程访问调用的程序，需要配置ssh无密码访问。1.简介centos一般都装有sshclient和sshserver，一个是服务端接收ssh协议消息，一个是客户端给sshserver发送shell命令。 常用的命令ssh、scp等命令都是sshclient中的工具。 所以要配置无密码访问，前提是一定要安装sshclient和sshserver
2017-02-08 18:46:55
4228
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人