- 博客(14)
- 资源 (3)
- 收藏
- 关注
原创 hive on spark入门安装(hive2.0、spark1.5)
简介 hive on hive是基于hadoop的数据仓库,hdfs为hive存储空间,mapreduce为hive的sql计算引擎。但是由于mapreduce很多计算过程都要经过硬盘读写等劣势,和spark等计算引擎相比,无论是计算速度,还是计算灵活度上都有很多劣势,这也导致了hive on mapreduce计算速度并不是令人很满意。本篇来讲下hive on spark,将hive的计算引擎替换为spark,速度
2017-02-09 10:24:08 8865
原创 hive2安装
简介hive是基于hadoop的hdfs和mapreduce的一个数据仓库。hdfs是hive的存储,mapreduce是hive的sql执行引擎。hive可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能。可以理解hive为一个sql解析器来接收发过来的任务,并将任务翻译成mapreduce任务去执行sql查询。开发者可以通过hive的jdbc、jdbc、jdbc,重要的事情说三
2017-02-09 10:18:00 5317
原创 centos安装spark1.6
一.环境软件环境 centos7 spark1.6 jdk1.7 scala2.10硬件环境 192.168.1.21(master,node21) 192.168.1.22(slave,node22) 192.168.1.23(slave,node23)二.配置jdk、scala运行环境jdk安装(我习惯用tar.gz包)tar -xzvf jdk1.7.tar.gz -C
2017-02-09 10:15:21 4500
原创 修改linux的hostname
一、修改临时的hostname,重启后失效hostname ${你要指定的hostname}二、修改/etc/sysconfig/network,重启后长期有效HOSTNAME=oracle.11g.com三、修改/etc/hosts,重启后长期有效在hosts里面指定你的ip和hostname。一、二或者一、三操作后,及时生效,重启也有效。
2017-02-09 10:13:16 3974
原创 搭建yum源服务器
1.搭建apache服务器可以通过apache的http服务对外发布rpm源服务# 安装httpdyum install -y httpd# 修改httpd端口sed -i "s/^Listen.*/Listen 81/g" /etc/httpd/conf/httpd.conf# 开机启动systemctl enable httpd.service# 启动服务service httpd
2017-02-09 10:12:35 6654
原创 centos7yum安装mesos(1.0.0)+marathon+zookeeper+docker
注:docker在centos6上面运行很不稳定,如果要在mesos上运行docker的话,建议用centos7 根据官网说明安装的过程记录,linux不同版本操作系统安装不太一样,官网看这里mesosphere官网安装1.环境硬件环境 192.168.1.24(master)(mesos,marathon,zookeeper) 192.168.1.25(slave)(mesos) 192
2017-02-09 10:11:29 5279
原创 centos7安装dcos
安装过程参考官网https://dcos.io/docs/1.7/administration/installing/custom/advanced/ 尽量使用命令行去安装,官方提供的GUI图形界面安装并不太好用。一、环境软件环境 centos7 dcos硬件环境 192.168.1.27(boostap node) 192.168.1.28(master node) 192.168.
2017-02-09 09:51:19 6453 3
原创 js控制浏览器全屏
var fullscreen = { full: function () {//全屏 var elem = document.documentElement; if (elem.webkitRequestFullScreen) { elem.webkitRequestFullScreen();
2017-02-09 09:40:26 4378
原创 hadoop(一)-hadoop2.x centos安装
简介hadoop入门之搭建hadoop集群环境,想要学习hadoop的朋友可以先从搭建hadoop集群开始慢慢理解和使用hadoop。一.环境机器 192.168.1.21(namenode,sesondarynode) 192.168.1.22(data) 192.168.1.23(data) 软件 hadoop-2.6.4-tar.gz jdk1.7.tar.g
2017-02-09 09:34:29 4372
原创 docker镜像加速
dockerhub是docker官方的镜像仓库,默认下载镜像时都从这里拉取镜像。但是由于下载官方镜像速度相当慢,我们可以像maven一样将下载地址修改到国内的服务商上来。 比如可以用国内的daocloud。 在启动docker地方加入下面配置项ExecStart=/usr/bin/docker daemon -H fd:// --registry-mirror=http://91c0cc1e.m
2017-02-08 18:56:13 4512
原创 docker常用命令
docker 安装参见 https://docs.docker.com/engine/installation/linux/centos/ curl -fsSL https://get.docker.com/ | shdocker 常用命令docker服务## 启停重启服务service docker start(stop restart)## 开机启动systemctl enable do
2017-02-08 18:54:54 5604
原创 wordpress优化
1.访问gravatar头像拖慢访问速度插件中安装WP User Avatar,禁止掉2.goolefontapi拖慢访问速度安装插件Disable Google Fonts3.安装截图插件Image Paste
2017-02-08 18:53:11 4151
原创 nginx给wordpress反向代理,实现多域名访问wordpress
问题1:搭建好的worpress服务器用的端口不是80端口,80端口被占用,想转换到80上来。 问题2:搭建好的wordpress服务器向用多个域名来指向。但是简单的修改数据库中的wp_options中的home和siteurl可不行,而且也不支持多域名。我的做法是:1.首先配置nginxserver_name www.xxx.com blog.xxx.com;location / { prox
2017-02-08 18:52:24 13752
原创 centos配置ssh无密码访问
在linux上部署hadoop或者其它需要远程访问调用的程序,需要配置ssh无密码访问。1.简介centos一般都装有sshclient和sshserver,一个是服务端接收ssh协议消息,一个是客户端给sshserver发送shell命令。 常用的命令ssh、scp等命令都是sshclient中的工具。 所以要配置无密码访问,前提是一定要安装sshclient和sshserver
2017-02-08 18:46:55 4261
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人