- 博客(7)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 spark双master解决单点问题
如果master异常退出，将导致1、无法向spark集群提交任务2、老任务即使运行结束，计算所占用的资源将无法释放，因为回收资源的指令是master发出的解决方案：思路：借鉴hadoop的SencondaryNameNode，设立备用master，当处于服务的master异常退出后，备用的master将替换之技术：使用ZooKeeper的ElectLeader功能配
2016-03-29 21:09:45
2286
1
原创 hadoop2.7.1配置备忘
1、hadoop-env.sh# 开启自动同步代码，当重启master时，master机器上的hadoop代码同步到各台slaves上export HADOOP_MASTER=master:$HADOOP_HOMEexport HADOOP_SLAVE_SLEEP=0.1export JAVA_HOME=$JAVA_HOME # 前提是JDK环境变量已配置，chk：echo $JAV
2016-03-25 11:38:57
500
原创 hadoop1.2备忘录
一、JDKsudo apt-get install openjdk-7-jdkvim /etc/profile添加以下内容，若jdk安装目录不同，需修改JAVA_HOME# java envexport JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64export JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=$
2016-03-15 23:14:05
386
原创 laravel nginx配置
server { listen 80; server_name jjf.com; set $root_path '/var/www/jjf/public'; root $root_path; index index.php index.html index.htm; try_files $uri $uri/ @rewrite; lo
2016-03-15 15:05:04
1079
原创 php-fpm
1、安装：编译php时，加上 --enable-fpm 即可2、配置：sudo groupadd www-datasudo useradd www-datasudo cp /usr/local/etc/php-fpm.conf.default /usr/local/etc/php-fpm.confsudo cp /usr/local/etc/php-fpm.d/www.con
2016-03-15 14:21:30
547
原创 laravel学习
Ubuntu14.04 64bit一、安装composer1、下载composer，地址：https://getcomposer.org/composer.phar2、安装sudo mv composer.phar /usr/local/bin/composercomposer config -g repo.packagist composer https://packagist.
2016-03-15 12:26:45
386
原创 PHP7安装备忘
一、安装系统依赖库：sudo apt-get install gcc make libxml2-dev libssl-dev二、安装PHP7./configure --with-mysql --with-openssl出现错误：configure: error: Cannot find OpenSSL's libraries问题是：到 /usr/lib 下找不到 libss
2016-03-15 09:59:58
331
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人