Hadoop
文章平均质量分 61
圈圈任
专注,正念,坚持
展开
-
Hadoop+Spark集群安装步骤详解
一、环境:操作系统版本:SUSE Linux Enterprise Server 11 (x86_64) SP3主机名:192.168.0.10 node1192.168.0.11 node2192.168.0.12 node3192.168.0.13 node4 软件路径:/data/installHadoop集群路径:/dataJAVA_HOME路径:/usr/jdk1...原创 2018-02-28 11:12:40 · 708 阅读 · 0 评论 -
Hadoop+Spark+Hbase单节点安装详解
环境(举例)操作系统版本:SUSE Linux Enterprise Server 11 (x86_64) SP3IP:192.168.0.23主机名:HADOOP软件路径:/data/installHadoop集群路径:/dataJAVA_HOME路径:/usr/jdk1.8.0_66 版本组件名 版本 说明 JRE java version "1.8.0_66" Java(TM) SE...原创 2018-02-28 11:15:56 · 1295 阅读 · 0 评论 -
关于spark-evn.sh的配置(里面有worker的设置)
一、在终端程序输入命令:sudo gedit /usr/local/spark/conf/spark-env.sh(用gedit打开spark-env.sh的文件)打开后找到:export SPARK_MASTER_IP=master(设置master的IP或者服务器名称)export SPARK_WORKER_CORES=1(设置每个Worker使用的CPU核心)export SPARK_WOR...原创 2018-02-28 11:56:39 · 2899 阅读 · 0 评论 -
谈谈反向代理Nginx
一、先讲个故事很久以前,老王去饭店吃饭,需要先到饭店,七荤八素点好菜,坐等饭菜上桌,然后大快朵颐,不亦乐乎。有了第三方订餐外卖平台(代理),老王懒得动身前往饭店,老王打个电话或用APP,先选好某个饭店,再点好菜,外卖小哥会送上门来。由于某个品牌的饭店口碑特别好,食客络绎不绝涌入,第三方订餐电话也不绝于耳,但是限于饭店接待能力有限,无法提供及时服务,很多食客等得不耐烦了,纷纷铩羽而归,饭店老总看着煮...原创 2018-04-16 15:40:19 · 137 阅读 · 0 评论