大数据
hua_jing
这个作者很懒,什么都没留下…
展开
-
spark 和 hadoop的web UI
spark http://ip:8080/ spark master http://ip:4040 spark shell hadoop http://ip:8088 yarn http://ip:50070 hdfs原创 2017-11-03 11:28:57 · 2616 阅读 · 0 评论 -
hadoop安装
环境配置 虚拟机复制出3台linux,分别如下 192.168.159.128 作为master 192.168.159.129 作为worker1(slave) 192.168.159.130 作为worker2(slave) 每台机器hosts为 192.168.159.128 master 192.168.159.129 worker1 192.168.159.130 worker...原创 2018-06-25 13:30:09 · 153 阅读 · 0 评论 -
spark安装
官方文档 http://spark.apache.org/docs/latest/ 配置spark 下载spark,如:spark-2.2.0-bin-hadoop2.7.tgz 解压:tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz 测试运行:./bin/run-example SparkPi 10,依赖前提是jdk8+安装完成 ...原创 2018-06-27 15:01:34 · 142 阅读 · 0 评论 -
spark-shell 参数
Usage: ./bin/spark-shell [options] Options: --master MASTER_URL spark://host:port, mesos://host:port, yarn, or local. --deploy-mode DEPLOY_MODE Whether to launch the driver program loca...原创 2018-06-28 11:51:26 · 6081 阅读 · 0 评论 -
spark概念理解
学习大数据入门难,就是因为一大堆概念就把人弄晕了,今天按自己的理解整理一下。 大体结构如下图原创 2018-06-28 16:54:56 · 292 阅读 · 0 评论 -
hive 安装
https://www.cnblogs.com/wmcoder/p/7099235.html原创 2018-07-04 16:59:19 · 141 阅读 · 0 评论 -
hive命令参数
Usage ./hive <parameters> --service serviceName <service parameters> Service List: beeline cleardanglingscratchdir cli hbaseimport hbaseschematool help hiveburninclient hiveserver2 hplsql ...原创 2018-07-06 09:35:07 · 407 阅读 · 0 评论