python
黑尾土拨鼠
远处的是风景,近处的才是人生
展开
-
Spark实战(三)本地连接远程Spark(Python环境)
一、Python环境准备 远程服务器上Python版本要与本地想匹配,这里本地使用Anaconda来进行安装,远程服务器之间安装。wget --no-check-certificate https://www.python.org/ftp/python/3.6.7/Python-3.6.7.tgztar -zxvf Python-3.6.7.tgz sudo ./configure -...原创 2018-12-25 09:51:29 · 9869 阅读 · 2 评论 -
Spark实战(六)spark SQL + hive(Python版)
一、hive环境准备1、安装hive 按照hive安装步骤安装好hiveCREATE USER 'spark'@'%' IDENTIFIED BY '123456';GRANT all privileges ON hive.* TO 'spark'@'%';flush privileges;2、环境配置 将配置好的hive-site.xml放入$SPARK-HOME/...原创 2019-01-10 13:54:29 · 9540 阅读 · 0 评论 -
Spark实战(四)spark+python快速入门实战小例子(PySpark)
一、flume安装(一)概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件,socket数据包等各种形式源数据,又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中,一般的采集需求,通过对flume的简单配置即可实现, Flume针对特殊场景也具备良好的自定义扩展能力,因此,flume可以适用于大部分的...原创 2019-01-10 10:55:53 · 16570 阅读 · 1 评论 -
Spark实战(五)spark streaming + flume(Python版)
一、flume安装(一)概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件,socket数据包等各种形式源数据,又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中,一般的采集需求,通过对flume的简单配置即可实现, Flume针对特殊场景也具备良好的自定义扩展能力,因此,flume可以适用于大部分的...原创 2019-01-10 10:58:13 · 2104 阅读 · 1 评论 -
Spark实战(七)spark streaming +kafka(Python版)
一、ZooKeeper集群搭建(一)、集群部署的基本流程 下载安装包、解压安装包、修改配置文件、分发安装包、启动集群(二)、ZooKeeper集群搭建1、下载安装包 去官网下载zookeeper压缩包2、解压安装包 tar -zxvf zookeeper-3.4.12.tar.gz解压并重命名为zookeeper3、修改配置文件cd zookeeper/confcp...原创 2019-01-17 09:17:27 · 3409 阅读 · 0 评论