2017年09月_Ronney-Hua

12月 11月 10月 09月 08月 07月 06月 05月 04月

原创 pyspark与jupyter集成

最简单的一种方式: 修改环境变量vi ~/.bashrc添加export PYSPARK_DRIVER_PYTHON=jupyter export PYSPARK_DRIVER_PYTHON_OPTS=’notebook’source ~/.bashrc

2017-09-22 15:56:04 1524

转载 Hive内部表与外部表区别详细介绍

1.创建内部表与外部表的区别是什么？2.external关键字的作用是什么？3.外部表与内部表的区别是什么？4.删除表的时候，内部表与外部表有什么区别？5.load data local inpath '/home/wyp/data/wyp.txt' into table wyp;的过程是什么样子的？6.磁盘，hdfs,hive表他们之间的过程是什么样子的？好了，进入正题。今天我们要探讨的

2017-09-22 15:44:02 364

原创 Linux CentOS6离线安装Jupyter notebook

1、环境介绍Linux: CentOS 6.7Python: 2.72、安装python3.5下载python3.5安装包：wget –no-check-certificate https://www.python.org/ftp/python/3.5.0/Python-3.5.0.tgz解压到当前目录：tar -zxvf Python-3.5.0.tgzcd Python-3.5.0./conf

2017-09-22 15:35:22 6162 1

转载 python3.5学习笔记：linux6.4 安装python3 pip setuptools

文章转载自：http://www.cnblogs.com/liujian001/p/5160869.html前言： python3应该是python的趋势所在，当然目前争议也比较大，这篇随笔的主要目的是记录在linux6.4下搭建python3环境的过程以及碰到的问题和解决过程。　　另外，如果本机安装了python2，尽量不要管他，使用python3运行python脚本就好，因为可能有程序依赖目

2017-09-21 09:22:40 499