Hue中添加Notebook

1. 使用管理员登录CM控制台，进入Hue服务界面
   配置 > 搜索“hue_safety_valve.ini”
   在hue_safety_valve.ini中添加如下配置启用Notebook功能

   [desktop]
     app_blacklist=
   
   [spark]
     livy_server_host=node00
     livy_server_port=8998
     livy_server_session_kind=yarn
   
   [notebook]
     show_notebooks=true
     enable_external_statements=true
     enable_batch_execute=true
   

   
   保存更改并重启Hue服务。

2. 登录Hue
   
   
   Notebook支持的类型
   

3. 安装部署Livy
   Cloudera Manager中安装部署Livy服务

4. 创建一个PySpark交互式会话并运行示例代码验证

   from __future__ import print_function
   import sys
   from random import random
   from operator import add
   from pyspark import SparkConf,SparkContext
   
   partitions = int(sys.argv[1]) if len(sys.argv) > 1 else 2
   n = 100000 * partitions
   
   def f(_):
       x = random() * 2 - 1
       y = random() * 2 - 1
       return 1 if x ** 2 + y ** 2 < 1 else 0
   count = sc.parallelize(range(1, n + 1), partitions).map(f).reduce(add)
   print("Pi is roughly %f" % (4.0 * count / n))