jupyter使用笔记

list index out of range

countByValue时出现错误（list index out of range），原因是出现数组越界，有些用户对应的行数据小于44。
解决方法：过滤那些行数据量小于44的用户

查看其他用户程序开启状态： 132.98.17.120:4047/jobs/

shell 警告：warn util.utils::service ‘sparkUI’ can not bind on part 4040.Attempting port 4041.

反映在程序中的错误为sc is not defined。
问题1 spark-shell里面又单独的设置了spark的context，因为spark-shell里已经有一个context对象了，所以你新建创建的数据无法使用。解决方法为重启shell。
问题2 主要就是数据库的端囗都已经被占满了&#x