大数据
andrew_CS
这个作者很懒,什么都没留下…
展开
-
pyspark 通过jupyter notebook 本地连接远程服务器
1、远程服务器安装jupyter notebook等 2、生成密码。 $ ipython In [1]: from IPython.lib import passwd In [2]: passwd() Enter password: #输入远程登陆时的密码(服务器密码) Verify password: #确认密码 Out[2]: 'sha1:。。。。。。。。。。。。。。。' 3、...原创 2019-06-05 17:22:45 · 516 阅读 · 0 评论 -
ubantu系统双版本python的jupyter notebook安装及pip超时报错问题
注意事项:ubantu16.04已安装python2.7和python3.5。不需要重复安装。 1、查看pip版本: python2 -m pip --version python3 -m pip --version 若没安装pip,先安装:sudo apt install python3-pip 2、双版本升级pip: sudo python2 -m pip install -...原创 2019-05-31 18:07:09 · 397 阅读 · 0 评论 -
填坑之pyspark在jupyter中运行报错及spark依赖python版本切换等
在ubantu成功安装配置spark等组件后,去pyspark编辑脚本运行,报出错误:Exception: Java gateway process exited before sending the driver its port number。 尝试了大神建议的很多方法都没有解决,如配置JAVA_HOME路径、重装Java版本1.8等等,还有人说用anaconda可以完美解决,但懒于下载配置...原创 2019-06-04 11:06:29 · 2165 阅读 · 0 评论 -
HiveSQL日期处理
1、日期函数UNIX时间戳转日期函数: from_unixtime() 函数 格式 返回值 说明 from_unixtime from_unixtime(bigint unixtime[, string format]) string 转化UNIX时间戳(从1970-01-01 00:00:00 UTC到指定时间的秒数)到当前时区的时间格式 ...原创 2019-07-06 15:31:31 · 3529 阅读 · 0 评论 -
vim设置多行缩进方法
多行缩进是代码修改经常用到的操作,很多情况下可能想直接在vim编辑器修改,可使用ctrl+v进入visual模式,然后用光标移动等方法选中要缩进的多行代码,shift+‘>’ 向左缩进,‘<’向右缩进,但问题是一般默认缩进8个空格,如果缩进4个空格需修改vim配置文件,添加或修改如下内容: set smartindent set tabstop=4 set s...原创 2019-08-22 17:53:41 · 902 阅读 · 0 评论