- 博客(6)
- 收藏
- 关注
RSS订阅原创 Spark Dataframe转换/行动操作
疑惑最近抛弃了RDD,开始使用Dataframe,主要还是因为使用数据库的原因.在RDD中我们都知道惰性操作,知道RDD转换操作和行动操作的区别,但是到了Dataframe中呢,Dataframe有自己的一系列方法,虽然是万变不离其宗,Dataframe归根结底是一种特殊的RDD,但是很多地方都没有对Dataframe的转换操作和行动操作做介绍.这也是我一直疑惑的解惑首先,需要肯定的是Dat...
2018-11-29 21:09:18
1292
原创 spark 中 postgresql数据库使用
毕竟是号称世界上最先进的数据库,还是要会一点的一:最近是在spark里面使用,需要从数据库中直接读出数据构建Dataframe,但是这里有一个坑点,我需要拿到每天的数据,但是如果不使用spark.sql()执行sql语句,而是使用其他API,就涉及一个日期条件怎么写的问题,最后解决时是使用spark.read.jdbc(),参数除了url,表名,配置文件,就是一个predicates的条件A...
2018-11-26 10:23:22
1241
原创 关于多线程的一些感想
以前的疑惑 接触多线程也有段时间,实话说,自己其实根本没理解,Java的并发编程书籍也看了几本了,什么多线程设计模式,并发工具,线程池源码也都有所了解,一直还自我感觉还不错,但我在想一个问题,多线程是如何提升性能的?cpu同一时刻不是只能运行一个线程吗?如果是在单核的情况下,加上线程上下文切换的时间,那岂不是多线程比单线程还耗时,这些我一直没想通,直...
2018-11-25 14:59:29
286
原创 Pycharm Professional最新版本不区分带小写代码提示
最近因为需要使用Flask,所以更新了最新的pycharm professional版本,但是不小心删除了原来的配置,所以需要重新配置,然后发现professional版本的setting中的Code Completion内容不一样了,原来的修改大小写提示也就没用了.解决办法其实还是在Code Completion下,把 Match case 前面的勾取消就可以了...
2018-11-24 09:32:13
153
原创 docker使用
docker使用因为最近经常使用docker,然而每次都得找博客查使用方法,所以这次自己记录下来,希望可以记住启动docker我的系统是archlinux,所以使用systemctl start docker.service就可以启动了.关闭docker和启动一样,直接systemctl stop docker.service就可以了.查看版本和详细信息查看版本:docker ver...
2018-11-23 11:57:38
165
原创 Python 时间类型转换
最近经常需要时间转换,每次都得去找博客,很烦,所以自己记录一下相关的使用1:datetime ->格式化字符串对于datetime类型的时间,可以直接使用datetime的方法 strftime(pattern)可以将datetime类型转换为格式化的字符串,格式为pattern,参数pattern是字符串类型,例如 '%Y-%m-%d %H:%M:%S' 时间类型为xxxx-...
2018-11-22 12:02:50
1206
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人