自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

阿瞒的博客

一个找到自己的小人物

  • 博客(6)
  • 收藏
  • 关注

原创 Spark Dataframe转换/行动操作

疑惑最近抛弃了RDD,开始使用Dataframe,主要还是因为使用数据库的原因.在RDD中我们都知道惰性操作,知道RDD转换操作和行动操作的区别,但是到了Dataframe中呢,Dataframe有自己的一系列方法,虽然是万变不离其宗,Dataframe归根结底是一种特殊的RDD,但是很多地方都没有对Dataframe的转换操作和行动操作做介绍.这也是我一直疑惑的解惑首先,需要肯定的是Dat...

2018-11-29 21:09:18 1292

原创 spark 中 postgresql数据库使用

毕竟是号称世界上最先进的数据库,还是要会一点的一:最近是在spark里面使用,需要从数据库中直接读出数据构建Dataframe,但是这里有一个坑点,我需要拿到每天的数据,但是如果不使用spark.sql()执行sql语句,而是使用其他API,就涉及一个日期条件怎么写的问题,最后解决时是使用spark.read.jdbc(),参数除了url,表名,配置文件,就是一个predicates的条件A...

2018-11-26 10:23:22 1241

原创 关于多线程的一些感想

以前的疑惑    接触多线程也有段时间,实话说,自己其实根本没理解,Java的并发编程书籍也看了几本了,什么多线程设计模式,并发工具,线程池源码也都有所了解,一直还自我感觉还不错,但我在想一个问题,多线程是如何提升性能的?cpu同一时刻不是只能运行一个线程吗?如果是在单核的情况下,加上线程上下文切换的时间,那岂不是多线程比单线程还耗时,这些我一直没想通,直...

2018-11-25 14:59:29 286

原创 Pycharm Professional最新版本不区分带小写代码提示

最近因为需要使用Flask,所以更新了最新的pycharm professional版本,但是不小心删除了原来的配置,所以需要重新配置,然后发现professional版本的setting中的Code Completion内容不一样了,原来的修改大小写提示也就没用了.解决办法其实还是在Code Completion下,把 Match case 前面的勾取消就可以了...

2018-11-24 09:32:13 153

原创 docker使用

docker使用因为最近经常使用docker,然而每次都得找博客查使用方法,所以这次自己记录下来,希望可以记住启动docker我的系统是archlinux,所以使用systemctl start docker.service就可以启动了.关闭docker和启动一样,直接systemctl stop docker.service就可以了.查看版本和详细信息查看版本:docker ver...

2018-11-23 11:57:38 165

原创 Python 时间类型转换

最近经常需要时间转换,每次都得去找博客,很烦,所以自己记录一下相关的使用1:datetime ->格式化字符串对于datetime类型的时间,可以直接使用datetime的方法 strftime(pattern)可以将datetime类型转换为格式化的字符串,格式为pattern,参数pattern是字符串类型,例如 '%Y-%m-%d %H:%M:%S'  时间类型为xxxx-...

2018-11-22 12:02:50 1206

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除