自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 DataFrames与RDDs的相互转换

SparkSQL:DataFrames与RDDs的相互转换SparkSQL 支持2种RDDs转换DataFrames的方式1、使用反射获取RDD内的schema,当已知类的schema的时候,使用这种基于发射的方法会让代码更加简洁而且效果也很好 2、通过编程接口指定schema,通过spark ...

2017-03-28 00:51:42

阅读数 963

评论数 0

原创 linux中grep的使用

核心 grep的基本操作grep是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来选项 -a 不要忽略二进制数据 -A<显示列数> 除了显示符合范本样式的那一行之外,并显示该行之后的内容 -b 在显示符合范文样式的那一行之外,并显示该行之前的内容。...

2017-03-27 22:45:03

阅读数 298

评论数 0

原创 dict和set的使用

核心 dict和set的介绍和使用dict python内置了字典:dict的支持,dict全称dictionary,在其他语言中也成为map,使用键-值(key-value)存储,具有极快的查询速度,如果用list实现,需要两个listname=['spark','hadoop','flum...

2017-03-26 18:39:08

阅读数 326

评论数 0

原创 Centos7修改启动的方式

在Centos7启动方式变化很大 之前的版本只需要修改/etc/inittab修改最后一个参数为3就可以了,而且模式有很多种,但是在centos7目前只有2种模式了。只有3和5了[root@localhost ~]# cat /etc/inittab # inittab is no longe...

2017-03-20 23:23:47

阅读数 1455

评论数 0

原创 awk高级编程

核心 学习AWK的高级编程1、读取下一条记录 awk中next语句使用,在循环行匹配,如果遇到next,就会跳过当前行,直接忽略下面语句,而进行下一行匹配。next语句一般用于多行合并。当记录行号除以2余1,就跳过当前行,下面的print NR,$0也不会执行,下一行开始,程序有开始判断NR%...

2017-03-20 22:58:31

阅读数 324

评论数 0

原创 虚拟机通过NAT上外网

在虚拟机里面安装了Linux以后如果要Linux也能上网这个是一个很大的问题, 环境:vm9.0 Linux: Centos6.4 目标是:安装大数据组织,需要将IP静态化和连接外网 采用的网络是:nat模式第一步在虚拟机里面通过的Edit菜单下面的virtual network edit...

2017-03-16 00:56:50

阅读数 791

评论数 0

原创 linux下Split的使用

split命令可以将一个大文件分割成很多个小文件,有时需要将文件分割成更小的片段,比如为提高可读性,生成日志等。选项 -b:值为每一个输出档案的大小,单位为byte -C:每一输出档中,单行的最大byte数 -d: 使用数字作为后缀 -l: 值为每一输出档的列数大小实例 生成一个大小为1...

2017-03-15 21:02:38

阅读数 467

评论数 0

原创 Python开山篇-List和Tuple的使用

核心 1、list和tuple的介绍和使用前面我们介绍了python的基本类型,有整形,浮点型、布尔型等 list python内置的一种数据类型的列表,list是一种有序的集合,可以随时添加和删除其中的元素。比如 classname是一个变量,里面存了3个元素,其中的len是获取clas...

2017-03-10 23:18:53

阅读数 271

评论数 0

原创 linux下awk的基本使用

核心 1、什么是awk 2、awk的工作原理 3、awk的选项介绍 4、基本使用 5、运算符 6、内建变量 7、案例1、什么是awk AWK是一种处理文本文件的语言,是一个强大的文本分析工具。 之所以叫AWK是因为其取了三位创始人 Alfred Aho,Peter Weinber...

2017-03-07 22:45:19

阅读数 568

评论数 1

原创 Python的类型和变量

核心 1、python的类型 2、python的变量1、python的类型 计算机能处理各种数值,比如文字,整数,小数等等,这些不同的数据,需要定义不同的数据类型,在python中,能够直接处理的数据类型有以下几种 整数 python可以处理任意大小的整数,当然包括负整数,在程序中的表示...

2017-03-06 23:37:25

阅读数 334

评论数 0

原创 linux中的stat介绍

核心 1、什么是stat命令 2、stat的格式 3、stat的基本操作 4、stat的案例1、什么是stat命令 stat指令:文件/文件系统的详细信息显示。 stat命令主要用于显示文件或文件系统的详细信息,该命令的语法格式如下: -f  不显示文件本身的信息,显示文件所在文件...

2017-03-05 22:31:24

阅读数 22285

评论数 0

原创 python文本编辑以及输入输出

核心 1、python文件编辑器的书写 2、python在window和linux下的执行 3、python的输入 4、python的输出1、python的文本编辑器 在python的交互式命令行写程序,好处是一下子就能得到结果,但是这个结果没有办法保存,下次还想运行的时候,还得再敲一遍...

2017-03-03 23:41:21

阅读数 1934

评论数 0

原创 Python开山篇-python的第一个小程序

核心 1、我为什么学习python 2、python的基本安装 跳过 3、python的第一个程序1、我为什么学习python 先说说为什么我要选择学习python,主要有几点 1、在目前大数据的情况 数据分析是未来发展的确实,R和python是数据分析领域重要的语言 2、多年的she...

2017-03-03 00:17:13

阅读数 1158

评论数 0

原创 linux中expect的使用

核心 1、什么是expect 2、expect原理 3、expect的案例 4、expect注意事项1、expect是什么 使用Linux的程序员对输入密码都不会陌生,在Linux下对用户有严格的权限限制,干很多事情越过了权限就得 输入密码,比如使用超级用户执行命令,又比如scp、ss...

2017-03-01 22:31:51

阅读数 3865

评论数 0

提示
确定要删除当前文章?
取消 删除