- 博客(14)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 DataFrames与RDDs的相互转换
SparkSQL:DataFrames与RDDs的相互转换SparkSQL 支持2种RDDs转换DataFrames的方式1、使用反射获取RDD内的schema，当已知类的schema的时候，使用这种基于发射的方法会让代码更加简洁而且效果也很好 2、通过编程接口指定schema，通过spark sql的接口创建RDD的schema，这种方式会让代码比较冗长，这种方式的好处是，在运行时才知道数据的列
2017-03-28 00:51:42
1241
原创 linux中grep的使用
核心 grep的基本操作grep是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来选项 -a 不要忽略二进制数据 -A<显示列数> 除了显示符合范本样式的那一行之外，并显示该行之后的内容 -b 在显示符合范文样式的那一行之外，并显示该行之前的内容。 -c 计算符合范文样式的列数 -C<显示列数>或-<显示列数> 除了显示符合范本样式的那一列之外，并显示该列之
2017-03-27 22:45:03
612
原创 dict和set的使用
核心 dict和set的介绍和使用dict python内置了字典：dict的支持，dict全称dictionary，在其他语言中也成为map，使用键-值(key-value)存储，具有极快的查询速度，如果用list实现，需要两个listname=['spark','hadoop','flume']model=['scala','java','scala']给定一个名字，要查找对应的语言，就先
2017-03-26 18:39:08
634
原创 Centos7修改启动的方式
在Centos7启动方式变化很大 之前的版本只需要修改/etc/inittab修改最后一个参数为3就可以了，而且模式有很多种，但是在centos7目前只有2种模式了。只有3和5了[root@localhost ~]# cat /etc/inittab # inittab is no longer used when using systemd.## ADDING CONFIGURATION
2017-03-20 23:23:47
1767
原创 awk高级编程
核心 学习AWK的高级编程1、读取下一条记录 awk中next语句使用，在循环行匹配，如果遇到next，就会跳过当前行，直接忽略下面语句，而进行下一行匹配。next语句一般用于多行合并。当记录行号除以2余1，就跳过当前行，下面的print NR,$0也不会执行，下一行开始，程序有开始判断NR%2值。 这个时候记录行号:2，就会执行下面语句块 'print NR,$0'[root@SZB-L00
2017-03-20 22:58:31
611
原创 虚拟机通过NAT上外网
在虚拟机里面安装了Linux以后如果要Linux也能上网这个是一个很大的问题， 环境：vm9.0 Linux: Centos6.4 目标是：安装大数据组织，需要将IP静态化和连接外网 采用的网络是：nat模式第一步在虚拟机里面通过的Edit菜单下面的virtual network editor进入 进入以后看到虚拟网卡信息，有桥接，有host-only有NAT会对应虚拟网卡是vmnet
2017-03-16 00:56:50
1028
原创 linux下Split的使用
split命令可以将一个大文件分割成很多个小文件，有时需要将文件分割成更小的片段，比如为提高可读性，生成日志等。选项 -b：值为每一个输出档案的大小，单位为byte -C：每一输出档中，单行的最大byte数 -d: 使用数字作为后缀 -l: 值为每一输出档的列数大小实例 生成一个大小为100KB的测试文件[root@SZB-L0032013 ~]# dd if=/dev/zero bs=1
2017-03-15 21:02:38
1136
原创 Python开山篇-List和Tuple的使用
核心 1、list和tuple的介绍和使用前面我们介绍了python的基本类型，有整形，浮点型、布尔型等 list python内置的一种数据类型的列表，list是一种有序的集合，可以随时添加和删除其中的元素。比如 classname是一个变量，里面存了3个元素，其中的len是获取classname的长度>>> classname=['xlucas','tom','jack']>>> cl
2017-03-10 23:18:53
443
原创 linux下awk的基本使用
核心 1、什么是awk 2、awk的工作原理 3、awk的选项介绍 4、基本使用 5、运算符 6、内建变量 7、案例1、什么是awk AWK是一种处理文本文件的语言，是一个强大的文本分析工具。 之所以叫AWK是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的Family Name的首字符。2、awk的工作原理
2017-03-07 22:45:19
829
1
原创 Python的类型和变量
核心 1、python的类型 2、python的变量1、python的类型 计算机能处理各种数值，比如文字，整数，小数等等，这些不同的数据，需要定义不同的数据类型，在python中，能够直接处理的数据类型有以下几种 整数 python可以处理任意大小的整数，当然包括负整数，在程序中的表示方法和数学上的写法是一样的，例如 1,100,10000.0.-8000等等，计算机由于使用二进制，所以
2017-03-06 23:37:25
529
原创 linux中的stat介绍
核心 1、什么是stat命令 2、stat的格式 3、stat的基本操作 4、stat的案例1、什么是stat命令 stat指令：文件/文件系统的详细信息显示。 stat命令主要用于显示文件或文件系统的详细信息，该命令的语法格式如下： -f 不显示文件本身的信息，显示文件所在文件系统的信息 -Z 打印SElinux安全上下文信息 -L 显示符号链接 -c
2017-03-05 22:31:24
31410
原创 python文本编辑以及输入输出
核心 1、python文件编辑器的书写 2、python在window和linux下的执行 3、python的输入 4、python的输出1、python的文本编辑器 在python的交互式命令行写程序，好处是一下子就能得到结果，但是这个结果没有办法保存，下次还想运行的时候，还得再敲一遍代码，所以我们在实际的开发中，是需要将运行的代码保存在文本中，程序就可以反复执行了。 现在我们就将一个
2017-03-03 23:41:21
4101
原创 Python开山篇-python的第一个小程序
核心 1、我为什么学习python 2、python的基本安装 跳过 3、python的第一个程序1、我为什么学习python 先说说为什么我要选择学习python，主要有几点 1、在目前大数据的情况 数据分析是未来发展的确实，R和python是数据分析领域重要的语言 2、多年的shell编程告诉我，脚本语言是一门很有意思语言，只要你敢想，它就敢实现 3、另外一个主要原因，陪女朋友一起
2017-03-03 00:17:13
1444
原创 linux中expect的使用
核心 1、什么是expect 2、expect原理 3、expect的案例 4、expect注意事项1、expect是什么 使用Linux的程序员对输入密码都不会陌生，在Linux下对用户有严格的权限限制，干很多事情越过了权限就得 输入密码，比如使用超级用户执行命令，又比如scp、ssh连接远程主机等等 比如我们要是 到10.20.24.103这台机器上去。就需要输入密码[root@S
2017-03-01 22:31:51
4839
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人