- 博客(9)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Vim打造属于自己的IDE
从此一张.vimrc 的conf文件走天下。配置 .vimrc 文件;使用 Vundle 插件;在 .vimrc 文件中 个性化插件配置;最终会形成一个 配置量大的 .vimrc 文件, 以及包含各个插件的 Vundle 目录// 先挖坑, 留着后面写. 因为写起来实在太大了.
2017-10-31 10:33:09
1445
1
原创 Spark由浅到深(*)-- 基础部分代码性小结
0.预先准备安装 Spark的库// 188多Mb的文件pip install pyspark1. 初始化SparkContextfrom pyspark import SparkConf, SparkContext# 先创建一个 SparkConf 对象来配置你的应用conf = SparkConf().setMaster("local").setAppName("My App")# 然后基于
2017-10-30 17:04:54
387
原创 Spark由浅到深(3)-- 键值对型数据操作
键值对 RDD 是 Spark 中许多操作所需要的常见数据类型。因此刚入门时候用来练手和熟悉Spark, 巩固之前所学是很有必要的. Spark 为包含键值对类型的 RDD 提供了一些专有的操作。这些 RDD 被称为 pair RDD。Pair RDD 是很多程序的构成要素， 因为它们提供了并行操作各个键或跨节点重新进行数据分组的操作接口。1. 创建Pair RDD在 Spark 中有很多种创建
2017-10-26 10:27:40
501
原创 Spark由浅到深(2)-- 了解核心概念RDD
1. 什么是RDD ?弹性分布式数据集(Resilient Distributed Dataset,RDD),就是分布式的元素集合.在 Spark 中，对数据的所有操作不外乎创建 RDD、转化已有 RDD 以及调用 RDD 操作进行求值1.1 RDD基础两种方法创建 RDD： 1. 读取一个外部数据集; 2. 在驱动器程序里分发驱动器程序中的对象集合（比如 list 和 set）。示例://
2017-10-24 16:04:38
520
原创 Spark由浅到深(1)--安装,测试,问题排错
安装部署// 选择需要的版本.官网下载: http://spark.apache.org/downloads.html// 部署tar -zxf spark-1.4.0-bin-hadoop2.6.tgzcd spark-1.4.0-bin-hadoop2.6// 执行SparkShell, 这里使用Python的.bin/pyspark问题&排错错误1:[GCC 4.4.7 2012031
2017-10-20 15:33:21
1150
原创 Windows下添加MySQL服务到系统服务以及注意事项
添加 Mysql服务到系统服务Mysql安装在 D:\Program Files (x86)\mysql-5.6.37_64验证前台启动// 前台启动方式,加载指定配置文件// 以这种方式确认启动没有问题,后面方便添加到系统服务.// 不然即使显示添加成功,但是有可能启动服务失败的.D:\Program Files (x86)\mysql-5.6.37_64\bin\mysqld.exe --d
2017-10-10 10:32:53
5025
原创 Windows下启动MySQL5.6服务出现"--secure-file-priv"的报错, 以及后续"Explicit defaults for timestamp"报错解决
问题阐述CMD下执行命令行:// 前台启动MySQL服务D:\Program Files (x86)\mysql-5.6.37_64\bin\mysqld.exe --defaults-file="D:/Program Files (x86)/mysql-5.6.37_64/my.ini"出现报错:// 类似以下一个属性的报错.因为以前有过类似错误,原因就是因为配置文件问题....--secur
2017-10-10 09:46:56
1928
原创 "/bin/rm: argument list too long" 问题解决
问题/tmp 目录下:ls | wc -l 居然有累计94W+ 个小文件,累计21G+.在明确了该类文件格式之后:rm -rf *.zip但是出现:/bin/rm: argument list too long这个倒是新鲜.解决Google之后解决方法是:ls|grep {关键字} | xargs -n 10 rm -fr// 列出匹配关键字的文件, 以10个位分组,然后采取 rm -rf 的操作
2017-10-09 13:34:40
11491
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人