- 博客(10)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 利用case class导入有header的txt文件&利用csv创建dataFrame的时候使用schema去定义dataFrame
1.有header的txt文件创建DataFrame： 利用 mapPartitionsWithIndex val teacherRdd = sc.textFile("src/test/teacher.txt") val teacherRddSchema = teacherRdd.mapPartitionsWithIndex((idx, iter) => if (idx == 0) i...
2019-07-28 23:09:32
189
原创 Scala中运用windowing函数
先创建一个rank spec // 用df("salary").asc代表升序排列，desc代表降序 val rankSpec = Window.partitionBy("age").orderBy(df("salary").desc) 然后为自己的表添加一列rank val sararyRank = df.withColumn("rank",dense_rank().over(ra...
2019-07-21 22:56:35
461
原创 用VS2010更改MFC标题栏图标及执行程序的方法
网上的教程： ////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////...
2019-07-21 22:34:07
302
原创 从csv文件创建dataFrame
读取CSV文件创建dataFrame的写法： val df1 = spark.read .format("csv") .option("header","true") .option("inferSchema","true") .load("src/test/resource/1.csv") 完整写法： import org.apache....
2019-07-21 22:32:43
2092
原创 利用case class将RDD转化为DataFrame
先定义一个case clas case class people(id:Int, name:String, age:Int) 读取txt，转化为RDD val rddpeople = sc.textFile("source path") 利用case class给RDD一个schema val peopleSchema = rddpeople.map(row => row.s...
2019-07-21 22:19:50
870
原创 配置使用libevent库——使用libevent编写第一个程序
1、创建一个空白的win32控制台程序 2、准备libevent库 在工程目录下分别创建inc和lib目录。 把libevent解压目录下的所有.h文件复制到inc目录。 把libevent解压目录下的include下的event2目录复制到inc目录。 把libevent解压目录下的WIN32-Code下的event2目录和tree.h复制到in
2014-07-13 03:01:25
771
原创 libevent库的编译
将下载回来的libevent解压到本地硬盘。（libevent的下载地址：http://libevent.org/ ） 我下载的是libevent-2.0.21-stable版本，加压到H盘 直接用VS2013的Visual Studio命令提示工具进行编译：
2014-07-13 02:41:10
623
原创 VS2010 更改MFC标题栏图标和生成的执行文件图标
网上的教程： ////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////
2012-11-19 01:08:10
422
原创 第一个有界面的程序
暑假接近尾声了，还有2天就要上学了。说好放假把自己做过的程序都记录下来的，结果一拖再拖，人的惰性就是这样啊，一开始就一股劲地对自己说肯定要做，结果到最后也没做。所以在暑假最后的日子，赶紧记下午暑假在实验室培训编写的第一个有界面程序。 经过考核进入实验室，那时我只懂C语言和略懂些汇编、OD的使用。显现这是无法满足团队做项目的要求的。暑假带我的研究生师兄叫我趁现在暑假没项目下来，先在实验
2012-08-31 16:45:38
635
原创 努力吧！为了你骚年的精彩
进实验室实习也一周多了。从上周的23号开始，经过一个阶段的培训，老师试着让我进实验室里坐坐呆着，让师兄布置些简单的任务给我做，看我是否能跟上，是否适合实验室。哈，培训这么久，终于有点成绩，可以让我试着进实验室工作了~23号那天挺兴奋的。只是实验室实习生的身份，不允许我录指纹那么快，所以进出实验室的门口都要按门铃等人家来开门，这个是挺烦的。 说起那每周五的培训课（差不多持续了一个多月吧
2012-07-31 01:20:47
551
利用TCP实现主客机对话收发文件（可主动断开连接，发送文件过程中取消，发送速率）
2014-09-04
libevent配置程序-附已编译的libevent的lib和头文件
2014-07-13
《算法导论》pdf
2012-08-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人