- 博客(16)
- 收藏
- 关注
RSS订阅原创 第二章：《RDD编程实例之 实验报告》
1.函数式编程实例WordCount任务：按照函数式编程的风格，编写一个程序，对某个目录下所有文件中的单词进行词频统计做法：请进入Linux系统，打开“终端”，进入Shell命令提示符状态，然后，在“/usr/local/scala/mycode”目录下，新建一个wordcount子目录，并在“/usr/local/scala/mycode/wordcount”目录下新建两个包含了一些语句的文本文件word1.txt和word2.txt（你可以在文本文件中随意输入一些单词，用空格隔开），我们会编写Sca
2020-11-19 21:46:36
1071
原创 第三章：《Spark之----Spark SQL》摘要
一、从文件中生成DataFrame1.导入包并生成相关对象scala> import org.apache.spark.sql.SparkSession //引入Spark Session包scala> val spark=SparkSession.builder().getOrCreate() //生成Spark Session对象名称为sparkscala> import spark.implicits._2.读取文件scala> val df = spark.
2020-11-19 11:05:23
225
原创 第二章：《Spark之-----RDD编程》摘要
一、普通RDD一、从文件系统中加载数据创建RDD1.读取本地文件：scala> val lines = sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt")2.读取HDFS里面的文件scala> val lines = sc.textFile("hdfs://localhost:9000/user/hadoop/word.txt")二、通过并行集合（数组）创建RDD从数组中创建：scala>val arra
2020-11-16 15:31:15
356
原创 第二章：《RDD编程实例》
1.函数式编程实例WordCount任务：按照函数式编程的风格，编写一个程序，对某个目录下所有文件中的单词进行词频统计做法：请进入Linux系统，打开“终端”，进入Shell命令提示符状态，然后，在“/usr/local/scala/mycode”目录下，新建一个wordcount子目录，并在“/usr/local/scala/mycode/wordcount”目录下新建两个包含了一些语句的文本文件word1.txt和word2.txt（你可以在文本文件中随意输入一些单词，用空格隔开），我们会编写Sca
2020-11-15 16:55:57
1171
1
原创 csdn常用的颜色
1.设置颜色：<font color=blue > blue </font>常见的颜色：blue，black，orange，green，purple，teal blue 2.设置字号大小<font size=5 > size=5 </font> size=5 3.设置颜色块<table><tr><td bgcolor=grey>gray</td></tr></table>
2020-11-13 10:41:16
416
原创 第一章：《Scala基础语法》摘要
1.声明值和变量scala> val myStr = "Hello World!"scala> val myStr2 : String = "Hello World!"scala> var myPrice : Double = 9.9scala> myPrice = 10.62.基本数据类型和操作scala> i += 1 //将i递增scala> val sum1 = 5 + 3 5.toString() //产生字符串"5""abc".in
2020-11-12 11:05:13
237
原创 连接数据库的例子
打开MySQL在vs中的代码如下：# 引入pymssql模块import pymysqlimport randomimport timeimport matplotlib.pyplot as pltimport string# 连接数据库测试def conn(): connect = pymysql.connect(host='localhost',port = 3306,user='root', passwd='214726asdfgh',db ='test') # 服务
2020-11-06 10:35:38
130
2
原创 《（1-1）sklearn库的----- 数据处理》摘要
1，获取数据补充：什么是X[y==0, 0] ？X[2,3]就是返回第二行第3列数据X[:, (2, 3)]冒号代表全部，这句话就是返回所有行的第2列和第3列X[y==0,3]就是返回满足y为0的那些行中的第三列数据①鸢尾花from sklearn.datasets import load_iris #导入鸢尾花数据集iris=load_iris()X = iris.data # 获得其特征向量y = iris.target # 获得样本labeliris.keys() #dict_
2020-11-05 18:36:32
236
原创 配置Intellij Idea
以下是阿里云镜像库<?xml version="1.0" encoding="UTF-8"?><settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0 http://m
2020-11-04 22:59:48
132
原创 《用Pandas玩转数据（2）》摘抄
1.企业欺诈识别frame.drop(frame.columns[len(frame.columns)-1],axis=1,inplace=True) #删除最后一列，其余的作为特征列results=frame.applymap(np.isreal)#applymap(函数a)可以将DtaFrame中所有元素都应用一下“函数a”的运算，np.isreal判断是不是数字#只要某一列中存在一个非数字型数据，那么这一列就全是Falseresults=frame.applymap(np.isreal
2020-11-04 19:35:44
176
原创 python安装库
方法一：经常报错的那种在cmd或者Anaconda Prompt里面运行“pip install XXX”方法二：whl文件python的whl大全里面下载你需要的whl文件，然后方法三：下载tar包从网上找到该库的tar包然后解压解压进去以后就有这个...
2020-11-01 11:11:48
163
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人