本人已run不再更新内容保留有错见谅-CSDN博客

原创 SparkContext scala初始化篇

第一关:sparkcontext初始化import org.apache.spark.{SparkConf, SparkContext}object Test { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("educoder").setMaster("local") val sc=new SparkContext(conf) ...

2022-05-04 08:39:59 2819

原创 educoder Redis安全与性能

第3关：Redis事务与流水线#!/usr/bin/env python #-*- coding:utf-8 -*-import time import redisconn = redis.Redis()# 将商品放到平台上 def add_item_to_market(itemid, sellerid, price): # 请在下面完成要求的功能 #********* Begin *********# repertory = "inventor.

2022-04-28 15:15:41 458

原创使用Redis进行搜索

第1关：构建反向索引#!/usr/bin/env python #-*- coding:utf-8 -*-import re import redisconn = redis.Redis()# 文本序列化 def tokenize(content): # 请在下面完成要求的功能 #********* Begin *********# words = set() for word in re.findall("[a-z]{2,}", ..

2022-04-28 15:14:03 1860

原创使用Redis构建简单的社交网站

第1关：创建用户与动态#!/usr/bin/env python #-*- coding:utf-8 -*-import re import time import redisconn = redis.Redis()# 创建新用户 def create_user(login_name, real_name): # 请在下面完成要求的功能 #********* Begin *********# login_name = login_name.lo

2022-04-28 14:59:18 848

原创 Redis基本命令

第1关：字符串、列表与集合#!/usr/bin/env python#-*- coding:utf-8 -*-import redisconn = redis.Redis()def task_empty(): # 请在下面完成判断任务列表是否为空 #********* Begin *********# return int(conn.llen("task_list"))==0 #********* End *********#def get_task()

2022-04-28 11:22:35 668

转载 RDD的创建 -Scala educoder

第1关：集合并行化创建RDDimport org.apache.spark.{SparkConf, SparkContext}object Student { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName(this.getClass.getSimpleName).setMaster("local") val sc = new SparkContext(conf

2022-04-22 10:46:10 2751

原创 Spark算子--Scala版本 educoder

第1关：转换算子之map和distinct算子import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object EduCoder1 { def main(args: Array[String]): Unit = { val conf =new SparkConf().setAppName("educoder1").setMaster("local") val sc

2022-04-22 10:33:23 2064

原创 Spark算子综合案例 - Scala篇

第1关：WordCount - 词频统计import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext}object WordCount { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").setAppName("WordCount") val

2022-04-22 10:23:32 3646 2

原创 spark 安装与使用 educoder

大致顺序是这样，仅供参考，欢迎指正！命令行不能直接复制，所以出错的可能比较大。第一关：mkdir /appcd /opttar -zxvf scala-2.12.7.tgz -C /appvi /etc/profileSCALA_HOME=/app/scala-2.12.7export PATH =$PATH:$SCALA_HOME/bincd /appcd scala-2.12.7scala -version第2关：安装与配置Spark开发环境mkdir /

2022-04-21 15:45:48 4666

原创 educoder Scala面向对象编程

第一关：编程要求本关的编程任务是补全huawei类中从 Phone 类继承的函数，以使得程序运行结果如预期输出。根据提示，在右侧编辑器补充代码。测试说明下面是对平台如何评测你所实现功能的说明及样例测试。测试输入：无输入预期结果：Welcome to use Apple Phone!This is a/an Apple phone. It is expensive.Welcome to use HuaWei Phone!This is a/an HuaWei phone. It i

2022-04-21 10:32:52 718

原创 scala函数式编程 educoder

第一关:冒泡排序for( j <- 0 until( sortArray.length -1)){ for(i<- 0 until sortArray.length - 1 -j ){// 对每个外循环和进行多次内循环 if(sortArray(i) > sortArray(i+1)){ val temp = sortArray(i)

2022-04-15 10:41:27 1418

原创初识Redis educoder

第1关：Redis中的数据结构redis-cliset hello redislpush educoder-list hellorpush educoder-list educoderrpush educoder-list bye rpop educoder-list sadd educoder-set csadd educoder-set pythonsrem chset educoder-hash python languagehset educoder-hash

2022-04-14 11:28:17 4926

原创 MongoDB 实验——java 和 MongoDB

第1关：Java 操作 MongoDB 数据库（一）package step1;import java.util.function.Consumer;import java.util.logging.Level;import java.util.logging.Logger;import java.util.ArrayList;import java.util.List;import org.bson.Document;import com.mongodb.MongoClient;..

2022-04-14 11:09:40 2011

原创 educoder MongoDB 实验——数据库优化

第1关：MongoDB 查询优化原则1.CD2.AD3.AC4.ABD5.BCD6.ABCD7.CD8.AD第二关:mongo mydbdb.setProfilingLevel(1,50)exit第3关：MongoDB 的 Profiling 工具（二）在右侧命令行中，进行以下操作：使用 MongoDB 的 mydb3 数据库；开启并设置其慢查询日志功能，设置为模式1，时间限制为 5ms；循环插入10万条数据到集合 i.

2022-03-31 10:48:15 3539 1

原创 educoder MongoDB 复制集 & 分片

第2关：MongoDB 复制集搭建mkdir -p /data/test/db1 /data/test/db2 /data/test/db3mkdir -p /logs/testtouch { /logs/test/mongod1.log /logs/test/mongod2.log /logs/test/mongod3.log }mkdir -p /etc/testtouch { /etc/test/mongod1.conf /etc/test/mongod2.conf /etc/tes..

2022-03-24 11:14:37 7652 4

原创 educoder MongoDB 文档的高级查询操作

第1关：数据的导入导出 mongoimport -d mydb1 -c test --type csv --headerline --ignoreBlanks --file /home/example/student.csv mongoexport -d mydb1 -c test -o /home/test1.json --type json mongoexport -d mydb1 -c test -o /home/test1.csv --type csv -f "_id,nam

2022-03-17 11:16:11 1928 3

原创 MongoDB 之聚合函数查询统计

第一关：第1关：聚合管道操作符将文档定制格式输出（一）(命令行)mongouse test1db.educoder.insert([{ _id:1, course:'Python表达式问题求解实训', author:'李暾', tags:['Python基础','求解'], learning_num:1882 }, { _id:2, course:'Java语言之基本语法', author:

2022-03-10 10:51:37 18436 1

原创 educoder MongoDB数据库安全

第一关：创建管理员用户pgrep mongo -lmongouse admindb.createUser({user:"admin",pwd:"123456",roles:[{role:"root",db:"admin"}]}) 第二关：按需求创建普通用户pgrep mongo -lmongouse firstdbdb.createUser({user:"people",pwd:"people",roles:[{role:"read",db:"firstdb"}]

2022-03-10 10:35:01 3071

原创 educoder MongoDB 数据库基本操作

第1关：数据库创建编程要求在右侧命令行中连接 MongoDB ，创建一个名为 mydb 的数据库，并插入数据：_id:1,name:"李小红"。测试说明操作完之后点击评测，平台会对你的创建的数据库和插入的数据进行测试，如果数据库创建成功且数据插入完成，平台会输出如图7所示的结果。pgrep mongo -lmongouse mydbdbshow dbsdb.mydb.insert({_id:1,name:"李小红"})...

2022-03-03 10:11:38 7768 9

原创 educoder 初始mongodb

编程要求根据提示，在右侧命令行（Linux 环境）进行操作：在 /data 路径下创建文件夹 mydb1 和 mydb2 来存放两组 MongoDB 服务的数据；在 /logs 路径下创建文件夹 mymongo1 和 mymongo2 存放日志文件；在 /etc/mymongod 路径下新建配置文件 mongod1.conf 和 mongod2.conf，使用配置文件启动 MongoDB，连接端口号分别设置为 27021和27022；使用命令通过配置文件启动两

2022-02-24 11:02:54 2279

原创 educoder第六章关联挖掘实验二：FP-growth

第1关：构建FP-tree（不能粘贴复制，我只能放图了）任务描述本关任务：创建FP树，并且更新FP树，向其中插入新节点。相关知识事务ID 事务中的元素项：001 r,z,h,j,p 002 z,y,x,w,v,u,t,s 003 z 004 r,x,n,o,s 005 y,r,x,z,q,t,p 006 y,z,x,e,q,s,t,m这份数据一共有6条记录，每条记录中的元素就是项，第1条记录中有5个项，分别为：r，z，h，j，p。项的集合就是项集，比如，[r]是一个项

2021-12-21 11:46:13 2285 3

原创 Educoder关联规则挖掘

第一关：数据探索和预处理本实训中，实验内容为完成数据探索和预处理，根据提示，在右侧编辑器补充代码，完成如下四个任务：使用pandas库的read_excel方法读入实验数据集；使用info()函数, 观察数据属性类型并判断是否符合算法要求；若不符合要求，请选择合适的策略对数据进行离散化处理，即将六种类型数据分别标记为'ABCDEF'，再使用等频离散进行离散化。 import pandas as pddef Task(): # 使用pandas库的read_excel方法读入.

2021-12-21 10:44:33 4512 7

原创 Educoder 机器学习第1关：基于贝叶斯决策理论的分类方法

第1关：基于贝叶斯决策理论的分类方法任务描述本关任务：理解朴素贝叶斯的分类思想，完成编程习题。相关知识为了完成本关任务，你需要掌握：1.贝叶斯，2.朴素贝叶斯。贝叶斯朴素贝叶斯是贝叶斯决策理论的一部分，所以讲述朴素负叶斯之前有必要快速了解一下贝叶斯决策理论。假设现在我们有一个数据集，它由两类数据组成，数据分布如图1所示。图1 两个参数已知的概率分布，参数决定了分布的形状。假设有位读者找到了描述图中两类数据的统计参数。（暂且不用管如何找到描述这类数据的统计参数，后面会详细

2021-11-23 11:22:08 2887

原创 Educoder 机器学习之随机森林算法第3关：手写数字识别

第3关：手写数字识别任务描述相关知识数据简介 RandomForestClassifier 编程要求测试说明任务描述本关任务：使用 sklearn 中的 RandomForestClassifier 类完成手写数字识别任务。请不要修改Begin-End段之外的代码。相关知识为了完成本关任务，你需要掌握如何使用 sklearn 提供的 RandomForestClassifier 类。数据简介本关使用的是手写数字数据集，该数据集有 1797 个样本，每个样本..

2021-11-23 11:04:42 4130

原创 Educoder 机器学习之随机森林算法第2关：随机森林算法流程

第2关：随机森林算法流程任务描述本关任务：补充 python 代码，完成 RandomForestClassifier 类中的 fit 和 predict 函数。请不要修改 Begin-End 段之外的代码。相关知识为了完成本关任务，你需要掌握随机森林的训练与预测流程随机森林的训练流程随机森林是 Bagging 的一种扩展变体，随机森林的训练过程相对与 Bagging 的训练过程的改变有：基学习器： Bagging 的基学习器可以是任意学习器，而随机森林则是以决策树作为基学习器。

2021-11-23 11:01:20 4052

原创 Educoder 机器学习之随机森林算法第1关：Bagging

第1关：Bagging任务描述相关知识什么是Bagging Bagging方法如何训练与预测训练预测编程要求测试说明任务描述本关任务：补充 python 代码，完成 BaggingClassifier 类中的 fit 和 predict 函数。请不要修改 Begin-End 段之外的代码。相关知识为了完成本关任务，你需要掌握：什么是 Bagging； Bagging 算法如何训练与预测。什么是BaggingBagging 是 Boot

2021-11-23 10:59:02 5408

原创 Educoder 机器学习 SMO进行优化第1关：SMO高效优化算法

第1关：SMO高效优化算法任务要求参考答案评论1任务描述相关知识了解SMO的工作原理编程要求测试说明任务描述本关任务：编写一个SMO算法。相关知识为了完成本关任务，你需要掌握：1.了解SMO的工作原理，2.如何编写SMO算法了解SMO的工作原理SMO算法的目标是求出一系列α和b,一旦求出了这些α, 就很容易计算出权重向量w并得到分隔超平面。 SMO算法的工作原理是：每次循环中选择两个alpha进行优化处理。一旦找到一对合适的α,那么就增大其中一个同时减

2021-11-22 19:12:53 1617

原创如何解决cmd命令无法转到D盘的路径的问题

默认路径为用户文档路径，切换到D盘仅仅输入 cd D:\无法正确转入需要在cd 命令与D：\命令之间加入一个 /d如下图

2021-11-15 22:13:50 12895 8

原创 Educoder 机器学习决策树使用之使用决策树预测隐形眼镜类型

任务描述相关知识如何处理隐形眼镜数据集编程要求测试说明任务描述本关任务：编写一个例子讲解决策树如何预测患者需要佩戴的隐形眼镜类型。使用小数据集，我们就可以利用决策树学到很多知识：眼科医生是如何判断患者需要佩戴的镜片类型，一旦理解了决策树的工作原理，我们甚至也可以帮助人们判断需要佩戴的镜片类型。相关知识为了完成本关任务，你需要掌握：1.如何处理隐形眼镜数据集，2.如何使用决策树来进行预测如何处理隐形眼镜数据集隐形眼镜数据集包含很多患者眼部状况的观察条件以及医生推荐..

2021-11-15 19:18:24 3487

原创决策树中的过拟合问题

1.首先了解一下什么是过拟合，什么是欠拟合？过拟合：根本原因是特征维度过多，模型假设过于复杂，参数过多，训练数据过少，噪声过多，导致拟合的函数完美的预测训练集，但对新数据的测试集预测结果差。过度的拟合了训练数据，而没有考虑到泛化能力。解决方法：（1）减少特征维度；（2）正则化，降低参数值。欠拟合：根本原因是特征维度过少，模型过于简单，导致拟合的函数无法满足训练集，误差较大；解决方法：（1）增加特征维度，增加训练数据；2.决策树中的过拟合现象（百度找的图）当决策树的.

2021-11-12 20:55:12 8275 2

原创 Educoder 机器学习神经网络第四关：使用pytorch搭建卷积神经网络识别手写数字

任务描述相关知识卷积神经网络为什么使用卷积神经网络卷积池化全连接网络卷积神经网络大致结构 pytorch构建卷积神经网络项目流程数据集介绍与加载数据构建模型训练模型保存模型加载模型编程要求测试说明任务描述本关任务：使用pytorch搭建出卷积神经网络并对手写数字进行识别。相关知识为了完成本关任务，你需要掌握：1.卷积神经网络，2.pytorch构建卷积神经网络项目流程。卷积神经网

2021-11-12 16:09:20 6945 5

原创 Educoder 机器学习神经网络第三关：反向传播算法

任务描述相关知识数据集介绍神经网络是如何训练前向传播交叉熵反向传播 sklearn中的神经网络编程要求测试说明任务描述本关任务：用sklearn构建神经网络模型，并通过鸢尾花数据集中鸢尾花的4种属性与种类对神经网络模型进行训练。我们会调用你训练好的神经网络模型，来对未知的鸢尾花进行分类。相关知识为了完成本关任务，你需要掌握：1.神经网络是如何训练，2.前向传播，3.反向传播,4.sklearn中的神经网络。数据集介绍鸢尾花数据集是一类

2021-11-12 16:06:22 5028 1

原创 Educoder Matplotlib和Seaborn三维图第2关：曲面三角剖分

第2关：曲面三角剖分任务描述相关知识曲面三角剖分莫比乌斯带编程要求任务描述本关任务：编写一个能绘制三维曲面的程序。相关知识为了完成本关任务，你需要掌握：1.如何三角剖分图形；2.绘制莫比乌斯带。适用场景：立体图视觉上层次分明色彩鲜艳，具有很强的视觉冲击力，让观看的人驻景时间长，留下深刻的印象。曲面三角剖分在某些应用的场景中，之前那些些要求均匀采样的网格数据显得太过严格且不太容易实现。这时就可以使用三角剖分图形了。def f(x, y): re.

2021-11-12 14:50:40 2086 1

原创 Educoder Basemap和seaborn 第三关：Basemap

第3关：Basemap（代码在下边）任务描述相关知识安装和使用地图投影地图背景在地图上画数据编程要求测试说明任务描述本关任务：以中国地图为背景绘制散点图。相关知识Basemap是Matplotlib的一个子包，负责地图绘制。在数据可视化过程中，我们常需要将数据在地图上画出来。比如说我们在地图上画出城市人口，飞机航线，军事基地，矿藏分布等等。这样的地理绘图有助于读者理解空间相关的信息。适用场景：适用于有空间位置的数据集。安装和使用相对于其.

2021-11-11 20:59:24 1869

原创 Educoder Basemap和Seaborn 第2关：Seaborn图形介绍

第2关:Seaborn图形介绍任务描述相关知识频次直方图、KDE和密度图矩阵图分面频次直方图条形图折线图编程要求测试说明任务描述本关任务：编写一个使用Seaborn来绘制散点图的程序。相关知识Seaborn的主要思想是用高级命令为统计数据探索和统计模型拟合创建各种图形，下面将介绍一些Seaborn中的数据集和图形类型。虽然所有这些图形都可以用Matplotlib命令实现（其实Matplotlib就是Seaborn的底层），但是用 Seabor

2021-11-11 20:49:38 2428

原创 Educoder Basemap和Seaborn 第一关：Seaborn

第一关：Seaborn任务描述本关任务：编写一个绘制每个月销售总额的折线图。相关知识为了完成本关任务，你需要掌握：1.matplotlib的缺点，2.如何使用seaborn进行可视化,并设置整体布局风格。适用场景: 折线图适合二维的大数据集，尤其是那些趋势比单个数据点更重要的场合。它还适合多个二维数据集的比较。用Seaborn做可视化即使matplotlib已经如此强大了，但是不得不承认它不支持的功能还有很多。总结如下： 2.0之前的版本的默认配置样式绝对不是用户的最佳选择；

2021-11-11 20:47:00 2840 2

原创 pycharm导入opencv库失败解决方法

pip版本不对的话1.升级pip在cmd中输入 python -m pip install --upgrade pip2.进行opencv库的安装pip install opencv-python我用的是python3.8，之前就直接在官网下载的最新的python3.10然后升级pip失败了，老师说是python版本问题，得用python3.6，实验过后，3.8也可！如果软件中本来有anaconder的python环境，可能会导致安装失败，当然你把anaconder里的.

2021-11-11 19:26:24 6871

原创 Educoder Matplotlib和Seaborn 三维图第一关绘制三维图

第一关：绘制三维图任务描述本关任务：使用matplotlib绘制三维图。相关知识matplotlib原本只能画二维图，随着版本更新matplotlib实现了一些建立在二维图上的三维图。话不多说，直接代码import matplotlibmatplotlib.use("Agg")from mpl_toolkits import mplot3dimport matplotlib.pyplot as pltimport numpy as npdef student(x,y,z

2021-11-11 17:41:42 3464

空空如也

有无可以预测植物叶片旋转角度的算法

reflecting padding

旋转目标检测可以在农业方面如何应用

旋转目标检测用在农业上可以干什么

我真服了怎么想一出是一出，这个h2rbox旋转目标检测是什么啊

利用sift计算图片拍摄角度的算法

对图片更换拍摄角度的方法