educoder
本人已run不再更新内容保留有错见谅
这个作者很懒,什么都没留下…
展开
-
SparkContext scala初始化篇
第一关:sparkcontext初始化import org.apache.spark.{SparkConf, SparkContext}object Test { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("educoder").setMaster("local") val sc=new SparkContext(conf) ...原创 2022-05-04 08:39:59 · 2925 阅读 · 0 评论 -
educoder Redis安全与性能
第3关:Redis事务与流水线#!/usr/bin/env python #-*- coding:utf-8 -*-import time import redisconn = redis.Redis()# 将商品放到平台上 def add_item_to_market(itemid, sellerid, price): # 请在下面完成要求的功能 #********* Begin *********# repertory = "inventor.原创 2022-04-28 15:15:41 · 503 阅读 · 0 评论 -
使用Redis进行搜索
第1关:构建反向索引#!/usr/bin/env python #-*- coding:utf-8 -*-import re import redisconn = redis.Redis()# 文本序列化 def tokenize(content): # 请在下面完成要求的功能 #********* Begin *********# words = set() for word in re.findall("[a-z]{2,}", ..原创 2022-04-28 15:14:03 · 1914 阅读 · 0 评论 -
使用Redis构建简单的社交网站
第1关:创建用户与动态#!/usr/bin/env python #-*- coding:utf-8 -*-import re import time import redisconn = redis.Redis()# 创建新用户 def create_user(login_name, real_name): # 请在下面完成要求的功能 #********* Begin *********# login_name = login_name.lo原创 2022-04-28 14:59:18 · 935 阅读 · 0 评论 -
Redis基本命令
第1关:字符串、列表与集合#!/usr/bin/env python#-*- coding:utf-8 -*-import redisconn = redis.Redis()def task_empty(): # 请在下面完成判断任务列表是否为空 #********* Begin *********# return int(conn.llen("task_list"))==0 #********* End *********#def get_task()转载 2022-04-28 11:22:35 · 703 阅读 · 0 评论 -
RDD的创建 -Scala educoder
第1关:集合并行化创建RDDimport org.apache.spark.{SparkConf, SparkContext}object Student { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName(this.getClass.getSimpleName).setMaster("local") val sc = new SparkContext(conf转载 2022-04-22 10:46:10 · 2929 阅读 · 0 评论 -
Spark算子--Scala版本 educoder
第1关:转换算子之map和distinct算子import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object EduCoder1 { def main(args: Array[String]): Unit = { val conf =new SparkConf().setAppName("educoder1").setMaster("local") val sc原创 2022-04-22 10:33:23 · 2221 阅读 · 0 评论 -
spark 安装与使用 educoder
大致顺序是这样,仅供参考,欢迎指正!命令行不能直接复制,所以出错的可能比较大。第一关:mkdir /appcd /opttar -zxvf scala-2.12.7.tgz -C /appvi /etc/profileSCALA_HOME=/app/scala-2.12.7export PATH =$PATH:$SCALA_HOME/bincd /appcd scala-2.12.7scala -version第2关:安装与配置Spark开发环境mkdir /原创 2022-04-21 15:45:48 · 4848 阅读 · 0 评论 -
Spark算子综合案例 - Scala篇
第1关:WordCount - 词频统计import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext}object WordCount { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").setAppName("WordCount") val原创 2022-04-22 10:23:32 · 4151 阅读 · 2 评论 -
educoder Scala面向对象编程
第一关:编程要求 本关的编程任务是补全huawei类中从 Phone 类继承的函数,以使得程序运行结果如预期输出。根据提示,在右侧编辑器补充代码。测试说明下面是对平台如何评测你所实现功能的说明及样例测试。测试输入:无输入预期结果:Welcome to use Apple Phone!This is a/an Apple phone. It is expensive.Welcome to use HuaWei Phone!This is a/an HuaWei phone. It i原创 2022-04-21 10:32:52 · 782 阅读 · 0 评论 -
scala函数式编程 educoder
第一关:冒泡排序for( j <- 0 until( sortArray.length -1)){ for(i<- 0 until sortArray.length - 1 -j ){// 对每个外循环和进行多次内循环 if(sortArray(i) > sortArray(i+1)){ val temp = sortArray(i)原创 2022-04-15 10:41:27 · 1760 阅读 · 0 评论 -
初识Redis educoder
第1关:Redis中的数据结构redis-cliset hello redislpush educoder-list hellorpush educoder-list educoderrpush educoder-list bye rpop educoder-list sadd educoder-set csadd educoder-set pythonsrem chset educoder-hash python languagehset educoder-hash原创 2022-04-14 11:28:17 · 5157 阅读 · 0 评论 -
MongoDB 实验——java 和 MongoDB
第1关:Java 操作 MongoDB 数据库(一)package step1;import java.util.function.Consumer;import java.util.logging.Level;import java.util.logging.Logger;import java.util.ArrayList;import java.util.List;import org.bson.Document;import com.mongodb.MongoClient;..原创 2022-04-14 11:09:40 · 2244 阅读 · 0 评论 -
educoder MongoDB 实验——数据库优化
第1关:MongoDB 查询优化原则1.CD2.AD3.AC4.ABD5.BCD6.ABCD7.CD8.AD第二关:mongo mydbdb.setProfilingLevel(1,50)exit第3关:MongoDB 的 Profiling 工具(二)在右侧命令行中,进行以下操作: 使用 MongoDB 的 mydb3 数据库; 开启并设置其慢查询日志功能,设置为模式1,时间限制为 5ms; 循环插入10万条数据到集合 i.原创 2022-03-31 10:48:15 · 3818 阅读 · 1 评论 -
educoder MongoDB 复制集 & 分片
第2关:MongoDB 复制集搭建mkdir -p /data/test/db1 /data/test/db2 /data/test/db3mkdir -p /logs/testtouch { /logs/test/mongod1.log /logs/test/mongod2.log /logs/test/mongod3.log }mkdir -p /etc/testtouch { /etc/test/mongod1.conf /etc/test/mongod2.conf /etc/tes..原创 2022-03-24 11:14:37 · 7858 阅读 · 4 评论 -
educoder MongoDB 文档的高级查询操作
第1关:数据的导入导出 mongoimport -d mydb1 -c test --type csv --headerline --ignoreBlanks --file /home/example/student.csv mongoexport -d mydb1 -c test -o /home/test1.json --type json mongoexport -d mydb1 -c test -o /home/test1.csv --type csv -f "_id,nam原创 2022-03-17 11:16:11 · 2057 阅读 · 3 评论 -
MongoDB 之聚合函数查询统计
第一关:第1关:聚合管道操作符将文档定制格式输出(一)(命令行)mongouse test1db.educoder.insert([{ _id:1, course:'Python表达式问题求解实训', author:'李暾', tags:['Python基础','求解'], learning_num:1882 }, { _id:2, course:'Java语言之基本语法', author:原创 2022-03-10 10:51:37 · 19872 阅读 · 1 评论 -
educoder MongoDB数据库安全
第一关:创建管理员用户pgrep mongo -lmongouse admindb.createUser({user:"admin",pwd:"123456",roles:[{role:"root",db:"admin"}]}) 第二关:按需求创建普通用户pgrep mongo -lmongouse firstdbdb.createUser({user:"people",pwd:"people",roles:[{role:"read",db:"firstdb"}]原创 2022-03-10 10:35:01 · 3123 阅读 · 0 评论 -
educoder MongoDB 数据库基本操作
第1关:数据库创建编程要求在右侧命令行中连接 MongoDB ,创建一个名为 mydb 的数据库,并插入数据:_id:1,name:"李小红"。测试说明操作完之后点击评测,平台会对你的创建的数据库和插入的数据进行测试,如果数据库创建成功且数据插入完成,平台会输出如图7所示的结果。pgrep mongo -lmongouse mydbdbshow dbsdb.mydb.insert({_id:1,name:"李小红"})...原创 2022-03-03 10:11:38 · 8244 阅读 · 9 评论 -
educoder 初始mongodb
编程要求根据提示,在右侧命令行(Linux 环境)进行操作: 在 /data 路径下创建文件夹 mydb1 和 mydb2 来存放两组 MongoDB 服务的数据; 在 /logs 路径下创建文件夹 mymongo1 和 mymongo2 存放日志文件; 在 /etc/mymongod 路径下新建配置文件 mongod1.conf 和 mongod2.conf,使用配置文件启动 MongoDB,连接端口号分别设置为 27021和27022; 使用命令通过配置文件启动两原创 2022-02-24 11:02:54 · 2359 阅读 · 0 评论 -
educoder第六章 关联挖掘 实验二:FP-growth
第1关:构建FP-tree(不能粘贴复制,我只能放图了)任务描述本关任务:创建FP树,并且更新FP树,向其中插入新节点。相关知识事务ID 事务中的元素项:001 r,z,h,j,p 002 z,y,x,w,v,u,t,s 003 z 004 r,x,n,o,s 005 y,r,x,z,q,t,p 006 y,z,x,e,q,s,t,m这份数据一共有6条记录,每条记录中的元素就是项,第1条记录中有5个项,分别为:r,z,h,j,p。项的集合就是项集,比如,[r]是一个项原创 2021-12-21 11:46:13 · 2405 阅读 · 3 评论 -
Educoder关联规则挖掘
第一关:数据探索和预处理本实训中,实验内容为完成数据探索和预处理,根据提示,在右侧编辑器补充代码,完成如下四个任务:使用pandas库的read_excel方法读入实验数据集; 使用info()函数, 观察数据属性类型并判断是否符合算法要求; 若不符合要求,请选择合适的策略对数据进行离散化处理,即将六种类型数据分别标记为'ABCDEF',再使用等频离散进行离散化。 import pandas as pddef Task(): # 使用pandas库的read_excel方法读入.原创 2021-12-21 10:44:33 · 5267 阅读 · 7 评论 -
Educoder 机器学习 第1关:基于贝叶斯决策理论的分类方法
第1关:基于贝叶斯决策理论的分类方法任务描述本关任务:理解朴素贝叶斯的分类思想,完成编程习题。相关知识为了完成本关任务,你需要掌握:1.贝叶斯,2.朴素贝叶斯。贝叶斯朴素贝叶斯是贝叶斯决策理论的一部分,所以讲述朴素负叶斯之前有必要快速了解一下贝叶斯决策理论。 假设现在我们有一个数据集,它由两类数据组成,数据分布如图1所示。图1 两个参数已知的概率分布,参数决定了分布的形状。假设有位读者找到了描述图中两类数据的统计参数。(暂且不用管如何找到描述这类数据的统计参数,后面会详细原创 2021-11-23 11:22:08 · 3327 阅读 · 0 评论 -
Educoder 机器学习之随机森林算法 第3关:手写数字识别
第3关:手写数字识别任务描述 相关知识 数据简介 RandomForestClassifier 编程要求 测试说明任务描述本关任务:使用 sklearn 中的 RandomForestClassifier 类完成手写数字识别任务。请不要修改Begin-End段之外的代码。相关知识为了完成本关任务,你需要掌握如何使用 sklearn 提供的 RandomForestClassifier 类。数据简介本关使用的是手写数字数据集,该数据集有 1797 个样本,每个样本..原创 2021-11-23 11:04:42 · 4746 阅读 · 0 评论 -
Educoder 机器学习之随机森林算法 第2关:随机森林算法流程
第2关:随机森林算法流程任务描述本关任务:补充 python 代码,完成 RandomForestClassifier 类中的 fit 和 predict 函数。请不要修改 Begin-End 段之外的代码。相关知识为了完成本关任务,你需要掌握随机森林的训练与预测流程随机森林的训练流程随机森林是 Bagging 的一种扩展变体,随机森林的训练过程相对与 Bagging 的训练过程的改变有:基学习器: Bagging 的基学习器可以是任意学习器,而随机森林则是以决策树作为基学习器。原创 2021-11-23 11:01:20 · 4351 阅读 · 0 评论 -
Educoder 机器学习之随机森林算法 第1关:Bagging
第1关:Bagging任务描述 相关知识 什么是Bagging Bagging方法如何训练与预测 训练 预测 编程要求 测试说明任务描述本关任务:补充 python 代码,完成 BaggingClassifier 类中的 fit 和 predict 函数。请不要修改 Begin-End 段之外的代码。相关知识为了完成本关任务,你需要掌握:什么是 Bagging; Bagging 算法如何训练与预测。什么是BaggingBagging 是 Boot原创 2021-11-23 10:59:02 · 5921 阅读 · 0 评论 -
Educoder 机器学习 SMO进行优化 第1关:SMO高效优化算法
第1关:SMO高效优化算法任务要求 参考答案 评论1任务描述 相关知识 了解SMO的工作原理 编程要求 测试说明任务描述本关任务:编写一个SMO算法。相关知识为了完成本关任务,你需要掌握:1.了解SMO的工作原理,2.如何编写SMO算法了解SMO的工作原理SMO算法的目标是求出一系列α和b,一旦求出了这些α, 就很容易计算出权重向量w并得到分隔超平面。 SMO算法的工作原理是:每次循环中选择两个alpha进行优化处理。一旦找到一对合适的α,那么就增大其中一个同时减原创 2021-11-22 19:12:53 · 1786 阅读 · 0 评论 -
Educoder 机器学习 决策树使用之使用决策树预测隐形眼镜类型
任务描述 相关知识 如何处理隐形眼镜数据集 编程要求 测试说明任务描述本关任务:编写一个例子讲解决策树如何预测患者需要佩戴的隐形眼镜类型。使用小数据集,我们就可以利用决策树学到很多知识:眼科医生是如何判断患者需要佩戴的镜片类型,一旦理解了决策树的工作原理,我们甚至也可以帮助人们判断需要佩戴的镜片类型。相关知识为了完成本关任务,你需要掌握:1.如何处理隐形眼镜数据集,2.如何使用决策树来进行预测如何处理隐形眼镜数据集隐形眼镜数据集包含很多患者眼部状况的观察条件以及医生推荐..原创 2021-11-15 19:18:24 · 3744 阅读 · 0 评论 -
Educoder 机器学习 神经网络 第四关:使用pytorch搭建卷积神经网络识别手写数字
任务描述 相关知识 卷积神经网络 为什么使用卷积神经网络 卷积 池化 全连接网络 卷积神经网络大致结构 pytorch构建卷积神经网络项目流程 数据集介绍与加载数据 构建模型 训练模型 保存模型 加载模型 编程要求 测试说明任务描述本关任务:使用pytorch搭建出卷积神经网络并对手写数字进行识别。相关知识为了完成本关任务,你需要掌握:1.卷积神经网络,2.pytorch构建卷积神经网络项目流程。卷积神经网原创 2021-11-12 16:09:20 · 7828 阅读 · 5 评论 -
Educoder 机器学习 神经网络 第三关:反向传播算法
任务描述 相关知识 数据集介绍 神经网络是如何训练 前向传播 交叉熵 反向传播 sklearn中的神经网络 编程要求 测试说明任务描述本关任务:用sklearn构建神经网络模型,并通过鸢尾花数据集中鸢尾花的4种属性与种类对神经网络模型进行训练。我们会调用你训练好的神经网络模型,来对未知的鸢尾花进行分类。相关知识为了完成本关任务,你需要掌握:1.神经网络是如何训练,2.前向传播,3.反向传播,4.sklearn中的神经网络。数据集介绍鸢尾花数据集是一类原创 2021-11-12 16:06:22 · 6183 阅读 · 1 评论 -
Educoder Basemap和seaborn 第三关:Basemap
第3关:Basemap(代码在下边)任务描述 相关知识 安装和使用 地图投影 地图背景 在地图上画数据 编程要求 测试说明任务描述本关任务:以中国地图为背景绘制散点图。相关知识Basemap是Matplotlib的一个子包,负责地图绘制。在数据可视化过程中,我们常需要将数据在地图上画出来。比如说我们在地图上画出城市人口,飞机航线,军事基地,矿藏分布等等。这样的地理绘图有助于读者理解空间相关的信息。适用场景:适用于有空间位置的数据集。安装和使用相对于其.原创 2021-11-11 20:59:24 · 2142 阅读 · 0 评论 -
Educoder Basemap和Seaborn 第2关:Seaborn图形介绍
第2关:Seaborn图形介绍任务描述 相关知识 频次直方图、KDE和密度图 矩阵图 分面频次直方图 条形图 折线图 编程要求 测试说明任务描述本关任务:编写一个使用Seaborn来绘制散点图的程序。相关知识Seaborn的主要思想是用高级命令为统计数据探索和统计模型拟合创建各种图形,下面将介绍一些Seaborn中的数据集和图形类型。虽然所有这些图形都可以用Matplotlib命令实现(其实Matplotlib就是Seaborn的底层),但是用 Seabor原创 2021-11-11 20:49:38 · 2747 阅读 · 0 评论 -
Educoder Basemap和Seaborn 第一关:Seaborn
第一关:Seaborn任务描述本关任务:编写一个绘制每个月销售总额的折线图。相关知识为了完成本关任务,你需要掌握:1.matplotlib的缺点,2.如何使用seaborn进行可视化,并设置整体布局风格。适用场景: 折线图适合二维的大数据集,尤其是那些趋势比单个数据点更重要的场合。它还适合多个二维数据集的比较。用Seaborn做可视化即使matplotlib已经如此强大了,但是不得不承认它不支持的功能还有很多。总结如下: 2.0之前的版本的默认配置样式绝对不是用户的最佳选择;原创 2021-11-11 20:47:00 · 3242 阅读 · 2 评论 -
Educoder Matplotlib和Seaborn三维图 第2关:曲面三角剖分
第2关:曲面三角剖分任务描述 相关知识 曲面三角剖分 莫比乌斯带 编程要求任务描述本关任务:编写一个能绘制三维曲面的程序。相关知识为了完成本关任务,你需要掌握:1.如何三角剖分图形;2.绘制莫比乌斯带。适用场景:立体图视觉上层次分明色彩鲜艳,具有很强的视觉冲击力,让观看的人驻景时间长,留下深刻的印象。曲面三角剖分在某些应用的场景中,之前那些些要求均匀采样的网格数据显得太过严格且不太容易实现。这时就可以使用三角剖分图形了。def f(x, y): re.原创 2021-11-12 14:50:40 · 2265 阅读 · 1 评论 -
Educoder Matplotlib和Seaborn 三维图 第一关绘制三维图
第一关:绘制三维图任务描述本关任务:使用matplotlib绘制三维图。相关知识matplotlib原本只能画二维图,随着版本更新matplotlib实现了一些建立在二维图上的三维图。话不多说,直接代码import matplotlibmatplotlib.use("Agg")from mpl_toolkits import mplot3dimport matplotlib.pyplot as pltimport numpy as npdef student(x,y,z原创 2021-11-11 17:41:42 · 3767 阅读 · 0 评论