Kuicer的博客

原创 Spark-GraphX

Spark-GraphX 相关操作

原创 Spark程序设计进阶

原创 pytorch房价预测练习

任务：基于 pytorch 实现房价预测收集数据，对数据的属性进行介绍编程实现数据预处理并保存数据统计分析并绘制效果图gitee仓库地址个人博客地址数据来源导入包import torchimport torch.nn as nnimport numpy as npimport pandas as pdimport matplotlib.pyplot as plt读取数据train_data = pd.read_csv("../data/train.csv")test_da

原创 Scala学习2

据文件2016phonelocation，编写程序实现功能：运行程序，用户输入任意省份，输出这个省份号码段的个数，电信、移动、联通各占多少个。读取文件 & 嵌套Map使用/** * 输入省份查找对应省份 电信联通移动三家运营商数据 * 缺点：虚拟运营商找不到，每次都需加载数据时空消耗大 * @param pro */ def findPhone(pro: String): Unit = { var a: Int = 0 var b: Int = 0

原创 Scala入门学习

求区间和、平方和、立方和函数def sum(a: Int, b: Int) = (a + b) * (b - a + 1) / 2def cal2(a: Int) = a * (a + 1) * (2 * a + 1) / 6def sum2(a: Int, b: Int) = cal2(b) - cal2(a - 1)def sum3(a: Int, b: Int) = sum(a, b) * sum(a, b)求GCDdef GCD(a: Int, b: Int): Int = {

原创 机器学习知识梳理

训练集、验证集、测试集训练集用于模型拟合的数据样本用途模型参数调整验证集模型训练过程中单独留出的样本集，它可以用于调整模型的超参数和用于对模型的能力进行初步评估。通常用来在模型迭代训练时，用以验证当前模型泛化能力（准确率，召回率等），以决定是否停止继续训练。用途用于评估模型效果调整超参数判断模型训练情况决定是否继续训练多次使用，不断调参；是非必需的，评估的效果不是模型最终结果测试集用来评估模最终模型的泛化能力。但不能作为调参、选择特征等算法相关的选择的依据。用

原创 Hive学习笔记

Hive是一个基于Hadoop的数据仓库工具，可以对存储在Hadoop文件中的数据集进行数据整理，特殊查询和分析处理。Hive提供了类似关系数据库SQL的查询语言：HiveQL当采用MapReduce作为执行引擎是，Hive可以通过HiveQL语句快速实现简单的MapReduce作业，Hive自身可以将HiveQL语句快速转换成MapReduce作业进行运行，而不必开发专门的MapReduce作业数据仓库的体系结构：数据源数据存储和管理数据服务数据应用传统数据仓库面临的挑战无法满足快

原创 “21 天好习惯”第一期－21

将 csv文件导入到hbase中利用ImportTsv将CSV文件导入首先将文件上传到hdfs上hadoop fs -put /hbasePut.csv /Hbtest在 hbase 中创建一张表，这张表即为 CSV 文件数据导入的表然后退出 hbase shell ，输入下面命令调用 ImportTsv 将 csv 数据导入表中hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator="," -Di

原创 “21 天好习惯”第一期－20

模拟模式和实时模式下理解和分析HTTP工作原理Simulation 模拟模式Realtime 实时模式Event List Filters 事件列表过滤器模拟模式可以通过生动的Flash动画来表现数据包的传输过程，能很清楚地看到数据包的传输路线，直观地显示了网络数据包的来龙去脉。此时再次通过 PC0 访问 Server0 可查看HTTP的工作原理HTTP工作原理：客户机与服务器建立连接后，浏览器可以向web服务器发送请求并显示收到的网页，当用户在浏览器地址栏中输入一个URL或点.

原创 packetTracer作业

搭建只有一个客户端和一个服务器的简单网络，通过客户端浏览器访问服务器上的主页。在软件左下方的终端设备 [End Devices] 类别中选择个人电脑 [PC] 与服务器 [Server]，在上方添加设备。如图所示：接着选择通讯链路 [Connections]，选择交叉线 [Copper Cross-Over] 分别连接 Server 与 PC ，链接接口为 FastEthernet。如图也可选择 Ahtomatically Choose Connection Type 自动连接，效果相同.

原创 “21 天好习惯”第一期－19

搭建只有一个客户端和一个服务器的简单网络，通过客户端浏览器访问服务器上的主页。在软件左下方的终端设备 [End Devices] 类别中选择个人电脑 [PC] 与服务器 [Server]，在上方添加设备。如图所示：接着选择通讯链路 [Connections]，选择交叉线 [Copper Cross-Over] 分别连接 Server 与 PC ，链接接口为 FastEthernet。如图也可选择 Ahtomatically Choose Connection Type 自动连接，效果相同.

原创 Hbase综合作业

利用ImportTsv将CSV文件导入将文件上传到hdfs上hadoop fs -put /hbasePut.csvhbase中创建一张表然后退出 hbase shell ，输入下面命令将 csv 数据导入表中hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator="," -Dimporttsv.columns=HBASE_ROW_KEY,info:sno,info:sname,info:plt,in

原创 “21 天好习惯”第一期－18

H Holding Two题意构造一个 0/10/10/1​ 矩阵 AAA​ 使得 对任意的 Ai1j1,Ai2j2,Ai3j3A_{i_1j_1},A_{i_2j_2},A_{i_3j_3}Ai1​j1​​,Ai2​j2​​,Ai3​j3​​​ 都不满足 Ai1j1=Ai2j2=Ai3j3,−1≤i1−i2=i2−i3≤1,−1≤j1−j2=j2−j3≤1A_{i_1j_1}=A_{i_2j_2}=A_{i_3j_3},-1\leq i_1-i_2=i_2-i_3\leq 1,-1\leq j_1.

原创 “21 天好习惯”第一期－17

B Boxes 题意一共有 nnn 个盒子，编号为 1∼n1\sim n1∼n，每个盒子中都装有一个球，球的颜色为白色的概率和黑色的概率相等都是 12\frac{1}{2}21​，每个盒子只有在打开的时候才知道盒中球颜色，打开编号为 iii 盒子需要花费 cic_ici​。同时，提供一个 hint ，使用提示，需要花费 CCC ，使用提示可以得知，在剩下的盒子中有多少个盒子里面的球是黑球（同样也知道了有多少个白球。现在想要知道每个盒子中装的球的颜色，问最少消耗。可以很容易的想到，当我们使用一次提.

原创 “21 天好习惯”第一期－16

I Intervals on the Ring题意一个长度为 nnn 的圆排列上有 kkk 段连续区间，现要构造 mmm 个连续区间，使得这 mmm 个连续区间的交集为的圆排列上的 kkk 段连续区间先考虑圆排列上有 222​​​​​​​​​​ 段连续区间时，假设为 [A,B],[C,D][A,B], [C,D][A,B],[C,D]​​​​​​​​​​​，那么很显然选择 [A,D],[C,B][A,D],[C,B][A,D],[C,B]​​​​​​​​​​对应的 [A,B],[C,D],[E,F

原创 “21 天好习惯”第一期－15

F Hamburger Steak题意有 nnn​ 块牛排，编号为 1∼n1\sim n1∼n​，编号为 iii​ 的牛排需要煎满 timint_iminti​min​，并且每块牛排最多只能被两个锅煎，一共有 mmm​ 个锅，问煎玩牛排需要的最短时间考虑计算最小的锅使用时间的最大值，然后依次暴力去凑即可。#include <bits/stdc++.h>using namespace std;#define int ll#define rep(i, j, k) for (int i

原创 “21 天好习惯”第一期－14

I xay loves or题意问存在多少个 yyy 使得 $x\ or\ y = s $逐个按位讨论即可#include <bits/stdc++.h>using namespace std;#define endl '\n'#define int ll#define rep(i, j, k) for (ll(i) = (j); (i) <= (k); (++i))typedef long long ll;signed main() { int x, s;

原创 “21 天好习惯”第一期－13

H xay loves count题意在数组 aaa 中找满足 ai∗aj=aka_i*a_j=a_kai​∗aj​=ak​ 的三元组 (i,j,k)(i,j,k)(i,j,k)暴力即可（看似是 O(n2)O(n^2)O(n2)​ 但不是）#include <bits/stdc++.h>using namespace std;#define rep(i, j, k) for (ll(i) = (j); (i) <= (k); (++i))typedef long long.

原创 “21 天好习惯”第一期－12

A Ares, Toilet Ares题意略，模拟即可#include <bits/stdc++.h>using namespace std;#define endl '\n'#define int lltypedef long long ll;const int mod = 4933;const int N = 1e6 + 7;ll a[N];ll qkpow(ll a, ll b) { ll ans = 1; while (b) { .

原创 “21 天好习惯”第一期－11

H War of Inazuma (Easy Version)题意在一个 nnn 维超立方体上，有 2n2^n2n 个顶点，每个顶点分别由两支军队占领，记为 a,ba,ba,b ，现在要求构造出一个序列 sss ，其中 sis_isi​ 代表 顶点 iii 由什么军队占领。其中，当顶点 iii 与顶点 jjj 相邻，则 i,ji,ji,j 二进制位中有且仅有一位不同。且要求顶点 iii 相邻的顶点中与顶点 iii​ 的军队相同的顶点数不超过 ⌈n ⌉\lceil \sqrt{n}\ \r.

原创 “21 天好习惯”第一期－10

A String Game题意给一个长度为 nnn 的字符串 sss，输出将 sss 前 xxx 个字符移植末尾的结果。Solution按题意模拟。（ xxx 数量级较大，对 nnn 取模后缩小实际有效操作次数即可。#include <bits/stdc++.h>using namespace std;typedef long long ll;#define rep(i, j, k) for (ll(i) = (j); (i) <= (k); (++i))void so

原创 “21 天好习惯”第一期－9

C LCS 题意构造三个长度为 nnn 的字符串 s1,s2,s3s_1,s_2,s_3s1​,s2​,s3​ ，使得 LCS(s1,s2)=a,LCS(s2,s3)=b,LCS(s1,s3)=cLCS(s_1,s_2)=a,LCS(s_2,s_3)=b,LCS(s_1,s_3)=cLCS(s1​,s2​)=a,LCS(s2​,s3​)=b,LCS(s1​,s3​)=c可以发现将 s1,s2,s3s_1,s_2,s_3s1​,s2​,s3​ 具有相同部分的长度为 LCS(s1,s2,s3)=min(

原创 员工离职概率预测

从大数据到深数据总述​ 当今为“数据技术”时代、“大数据”时代，万物联网提供了海量的数据，庞大的数据为当今人工智能蓬勃发展提供了可能。大数据技术创造了许多全新的可能性，人们依靠计算机强大的计算能力，在成千上万条数据中提取“经验”，总结“规律”，并为实践提供指导。​ 在大数据背景下，面对驳杂无章的数据，如何有效分析数据至关重要。大数据背景在许多应用场景中存在一定局限性，大部分场景得到的数据往往是缺乏经验的，其内容的可靠性欠佳，因而得到的实验结果也将会受到质疑。在一定基础上进行数据清洗，侧重于捕获可用

原创 “21 天好习惯”第一期－8

A String Game题意给一个长度为 nnn 的字符串 sss，输出将 sss 前 xxx 个字符移植末尾的结果。Solution按题意模拟。（ xxx 数量级较大，对 nnn 取模后缩小实际有效操作次数即可。#include <bits/stdc++.h>using namespace std;typedef long long ll;#define rep(i, j, k) for (ll(i) = (j); (i) <= (k); (++i))void so

原创 实验四：MapReduce中级实验

将用户手机号同用户访问网站两个属性合在一起作为 key 值，其余和 wordcount 差不多，改改即可，不再赘述import com.amazonaws.services.dynamodbv2.xspec.S;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FileSystem;import org.apach

原创 “21 天好习惯”第一期－7

E Math 题意求数对 (x,y)(x,y)(x,y) 满足 xy+1∣x2+y2,1≤x≤y≤nxy+1|x^2+y^2,1\leq x\leq y\leq nxy+1∣x2+y2,1≤x≤y≤n​oeis题设 a=k,b=k3a=k,b=k^3a=k,b=k3​​ 则有a2+b2=k2+k6=k2(1+k4)=a2(1+ab)⇒a2+b21+ab=a2a^2+b^2=k^2+k^6=k^2(1+k^4)=a^2(1+ab)\Rightarrow \frac{a^2+b^2}{1+ab}=

原创 “21 天好习惯”第一期－6

H Hash Function题意给定一个集合，求一个数 mod 使得 集合中任意两个数 ai%mod!=aj%moda_i \% mod != a_j \% modai​%mod!=aj​%mod上述问题可以转化为 任意的两个数的差对 mod 取余不等于 0可知任意两个数差值的因子都不能满足条件，即找出最小的非**∀i,j∈[1,n], ∣ai−aj∣\forall i,j\in [1,n],\ |a_i-a_j|∀i,j∈[1,n], ∣ai​−aj​∣​**的因子朴素求

原创 “21 天好习惯”第一期－5

题目链接https://ac.nowcoder.com/acm/contest/8827/F题意给出一定数量的火柴棍，将这些火柴棍按照七段码形式摆放组成数字 AAk=a1a2...ak‾1∣a12∣a1a2...k∣a1a2...akA_{k}=\overline{a_{1}a_{2}...a_{k}}\\1|a_{1}\\2|a_{1}a_{2}\\...\\k|a_{1}a_{2}...a_{k}Ak​=a1​a2​...ak​​1∣a1​2∣a1​a2​...k∣a1​a2​...ak

原创 MongoDB操作

安装参考文档：https://mongodb.net.cn/manual/tutorial/install-mongodb-on-debian/

原创 “21 天好习惯”第一期－4

题目：https://ac.nowcoder.com/acm/contest/11169/D正解 —— 字符串 hash比赛的时候用贪心感觉可以，但是没弄出来，赛后正解对拍瞎弄弄出来了。大概思路：要使每个长度为DDD的字串都是回文串仅存在两种情况：每个字母相同 即：aaaaa…DDD为奇数且仅含两个字母重复循环 即：abababababab…只有以上情况所截取的字符串长度大于DDD截取字符串长度等于DDD时，该字符串只能为回文串。之后便可贪心，具体详见代码及注释。#include &

原创 “21 天好习惯”第一期－3

【hdu多校 7047】Link with Balls题意有 2n2n2n​​ 个篮子，编号为 1∼2n1 \sim 2n1∼2n​，每个篮子里面有无限多球，现在要从这些篮子里面取出 mmm 个球，问取出球的方案数有多少种。（当每种方案中，有一个篮子的取球数不同，则看作为是不同方案）一些取球的限定条件：在第 2x−12x-12x−1​​ 个篮子中只能取 kxkxkx​​ 个球，在第 2x2x2x​​ 个篮子中最多取 xxx​​ 个球思路官方题解 ↓观察取球的限制很容易想到将奇偶分开讨论，再套

原创 MapReduce初级编程实践

一、实验目的通过实验掌握基本的MapReduce编程方法；掌握用MapReduce解决一些常见的数据处理问题，包括数据去重、数据排序和数据挖掘等。二、实验平台操作系统：LinuxHadoop版本：2.6.0三、实验步骤（一）编程实现文件合并和去重操作对于两个输入文件，即文件A和文件B，请编写MapReduce程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新的输出文件C。下面是输入文件和输出文件的一个样例供参考。输入文件A的样例如下： 20170101 x 20

原创 “21 天好习惯”第一期－2

分配颜色Description好耶！今天不是星期天，但是又是活动课！今天小A带同学们玩游戏，需要分为两组。每名同学为红队或蓝队。为了方便分配颜色，小A让同学们站成n排m列。初始时，所有人都为红队成员。小A可以进行p次操作1和q次操作2，操作解释如下：操作1:把某一行的同学进行取反操作：即红队变为蓝队，蓝队变成红队。操作2:把某一列的同学进行取反操作：即红队变为蓝队，蓝队变成红队。小A想知道，有多少种方案满足：执行完所有的操作1和操作2之后，蓝队同学恰好有t名。由于答案可能会很大，所以只

原创 “21 天好习惯”第一期－1

A Mio visits ACGN Exhibition题意有一个 n∗mn*mn∗m 的 010101 矩阵，起点在 (1,1)(1,1)(1,1) 终点在 (n,m)(n,m)(n,m) ，每次只能往右或者往左，问从起点走到终点，路过的网格点中 000 的个数大于 ppp，111 的个数大于 qqq 的路径有多少条solution朴素 bfs 中存储状态太多，会 mle，因此考虑动态规划设 dp[i][j][k][l]dp[i][j][k][l]dp[i][j][k][l] 表示当从起点走到

原创 Outlook命令行发送邮件及边缘计算

安装Outlook邮件客户端，配置使用收发邮件。下载Outlook 登录，勾选高级选项选择 IMAP按默认即可可选择勾选此处可以不填写之后会弹出以下客户端注意此处密码非邮箱账号密码而是在所连接的邮箱中勾选一些设置信息，以QQ邮箱为例进入设置->账户->POP3/IMAP/SMTP/Exchange/CardDAV/CalDAV服务 选择开启 IMAP/SMTP服务。如图：之后会收到一封...

原创 实验三熟悉常用的HBase操作

一、实验目的理解HBase在Hadoop体系结构中的角色；熟练使用HBase操作常用的Shell命令；熟悉HBase操作常用的Java API。二、实验平台操作系统：Linux（建议CentOS）；Hadoop版本：2.6.1；JDK版本：1.7或以上版本；Java IDE：IDEA。实验内容（1）编程实现以下指定功能，并用Hadoop提供的HBase Shell命令完成相同任务：①列出HBase所有的表的相关信息，例如表名；②在终端打印出指定的表的所有记录数据；③向已经创

原创 非持续性HTTP和持续性HTTP（无流水线和带流水线两种）的响应时间计算

此处以《计算机网络自顶向下方法第七版》P66页为例。一个页面中含有一个HTML基本文件和10个JPEG图形，并且该11个对象均位于同一个服务器上。此时假设 建立TCP链接时间与客户端和Web服务器间数据传输 RTT 值均为 TrttT_{rtt}Trtt​，对象数据传输时间为 TobjT_{obj}Tobj​则有采用非持续性HTTP链接获得一个对象需要 T1=2∗Trtt+TobjT_1=2*T_{rtt}+T_{obj}T1​=2∗Trtt​+Tobj​。一共有11个对象，则总响应时间

原创 telnet 命令方式体验HTTP请求

解决telnet命令不可用情况此时未开启telnet客户端，仅需开启客户端即可。开启方式：打开“此电脑”→右键属性→控制面板主页→程序→启用或关闭windows功能。将telnet客户端服务勾上确定退出等待更新完毕telnet 正确的语法是 telnet ip/domain port不可以不写端口号，也不可以在ip/域名和端口号之间写冒号：HTTP协议的一般默认的端口号为 80 ，通常用于web服务。因此此时上述命令改为telnet www.baidu.com 80回车后，此时终

原创 熟悉HDFS常用操作

1#!/bin/bashread -p "Please select flie path you want to output: " filenamehadoop fs -test -e $filename if [ $? -eq 0 ]; then hadoop fs -test -d $filename if [ $? -eq 0 ]; then echo $filename "is a directory!" else hadoop fs -cat $filename f.

原创 Hbase 基本操作练习

遇到点问题，正在修改