- 博客(36)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 对抗重力—初探声悬浮技术
对抗重力——初探声悬浮技术前言五类悬浮技术磁悬浮静电悬浮光悬浮气体悬浮声悬浮原理声的传播振幅为零！制作过程材料超声波悬浮全貌换能头电路图实验视频程序前言从古至今，人们就渴望着能够摆脱地面的束缚，如鸟类般在天空自由的飞翔，而人类的探索也从未停止过。远在春秋时期，就有了的风筝的雏形。在明朝，尽管万户发明的飞椅未能如愿将其送上天空，但他是世界上第一个想到借助火箭推力升空并付诸实践的人。到了近代，...
2020-03-07 20:12:13
9028
10
原创 阿里云服务器kafka无法访问
配置阿里云安全组规则 出端口入端口都要打开配置/etc/hosts 添加内网ip和ipName（可能也要加公网ip）172.18.10.10 HostName配置kafka的server.propertieslisteners=PLAINTEXT://0.0.0.0:9092advertised.listeners=PLAINTEXT://120.78.22.22:9092advertised.host.name=HostName ...
2021-05-08 22:54:26
388
原创 SparkRDD三种数据持久化/数据重用（persist cache checkpoint）
一般情况下，RDD的计算过程是不会保留数据的。所以在重复使用RDD对象时，并不会重用数据，而是又重新计算了一遍，浪费资源、时间。为了实现数据的重用，避免重复计算，需要进行持久化操作当然，对于某些大数据量、计算时间过长的操作来说，因为有可能出现计算错误而导致从源头开始又计算一遍的情况，所以也需要进行数据持久化操作。persist()persist()会把数据临时缓存在内存、磁盘当中（可手动指定）。若涉及到磁盘IO，则性能会受到影响。但保存在磁盘时数据也会较为安全。如果只保存在内存当中（StorageL
2021-04-25 13:08:48
542
1
原创 为什么把Spark RDD中的方法称之为算子？和Scala中的方法有什么不同？
算子也就是Operator（操作）不同的称呼是为了区分RDD的方法和Scala集合对象的方法Scala集合对象的方法都是在同一个节点的内存中完成的RDD的方法可以将计算逻辑发送到Executor端（分布式节点）执行RDD的方法 外部操作都是在Driver端执行，而方法内部的逻辑代码是在Executor端执行例如：...
2021-04-24 11:38:56
486
2
原创 spark中coalesce、repartition和partitionBy的异同
目录coalesce为什么要合并缩小分区coalesce使用减小分区这里出现数据倾斜的详细解释扩大分区coalesce和repartitionshufflepartitionBypartitionBy的使用隐式转换默认分区器`HashPartitioner`在Spark中，这三者都是针对分区操作的，功能较为类似我的测试环境如下：win10scala2.12.10spark-3.1.1-bin-hadoop3.2hadoop3.2.2coalescecoalesce既可以实现RDD分区的合
2021-04-21 00:56:54
1250
原创 基于Spark实现从服务器日志数据apache.log中获取每个时间段访问量
目录要求日志数据代码部分结果要求在Spark环境中，实现从服务器日志数据apache.log中获取每个时间段访问量这里以一个小时为时间段，不考虑年份日期日志数据资源还在审核中，通过后免费下载，以下是部分数据，供临时测试：83.149.9.216 - - 17/05/2015:10:05:03 +0000 GET /presentations/logstash-monitorama-2013/images/kibana-search.png83.149.9.216 - - 17/05/2015:
2021-04-19 00:06:14
1027
原创 spark 运行自带样例SparkPi、spark-examples报错
错误：scala> ./spark-submit --class org.apache.spark.examples.SparkPi --master local[2] ../examples/jars/spark-examples_2.12-3.10.1.jar 10scala> spark-submit --class org.apache.spark.examples.SparkPi --master local[2] ../examples/jars/spark-examples_
2021-04-15 12:12:39
10998
6
原创 不使用ssh-copy-id实现免密ssh登录树莓派
在win10中，是没有ssh-copy-id这一工具的，所以要通过手动复制公钥的方式实现免密登录实现过程第一步 本机生成ssh秘钥文件ssh-keygen这时在
2021-04-11 21:01:13
722
原创 树莓派运行spark-shell出错
在运行spark-shell时出错，检查自己的java版本，一定不要使用openJDK安装的jdk直接从orcale官网下载对应的arm 32/64 的版本：安装过程参考此文
2021-04-10 10:48:17
151
原创 scala中输出版本号
在IDEA中安装了多个版本的scala，为了查看当前项目使用的是哪个版本，可以通过如下命令进行查看：println(util.Properties.versionString)
2021-04-09 16:32:58
494
原创 scala使用并行集合暨IDEA无法导入scala依赖
scala使用并行集合导入依赖在scala 2.13.x版本中，使用并行集合需要引用依赖。在这里，你可以查询到需要引入的文件和对应的代码找到合适的版本后，复制代码：网站中给出的xml应当包含在dependencies标签中：<dependencies> <!-- https://mvnrepository.com/artifact/org.scala-lang.modules/scala-parallel-collections --> <depe
2021-04-08 14:53:07
950
原创 Scala：用自定义函数实现while循环功能
目的通过编写函数，借助于闭包、递归、控制抽象、柯里化等实现while循环的全部功能，以加深对于高阶函数的理解。实现最简单的方法：柯里化复杂：闭包+递归+控制抽象复杂：闭包+递归+控制抽象+匿名函数具体程序如下：object mS { //TODO: 用 闭包+递归+控制抽象 实现while循环的功能 //while循环可以看做两部分代码 1.循环条件 2.循环体 //这两部分都是代码块 def main(args: Array[String]): Unit = { var i
2021-04-03 00:41:45
452
原创 Scala高阶函数练习三
要求实现例一：def main(args: Array[String]): Unit = { println(func(0)("")('0')) println(func(1)("")('0')) println(func(2)("")('0')) println(func(0)(" ")('0')) }def func(a: Int): String => Char => Boolean = { def f1(b: String): Char => Boolea
2021-04-02 10:19:36
140
原创 高阶函数练习二：对数组进行处理，将操作抽象出来，处理完毕后返回一个新的数组
要求对数组进行处理，将操作抽象出来，处理完毕后返回一个新的数组实现例一：实现数组各个元素自增10object myClass { //对数组进行处理，将操作抽象出来，处理完毕后返回一个新的数组 def main(args: Array[String]): Unit = { val number = Array(1, 2, 3, 4) val result = arrayOperation(number, plusOne) println(result.mkString(" "))
2021-04-01 23:28:31
114
原创 Scala匿名函数与高阶函数练习
目的定义一个二元运算，只操作1和2两个数字，具体的执行过程通过参数传入通过匿名函数与高阶函数来实现代码object myClass { def main(args: Array[String]): Unit = { val plus = (num1: Int, num2: Int) => { num1 + num2 } val minus = (num1: Int, num2: Int) => { num1 - num2 } //a + b dual
2021-04-01 18:05:51
170
原创 Scala 循环逆序输出的几种形式
Scala 逆序输出的几种形式要求方法1 减法方法2 `reverse`写法1：写法2：写法3：方法3 `foreach()`要求编写一个过程，实现从n到0的数字打印方法1 减法通过减法实现def countDown1(n: Int): Unit = { for(i <- 0 to n) { println(n - i) }}方法2 reverse借助reverse实现写法1：def countDown1(n: Int): Unit = { for (i <- 0
2021-02-17 17:14:44
2165
1
原创 Scala学习笔记-方便查找使用 为Spark学习打基础
Scala学习伊始为什么是Scala网课环境电脑环境安装IDEA插件安装IDEA关联Scala源码基础部分文档注释和生成字符串的三种输出变量和常量数据类型数据类型体系图小结具体数据类型伊始为什么是Scala毕业设计所逼，我课题是《基于spark的实时音乐推荐系统》，而Spark是用Scala开发的，使用Scala必然最合适。虽然Spark提供了Java、Python等的API，但貌似效果不如Scala。网课自己找了个网课，开干
2021-02-05 00:39:14
4287
原创 Linux-利用popen函数实现ls –l > file.txt的重定向功能
利用popen函数，实现“ls –l > file.txt”的重定向功能代码如下：#include <stdio.h>#include <stdlib.h>int main(){ FILE * fp;//执行系统命令的指针 FILE * txt;//写文件的指针 char buf[500];//暂时存放信息的数组 fp=popen("ls -l","r");//调用系统命令 if(fp!=NULL) { int num=fread(buf,siz
2020-05-10 20:42:49
827
原创 Linux下查看进程没有PID码
Linux下查看进程没有PID码现象原因解决办法现象在查看TCP连接时，显示的信息中pid栏为空：原因没有使用root账户！解决办法
2020-05-01 23:45:44
2522
原创 Linux /proc中的文件解析
最近要做一个用于检测Linux系统cpu等信息的程序，遂开始研究/proc下的文件。Linux之下皆为文件，所以系统状态信息、配置文件也都是文件，可以直接查看甚至是==修改！==
2020-04-23 21:37:55
342
原创 练习一：波士顿房价数据集可视化
练习一：波士顿房价数据集可视化调用keras提供的数据集：波士顿房价数据在调用该数据集时，若本地没有数据会自动从网络下载并保存至本地C盘用户目录下下面为Python代码：import tensorflow as tfimport matplotlib.pyplot as pltboston_housing = tf.keras.datasets.boston_housing#获取数...
2020-04-17 22:24:59
3436
1
原创 用C语言快速修改同名文件
批量重命名文件修改结果代码自己要在android APP中显示天气所对应的情况，然而心知官网给出的图片资源全是数字开头的，无法直接在项目中使用，所以就用C语言写了一个批修改程序，重命名文件修改结果原文件格式：修改后：代码#include"stdio.h"#include"io.h"#include"string.h"#include"stdlib.h"#define MAX ...
2020-04-14 21:00:30
387
原创 删除文件的正确姿势-Linux权限探索
删除文件的正确姿势在Linux系统中，要删除一个文件，到底需要用户拥有怎样的权限呢？这里做一个小小的探究。首先用普通用户登录，在文件夹my下创建出mydir文件夹并进入，然后创建一个文件file这时我们可以查看自己新建的file的权限信息。毫无疑问，这时我们要是执行删除命令是肯定可以的。但要是修改了权限呢？我做了一个极端的状态：将对文件file的所有权限都撤去所有的用户都失去了对fi...
2020-03-16 22:31:10
433
原创 android listView不显示图片的解决办法
android listView不显示图片的解决办法原因解决方法原因自己练习安卓时发现，但是运行时listView中的imageView没有任何显示。在Debug下，我发现负责数据支持的arrayList中，保存进去的图片资源是NULL问题代码如下：//ArrayList<DetailsUtil> arrayList;//DetailsUtil 是我自定义的数据类 包含bit...
2020-03-14 17:03:16
1317
原创 Linux软件安装与管理-学习路线(思维导图)
Linux软件安装与管理思维导图这是我精心制作的，关于LInux软件安装的思维导图，里面包含了源码包、rpm包、yum等等一系列的步骤，各种命令也都有写哦~例图如下：整版截图如下：这里是一个带有小小作者信息的下载地址：仅供大家学习！地址：等待审核后就会更新~~这是没有作者信息的，要是大家也和我一样，被老师要求搞一个思维导图，可以选择这里哒（你懂的~）地址：等待资源审核就会更新~~...
2020-03-10 11:04:42
634
原创 最简单的Makefile编写
最简单的Makefile编写C语言工程main.cmax.cmax.hMakefile文件运行C语言工程现在有一个C语言工程需要在Linux下编译，这个工程包含三个文件，它们的依赖关系是：main.c中调用max.c的函数，这个函数在max.h中声明。main.c#include "max.h"int main(int argc, char *argv[]) { int n; ...
2020-03-09 15:06:16
544
原创 gcc默认选择静态库还是动态库？
gcc默认调用哪个库文件？现在在一个文件夹内，生成了同名的静态库和动态库文件libmyhello.a 和 libmyhello.so，执行gcc -o hello main.c -L. -lmyhello，结果会是怎样的呢？编译执行程序：尽管程序未能正常执行，但是从反馈的错误信息上可以看出，这个错误是由于缺失.so文件所导致的（未将libmyhello.so放入/usr/lib）。因此，...
2020-03-07 15:54:24
2133
原创 AndroidStudio无法连接GitHub
AndroidStudio无法连接GitHub前提错误类型...Failedcan't get input stream from URL解决方法ping github.com修复网络检测防火墙设置更改设置：前提确保自己的电脑上已经安装了git软件并注册、激活了GitHub账户。账户一定要激活，激活，激活错误类型…Failed我尝试将AndroidStudio中的工程推送至GitHub...
2020-03-04 20:01:00
4240
原创 L1-006 连续因子
L1-006 连续因子（暴力法）整体思路暴力求解完整代码实现整体思路对于这道题来说，如果要使用或设计一些巧妙的算法还是相当麻烦的，但是其实暴力法的时间复杂度不是特别大，最终结果也是不错的：暴力求解通过两个循环嵌套，做数字累乘，再判断是否满足条件：若所得的新串长度比原来的length长并且累乘值sum是数字num的因数，那么久更新长度length和数字串的开始数字start当然，对于外循...
2020-02-09 20:28:39
323
原创 L1-009 N个数求和（核心-通分与约分）
L1-009 N个数求和 （核心-通分与约分）通分与约分通分代码实现约分代码(辗转相除法)实现完整代码实现通分与约分L1-009 N个数求和这道题并未涉及到太多算法，主要还是考如何编程实现通分与约分。对于两个分数的通分来说，最简单的办法就是:ab+cd=a×d+c×bb×d\frac{a}{b} + \frac{c}{d} = \frac{a \times d + c \times b}...
2020-02-08 23:16:07
560
原创 L1-059 敲笨钟 （活用string库函数）
L1-059 敲笨钟 （活用string库函数）灵活使用string库函数细节注意完整代码实现灵活使用string库函数对于L1-059 敲笨钟这一题，其核心是判断字符串是否需要修改，若要修改，如何在字符串中定位。当然，使用循环来逐字符判断逗号和句号的位置，再做修改也未尝不是办法，但这样就太过繁琐了。我们直接利用string中的find函数来寻找字符串"ong.“和"ong.”。若二者都能...
2020-02-02 21:09:18
372
原创 Servlet中out无法输出信息，只显示问号
问题如图所示：原以为这个错误是由于servlet程序中的PrintWriter out没有按照HTML文件的格式来输出所导致的。但修改为HTML的格式后问题依旧存在：经测试发现，这其实是网页显示乱码了。加上response.setContentType(“text/html;charset=utf-8”)后问题就解决了。添加这句：信息可以正确显示：...
2019-11-09 13:41:50
1174
原创 用IDEA开发Servlet，html找不到servlet，Servlet注解无效
在IDEA中创建Servlet之后，却发现无法在HTML文件中引用这是由于注解信息缺少，在Servlet中，你可以看到IDEA已经帮我们生成了相应的注解，但是仅仅这样还是不够的。因为这里的注解只是告诉了IDEA servlet的名字，但并没有指明访问路径！因此，解决方法有两种：1：增加 value貌似 使用urlPatterens也是可以的2：改为 xml配置两种方法选择...
2019-11-09 12:41:19
3593
3
原创 在IDEA中连接MySQL数据库
在IDEA中连接MySQL数据库1 建库数据库中的book表要求如下：SQL语句：CREATE TABLE book ( id int auto_increment PRIMARY KEY, bookname VARCHAR(40), author VARCHAR(20), price FLOAT, publisher VARCHAR(20), date datetime,...
2019-11-06 20:29:52
684
原创 开启、关闭MySQL服务
开启、关闭MySQL手动打开、关闭MySQL服务手动关闭MySQL手动打开MySQL手动打开、关闭MySQL服务自从电脑上装了各种数据库，内存就约占越满，但实际中并不需要所有的数据库都开启。那如何手动管理MySQL服务呢？手动关闭MySQL我们可以在cmd或powershell中通过net stop mysql来关闭。但需要注意的是，cmd或powershell必须是管理员模式下。除此之外...
2019-10-29 20:11:06
209
Linux软件安装与管理.pdf
2020-03-10
Linux软件安装与管理-署名版.pdf
2020-03-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人