- 博客(28)
- 收藏
- 关注
RSS订阅原创 vue项目在本地搭建时，npm install报错npm ERR! code E400
文件，用于记录安装的软件包的精确版本号和依赖关系树，以确保在不同的环境中安装相同的软件包版本。最终，将项目中的package-lock.json删除，重新执行npm install之后成功。文件，并根据其中的依赖项列表来下载和安装相应的软件包。npm会将这些软件包安装到项目的。在npm install运行的时候，总是出现400报错。（以上只展示了其中一种包安装时的400报错）尝试过更换多种npm源，都没有解决这个问题。文件所在的目录中生成一个。命令时，npm会读取。
2024-03-23 15:47:02
278
原创 在yarn集群上运行使用GraphFrame框架的spark代码遇到报错及解决
发现问题是，SparkSubmit在加载类的时候无法找到graphframes的jar文件，所以可以手动下载对应版本的graphframes的jar文件，并在submit的时候引入。通过上述步骤，你应该能够将 graphframes 的 jar 文件作为依赖项上传到你的 Spark 集群，并解决 NoClassDefFoundError 的问题。在sbt中引入了graphframe使spark应用程序可以在本地运行。
2024-03-05 14:51:01
294
原创 在build.sbt引入GraphFrames依赖的方法
记录一下成功构建的方法（尝试多次后终于摸索出来了）查找了不少资料，发现几乎同志记录过如何构建。在build.sbt文件中添加如下配置即可。唯一找到的一个方法依然构建失败。scala版本2.11.12。spark版本2.4.5。
2024-02-07 10:54:13
216
原创 k8s集群的搭建
在 Kubernetes 中，当 Pod 被创建后，它会先进入一个叫做 Pending 的状态，表示 Kubernetes 正在运行必要的调度过程以将 Pod 分配到具体的节点上。直接使用apt-get安装的docker为20.10版本，我们要使用的k8s并不支持这个版本，因此我安装19.03版本的docker，以规避因版本出现的一些问题。根据很多次的失败操作，发现init时将使用hostname的信息，因此若初始化集群的时候，没有将主机名正确地改为k8s-master，将导致k8s集群初始化失败。
2023-07-15 09:50:45
274
原创 GraphX官网例子Analytics分析
然后终止程序的运行。options.remove("vertexStorageLevel").map(StorageLevel.fromString(_)).getOrElse(StorageLevel.MEMORY_ONLY) 从options中移除键为“vertexStorageLevel”的选项，并将其值转换为StorageLevel枚举类型的实例。使用模式匹配，case Array（opt，v）=> （opt，v），将键值对数组中的第一个元素作为键，第二个元素作为值，构成元组。
2023-07-14 10:46:55
125
原创 GraphX官网例子AggregateMessagesExample分析
Map函数中，对于每一个三元组triplets（源顶点、边、目标顶点），它检查源顶点的属性（即关注者的年龄）是否大于目标顶点的属性（被关注者的年龄）。使用模式匹配将元组解构为（count，totalAge），最后计算平均年龄，即将总年龄除以关注者的数量，得到的结果将作为新的值。最终得到的图的类型为Graph[Double，Int]，其中，Double是顶点属性的类型，Int是边属性的类型。这段代码用于计算年龄较大的关注着的平均年龄，它基于先前计算得到的年龄较大的关注着的数量和总年龄。
2023-07-14 10:40:51
116
原创 使用Intellij IDEA编写Spark应用程序
这里需要注意，在Intellij Idea启动时，会执行“dump project structure from sbt”的操作，也就是把sbt所需要的项目结构从远程服务器拉取到本地，在本地会生成sbt所需要的项目结构。由于是从国外的远程服务器下载，所以，这个过程很慢，笔者电脑上运行了15分钟。这个过程没有结束之前，上图中的“File->New”弹出的子菜单是找不到Scala Class这个选项的。但是，要使用idea来开发spark应用程序，还需要对idea进行个性化的配置。
2023-07-14 10:38:05
352
原创 使用sbt编写Spark独立应用程序
使用Scala编写的程序需要使用sbt进行编译打包，相应的，java程序使用Maven编译打包，而Python程序通过spark-submit直接提交。（访问sbt版本时，sbt将通过访问国外网站下载需要的内容，所以如果没有开代理的话，可能会出现卡住的情况，建议开启梯子后执行此步）利用SparkContext对象中的textFile()函数，读取了包含文本内容的文件，并将其转换为RDD对象。原因也和先前查看sbt版本遇到的问题一样，在sudo的权限下，系统的环境变量发生了变化，导致找不到java命令。
2023-07-14 10:24:34
427
原创 Spark2.4.5与Hadoop2.7的安装
将名为spark-env.sh.template的模板复制一份，作为spark的配置。因此，共享的jdk文件路径在：/mnt/hgfs/ubuntu-share/在此，我将hadoop安装在了/usr/local/目录下。现在/usr/local/目录下就有了spark的文件夹。进入/mnt/hgfs/ubuntu-share/目录。进入/mnt/hgfs/ubuntu-share/目录。将改文件移动到/usr/local/java/目录下。将spark安装包复制到/usr/local目录下。
2023-07-14 10:10:28
276
原创 配置云服务器使外部可以访问端口--问题排错
在部署项目的过程中，遇到了不少服务器端口配置的问题，在此做一个记录，后续如果遇到问题可以继续补充进来。
2023-05-21 17:42:10
193
原创 云计算课程-构建jenkins应用
（这个jenkins-server to gitlab-server的凭信是在配置全局工具时进行设置的，采用的是ssh密钥方式连接，具体内容可以查看以下链接。但由于我尝试了各种方法，最终都没能够成功连接，我采用了其他的ssh链接方式，jenkins-server安装了maven工具，因此新建job时，可以使用maven来构建项目。在进行了jenkins的插件安装、全局工具配置和系统配置以后，可以开始构建jenkins应用。构建中遇到了不少问题，产生了非常多失败的构建，终于在30多次的时候成功了。
2023-04-03 16:31:24
443
原创 云计算课程-DevOps流水线中jenkins的系统配置
在进行jenkins插件安装与jenkins全局工具配置以后，正式开始jenkins的系统配置：关于jenkins插件安装、jenkins全局工具配置与devops流水线搭建相关内容，可打开：云计算课程第四次实验-搭建DevOps流水线_猪猡猪猡猪的博客-CSDN博客打开jenkins服务页面，点击manage credentials，进行凭信的管理点击domains下的 （global），添加凭信点击add credentials，进行添加输入以下内容类型应该选择：Username with passwo
2023-04-03 16:19:20
448
原创 云计算课程-Ubuntu系统搭建jenkins服务
jenkins 是最流行的，开源的，基于 Java 的自动化服务器，它允许你很容易地设置一个持续集成和持续发布的管道。持续集成 (CI)是团队正常提交代码到版本控制仓库时，会运行自动化构建和测试。持续发布（CD）是一系列实践，当代码修改后，自动构建，测试，并且发布到生产环境中。Jenkins可以部署以容器方式部署，也可以直接在宿主机上部署，接下来将在ubuntu20.04上部署。
2023-04-02 23:10:57
789
原创 云计算课程-Ubuntu系统搭建harbor仓库
博客内容是云计算课程搭建DevOps流水线的步骤之一，即搭建harbor仓库。也可以作为搭建dev-ops的harbor-server主机的步骤之一，使用的实验环境为：Ubuntu20.04.5、harbor v1.1.2。harbor-server的ip地址为：192.168.61.131。（虚拟机的ip地址可以通过VMWare进行设置）可以单独运用于harbor的搭建，搭建harbor-server。
2023-04-02 22:45:17
345
原创 云计算课程-Ubuntu系统搭建gitlab
博客内容是云计算课程搭建DevOps流水线的步骤之一，即搭建gitlab服务器可以单独运用于gitlab的搭建，也可以作为搭建dev-ops的gitlab-server主机的步骤之一，使用的实验环境为：Ubuntu20.04.5、gitlab-ce v13.2.3在此进行记录。
2023-04-02 22:23:38
508
原创 云计算课程第四次实验-搭建DevOps流水线
搭建DevOps流水线环境。安装并搭建gitlab服务安装并搭建harbor服务安装并搭建jenkins服务配置docker与harbor之间的连接配置jenkins与gitlab之间的连接配置jenkins与web-server主机的连接网卡的重启与配置对docker更深层的理解掌握dockerfile的使用了解wget工具的使用学会配置java、maven环境变量更多的git使用技巧对防火墙的理解加深学会ssh服务，掌握ssh加密与连接。
2023-04-02 20:35:51
1658
5
原创 云计算课程第四次实验-搭建harbor仓库
Harbor是由VMware公司开源的企业级的Docker Registry管理项目，Harbor主要提供Dcoker Registry管理UI，提供的功能包括：基于角色访问的控制权限管理(RBAC)、AD/LDAP集成、日志审核、管理界面、自我注册、镜像复制和中文支持等。Harbor的目标是帮助用户迅速搭建一个企业级的Docker registry服务。它以Docker公司开源的registry为基础，额外提供了如下功能:1）基于角色的访问控制(Role Based Access Control)
2023-04-02 16:14:42
619
原创 云计算课程-第三次实验任务记录
数据卷的本地目录为/usr/dataVol，挂载到了容器的/usr/dataVol下。此时，与我们的要求相比，还剩下将testb连接到zhuluo2的网络中，在刚刚的操作中，我们运行容器时并没有指定要挂在到容器中的数据卷的被你目录。在容器内部，进入/usr，使用ls，能看到容器中已经出现dataVol了。拉去好之后就可以创建容器了，根据资料，我希望将容器连接到新建的网络中。这个命令是将名为testb的容器连接到了名为zhuluo1的网络中。
2023-03-14 17:18:03
401
原创 云计算课程-第二次实验任务记录
输入 sudo docker pull registry，从dockerhub上拉取registry的镜像。使用docker run -d httpd之后，docker ps -a一下就是这样的啦。观察需要两台虚拟机，经由老师提醒，可以在VMWare上实现虚拟机克隆（步骤略）发现我跑起来的时候，没有加上-d，所以实际上是跑起来了，但并非后台模式。安装好docker之后，开始安装运行私有镜像仓库Registry应用。装好docker以后，需要安装httpd镜像。运行镜像的时候，出现如上的问题。
2023-03-14 17:10:43
209
原创 云计算课程-第一次实验任务记录
由于以前使用过VMware以及创建过Ubuntu和Centos的虚拟机，因此电脑上已经有了基础。想着以前安装的ubuntu和centos有诸多配置，干脆重新安装一个新的ubuntu。当时过程步骤忘记记录，记录了参考的博客和内容。打开虚拟机的浏览器，可以连接到网络。
2023-03-14 17:01:53
268
1
原创 CSAPP--BOMBLAB实验
本实验要求你使用课程所学知识拆除“binary bombs”，增强对程序的机器级表示、汇编语言、调试器和逆向工程等方面原理与技能的掌握。一个“binary bombs”（二进制炸弹，下文将简称为炸弹）是一个Linux可执行程序，包含了6个阶段（或层次、关卡）。炸弹运行的每个阶段要求你输入一个特定字符串，你的输入符合程序预期的输入，该阶段的炸弹就被拆除引信即解除了，否则炸弹“爆炸”打印输出 "BOOM!!!"。实验的目标是拆除尽可能多的炸弹层次。
2022-11-28 18:43:38
6643
2
原创 在springboot中，利用xml配置mybatis的方法
2. 在resource目录下，创建mybatis的配置文件mybatis-config.xml和映射文件目录mapper，之后的各类映射文件都放在里面。注意，application.yml和mybatis-config.xml中都要配置数据库（驱动、url等）3. 在application.yml文件中配置如下信息。但按照博客中的关键代码和步骤创建的项目无法启动。因此经过参考其他资料，尝试出了不会报错的步骤。成功查出需要的数据库内容。1. 创建springboot工程。这个是避免报错的措施。
2022-11-18 13:43:42
3002
原创 Springboot框架下，使用QQ邮箱发送用户注册验证码
Step2：在springboot项目中导入依赖。在qq邮箱中，相关的设置在“设置-账户”栏目下。Step1：打开邮箱的pop3/smtp服务。Step3：在配置文件中，添加如下配置信息。Step4：书写简单的代码，就可以跑起来啦。（我写在了测试类中，关键代码如下：）
2022-11-16 21:09:21
271
原创 关于uniapp中，onLoad函数内this指向undefined的解决
关于uniapp中，onLoad函数内this指向undefined的解决
2022-08-22 11:00:51
3356
原创 微信小程序连接华为云ModelArts的方法以及一些小坑（二）
首先打开ModelArts的部署上线-在线服务查看项目接口API，这里的输入参数就是微信小程序请求中要传递的参数，这里类型为file，传输时是MIME/MULTIPART-FORM-DATA类型，微信小程序中的wx.request并不支持multipart/form-data类型，因而应该使用另一个微信提供的API--wx.uploadFile上传文件 若是object类型的参数，则可以使用wx.request进行请求 请求时，要在请求头header中添...
2021-12-16 11:09:02
1147
2
原创 微信小程序连接华为云ModelArts的方法以及一些小坑（一）
最近使用微信小程序和华为云平台设计一部参赛作品，苦于现存博客较少，内容针对性较差，在研究华为云的时候踩了不少的坑，绕了些弯路，现将经验分享。先把找好的链接po上来：获取IAM用户Token（使用密码）_统一身份认证服务 IAM_API参考_API_Token管理_华为云 (huaweicloud.com)入门前必读_统一身份认证服务 IAM_快速入门_华为云 (huaweicloud.com)视频帮助_统一身份认证服务 IAM_华为云 (huaweicloud.com)一、获取用户to
2021-12-16 10:53:13
1970
原创 解决IDEA无法创建Servlet问题的一种方式
因为以前的maven原型创建javaweb工程出现了未知的无法创建Servlet的问题所以记录一下新的解决办法点开New Project 选定Java Enterprise2. 注意一下Project template，在里面选择Web application3.下一个界面可以不进行额外配置，直接点击finish即可等项目创建好之后就可以创建Servlet啦！！！-----------------------------------------------...
2021-11-18 21:05:46
1483
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人