- 博客(652)
- 资源 (21)
- 收藏
- 关注
RSS订阅
原创 常用网站网址
unix时间戳工具：http://tool.chinaz.com/Tools/unixtime.aspxjs在线编辑工具：https://c.runoob.com/front-end/61代码编辑器：https://leetcode-cn.com/playground/new/emptygithub搜索链接：https://github.com画图工具：https://www.dr...
2019-01-21 12:44:13
1585
原创 在虚拟机安装ubuntu18时出现界面很小
然后按Enter，就可以暂时改变虚拟机的显示分辨率，这样你就可以继续安装Ubuntu了，安装成功后再去修改分辨率就可以了。鼠标右击桌面，点显示设置，就可以进行分辨率的修改了。
2024-05-23 10:39:21
16
原创 Ubuntu18.04下MySQL5.7的安装
（1）进入mysql，在命令行直接输入"mysql"（9） 查看mysql状态、开启、停止数据库服务。（6）退出mysql命令行，"exit"（10）安装mysql的图形化管理软件。（5）修改root的plugin和密码。进行命令行安装【root角色】4、设置mysql的密码。（8） 正常登录mysql。（11）从软件中心打开即可。（7）重启数据库服务。
2024-05-21 17:37:51
70
原创 【无nodemanager】Unable to make protected final java.lang.Class java.lang.ClassLoader.defineClass
hadoop集群启动后，slave1没有nodemanager进程。因为 java版本太高，降低版本，重新启动即可。
2024-05-20 18:05:52
155
原创 ubuntu中hadoop完全分布式部署【三台主机】
链接：https://pan.baidu.com/s/1tmVEGjRI_7CXgCzcmocRAw。2、在/etc/profile中添加环境变量，并使其生效【注意切换为自己的实际路径】3、安装成功测试,输入以下命令，出现java版本。#（1）在三台主机中分别生成密钥，六、配置hadoop完全分布部署。#（2）在三台主机中传输密钥。# 退出连接使用:logout。五、配置zookeeper环境。解决方案：重新安装vim。# 查看是否修改成功。
2024-05-16 15:29:56
418
原创 大数据比赛-环境搭建(二)
链接：https://pan.baidu.com/s/1w4Hsa1wbJDfC95fX2vU_1A。链接：https://pan.baidu.com/s/1tmVEGjRI_7CXgCzcmocRAw。链接：https://pan.baidu.com/s/1tmVEGjRI_7CXgCzcmocRAw。大概意思：无法使用1.8的环境（52对应jdk1.8）运行17（61对应的。再启动即可，如果还是报同样的错误，重启ubuntu系统，再试即可完成。在/etc/profile中添加环境变量，并使其生效。
2024-05-15 15:42:44
674
原创 大数据比赛-环境搭建(一)
一般刚安装的Ubuntu系统，默认的root密码是随机的，在终端中输入命令 sudo passwd，然后输入密码，即可。链接：https://pan.baidu.com/s/1IvSFzpnQFl3svWyCGRtEmg。链接：https://pan.baidu.com/s/1LRN2RXHf9vb-ufCXkY8UBQ。双击安装MobaXterm，点击New Session，输入IP和用户名user，点击OK。跳转到MobaXterm中，输入user密码，即可登录。5、输入刚才的密码即可。
2024-05-11 15:42:56
505
1
原创 Spark部署错误排除方式
1、查看spark文件夹下conf文件的权限。3、查看hadoop文件夹下配置文件是否正确。2、查看spark文件夹下配置文件是否正确。5、重启hadoop集群。4、重启spark集群。
2024-05-11 11:54:39
249
1
原创 zookeeper启动 FAILED TO START
进入到$ZOOKEEPER_HOME/data下，将除了myid外的其他文件全部删除，停止进程，重新启动即可。如果当前用户下没有该进程号，可能是另一个用户中启动的，进入到另一个用户中查看，并杀死该进程。已经启动过该进程，使用jps查看进程号，使用kill -9 进程号,杀死该进程重新启动。注意：启动zookeeper时，需要使用zkServer.sh start命令。解决方案：将所有主机按myid顺序启动后，再查看状态。错误3：查看状态失败。
2024-05-06 09:13:18
293
1
转载 运行hive时报错 权限问题
参考 https://www.cnblogs.com/cynchanpin/p/6915465.html。转载于:https://www.cnblogs.com/zk1023/p/9110903.html。这是/tmp/hive文件夹权限不够，须要提升权限。在运行hive时报错。
2024-04-07 22:13:18
74
原创 mysql_secure_installation初始化数据库报Access denied
登录mysql，设置密码，然后再设置权限。可能输入密码错误，重新复制，粘贴密码。
2024-04-07 16:51:12
231
1
原创 hive报错org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version.
使用schematool -dbType mysql --initSchema --verbose也无错误。2.检查Hive-site.xml文件是否有错误，尤其是关于metastore相关内容，无误。1.检查MySQL是否启动成功 systemctl status mysqld,没有问题。4.突然反应过来主机名应与jdbc的一致。啊啊啊啊啊啊，要疯了。3.检查root是否有权限访问，无误。hive初始化元数据失败。
2024-04-07 15:00:21
375
转载 ABRT 已检测到 ‘1‘ 个问题。预了解详细信息请执行：abrt-cli list --since 1641347561
无法删除 '7c0a746f4a92b2ea80dbf5db0043acc72d25516d'：(null)time: 2022年01月05日 星期三 17时24分14秒。
2024-04-07 12:34:11
54
原创 卸载Mysql方法
①通过/etc/my.cnf查看MySQL数据的存储位置。②去往/var/lib/mysql路径需要root权限。需要卸载重装，可参考以下内容。①查看安装过的MySQL相关包。若因为安装失败或者其他原因，（2）卸载MySQL相关包。（注意敲击命令的位置）
2024-04-06 00:18:41
875
原创 hbase启动错误-local host is“master:XXXX“ destination is:master
hdfs高可用安装，yarn高可用安装，且启动成功。zookeeper安装完成，且启动成功。与hbase-site.xml中。将core-site.xml中。保持一致，即可解决。
2024-03-25 22:41:16
423
原创 hdfs-HA错误解决记录
出现错误一般是配置文件出错，如果再三检查没有错误，可以考虑重启让配置文件生效，重启后还是有错误，就还是配置文件有问题。错误2：unable to check if jns are ready for formatting。错误1： a shared edits dir must not be specified。结果是：dfs.ha.namenodes.ns的value值错误，应该是逗号分割。错误分析：与edits文件存储相关的配置文件进行检查，无误。各JournalNode。然后格式化就没问题了。
2024-03-18 14:12:00
186
原创 IDEA中Vue的安装和使用【window10】
1.首先安装npm的阿里镜像，原生npm下载依赖包过慢，镜像可以提高下载效率。3、安装webpack工具（如果以前没有安装webpack，一定要安装！1.在setting中的plugins安装Vue.js插件（本人已经安装）十.下一步就是配置好IDEA的Vue环境了（配置好了，才能编写代码！八.查看IDEA的Static Web里的Vue项目。2.安装Vue的脚手架工具vue-cli。2.配置HTML支持.vue后缀的文件。六.基本工具安装完成后，开始创建项目。九.惊喜的时刻：运行Vue项目。
2024-02-25 12:24:04
511
原创 大数据-数据可视化-环境部署vue+echarts+显示案例
在node.js中选择需要的版本下载，本人下载v16.60，下载网址https://nodejs.org/download/release/v16.20.2/移动echarts.js与axios.js到guangsha/src/assets下。选择feature，需要则按空格键，不需要再按一次，选择三项，然后按enter。创建chart.vue,并删除原有vue文件。【以下所有操作均在centos上进行】通过鼠标上下键，选择手动，按enter。后面内容皆选择默认，耐心等待几分钟。解决方案：更换镜像源。
2024-02-23 23:41:55
1340
1
原创 下载 axios.js 文件到本地【linux】
参考：https://blog.csdn.net/weixin_46055693/article/details/122961451?在$NODE_PATH/node_modules/axios/dist路径下即可找到axios.js。1、百度搜索 GitHub 官网：https://github.com/5、解压，进入到 dist 文件夹**3、点击 axios/axios。2、搜索 axios。
2024-02-23 22:18:53
1642
转载 如何下载echarts.js文件【linux】
将要用到的图形√上（建议全部勾选），否则代码可以没有相应的显示图形或功能，下拉都底部。最后选择下载，下载完成后就得到一份echarts.min.js文件了。点击“ 在线定制 ”
2024-02-23 21:10:08
644
原创 SparkSQL学习03-数据读取与存储
SparkSQL提供了通用的保存数据和数据加载的方式。这里的通用指的是使用相同的API，根据不同的参数读取和保存不用格式的数据。SparkSQL默认读取和保存的文件格式为parquet，parquet是一种能够有效存储嵌套数据的列式存储格式。需要注意：在读取jdbc时需要在format和save之间添加多个option进行相应的JDBC参数设置【url、user、password、tablename】save中不用传递路经空参数即可，可以不用设置mode。SparkSQL提供了两种方式可以保存数据。
2024-02-23 14:03:23
1392
3
原创 SparkSQL学习02-编程入口
在创建Dataset的时候，需要注意数据的格式，必须使用 == caseclass ==，或者基本数据类型，同时需要通过import spark.implicts._来完成数据类型的编码，从而抽取出对应的元数据信息，否则编译无法通过。这两种方式，都是非常常用，但是动态编程更加的灵活，因为javabean的方式的话，提前要确定好数据格式类型，后期无法做改动。【StructField】：是该二维表中某一个字段/列的元数据信息（主要包括列名，类型，是否可以为null）说明：这里学习三个新的类。
2024-02-22 00:35:45
344
原创 SparkSQL学习01
从上面两个表格可以看出，DataFrame比RDD多了一个表头信息 （Schema），像一张表了，DataFrame还配套了新的操作数据的方法等，有了DataFrame这个高一层的抽象后，我们处理数据更加简单了，甚至可以用SQL来处理数据了，对开发者来说，易用性有了很大的提升，不仅如此，通过DataFrameAPI或SQL处理数据，会自动经过Spark优化器（Catalyst）的优化，即使你写的程序或SQL不高效，也可以运行的很快。RDD也是一张的二维表，不过没有表头，表名，字段，字段类型等信息。
2024-02-21 22:44:31
995
转载 一种解决spark解析json文件出现_corrupt_record异常的方法
通过分析json文件内容可知，这是由于多余的换行符导致spark的json解析器没有正确解析。网络上有通过添加option("multiLine", true)的方法解决这一问题，但是这个参数和spark版本有关。编写的spark程序读取json文件时，json格式解析异常。解析出来的异常json格式为。
2024-02-21 21:11:30
74
转载 HIVE-分区表详解以及实例
是加上所有files的内容基本上一样，蓝色的^A是系统默认分隔符。八进制是‘\001’.随后参考我的另一个文章。比较详细解释了分隔符。现在只查看dt=2001-01-02目录下country=US的文件夹下的数据。条件限定了country='GB'目录所以只有file1,2,4的内容输出。上面语句的效果是在hdfs系统上建立了一个层级目录。我们到HDFS上查看，发现建立了下面层级目录。创建一个分区表，分区的单位时dt和国家名。我们继续执行下面语句，先看一下什么效果。接下来我们创建要给分区。
2024-02-12 11:49:51
28
原创 spark-cannot resolve overloaded method
使用split方法，出现错误：cannot resolve overloaded method。解决方法:那个regex应该是自动生成，所以split括号中输入空引号即可。入门学习人的愚笨，也要继续坚持，加油！
2024-01-30 12:26:23
525
原创 Scala入门01
在http://www.scala-lang.org官网查看。特征1：Scala run on the JVMJDK 开发工具包 敲代码JRE 运行环境 跑代码JVM 运行平台特征2：强类型，声明时不需要有类型,根据值去进行类型推断变量 var name=“zx”常量 val特征3：结局concurrency并发 distribution 分布式 async异步编程问题特征4：traits=抽象类+接口接口里是抽象方法、常量。
2024-01-29 23:58:12
504
原创 Spark入门02-Spark开发环境配置（idea环境）
参考https://blog.csdn.net/weixin_38383877/article/details/135894760。
2024-01-29 23:51:02
332
原创 Spark入门01-Spark简介
Spark借鉴了MapReduce思想，保留了其分布式并行计算的有点并改进了其明显的缺陷，让中间数据存储在内存中提高了运行速度、并提供丰富的操作数据的API提高了开发速度。可以计算：结构化、非结构化，半结构化的数据结构，支持使用Python，Java，Scala、Sql语言开发应用程序计算数据。Spark是用于大规模数据处理的统一分析引擎。对任意类型的数据进行自定义计算。
2024-01-28 23:41:27
650
原创 Hive安装步骤
slave1节点：slave2节点：注意：假性进程，即在master节点上使用stop-all.sh命令关闭hadoop分布后，slave1，slave2节点相关进程是否会关闭，如果关闭，那么重新开启，说明hadoop集群分布成功。如果没有关闭，说明为假性进程，进行相关处理。切换到root用户，
2023-12-08 10:15:57
1133
原创 糊里糊涂在计算机行业混迹10年
由于自己是山里出来的，所以学习计算机，即使我考研失败，经过培训，我可以找到一份不错的工作，是我的后路，即使我研究生毕业找不到合适的工作，经过短暂的学习，最起码当前阶段我可以找到一份工作，所以我学到的计算机能力让我有了选择工作的勇气，让我有了对抗世界的勇气，让我自己从自卑走向自信！我感叹道：“果然这个魔法圈子里，先要会修电脑！当大家在讨论当初自己为什么选择计算机时，我依稀记得自己高考报考志愿时，化学，会计，小学教师，计算机等一系列听起来不错还不讨厌的专业被我选中了，最后是计算机专业挑选了我。
2023-12-05 22:19:40
515
原创 Hive HWI 配置
1、下载安装好hive后，发现hive有hwi界面功能，研究下是否可以运行，于是使用hive –service hwi命令启动hwi界面报错。启动hwi功能2、访问192.168.126.110:9999/hwi，发现访问错误一、HWI介绍HWI）是Hive-2-1版本之前的源码中提供的网页控制台工具，但由于其功能简陋，索性Hive-2.2之后的版本中不再提供该工具。HWI也需要单独安装配置用到的安装包：二、HWI配置1、进入到下，使用如下命令编译war包2、将。
2023-12-05 11:04:41
880
原创 软件测试高职教师组比赛复盘
（1）显示没有令牌，觉得可能1设置好环境变量后，没有读取到，即没有运行Login，可能2环境变量为局部变量，读取不到，可能3就是设置为Auth后，token没有传进去。（2）邮箱判断时，正则表达式没有熟练使用，一直有错误，导致找bug分钟，仍然未出结果，所以单元测试只做了前3道，第四题没有来得及看。（1）init自动输入时变成了ini，导致找bug用了至少10分钟，甚至怀疑自己写错了，无法继承，换了别的方式等等。单元测试：11:15-12:20，做了三道，前两道拿下，第三道有bug，第4道没有时间。
2023-11-26 23:56:20
540
转载 LoadRunner回放出错
所以如果你录制的时候使用了代理，就修改为你使用的代理，如果你没有使用代理，就像 我一样什么都没做，就把代理关闭了，选择no proxy。转载地址：http://blog.csdn.net/u014377853/article/details/52237904。录制的网站：HP loadrunner自带的机票订购网站。操作系统：win7 旗舰 64bit。LoadRunner版本：12.53。
2023-11-06 00:18:22
88
转载 loadrunner录制时可以打开浏览器，加载不出网页
无法录制https请求的解决办法：https://www.cnblogs.com/l199616j/p/13201458.html。Loadrunner12在谷歌浏览器下录制脚本时，出现了打不开网页的问题，但是不录制时又可以正常打开，感觉很奇怪呀。Fiddler是代理，Loadrunner录制脚本时，通过Fiddler去发送请求，以及获取请求过程中产生的脚本。最近在学习loadrunner录制脚本时遇到了一些问题。在这里会出现一个问题，那就是无法录制https的请求。原来是因为没有打开Fiddler！
2023-11-06 00:04:53
1433
原创 Junit使用
RunWith注解：当类被@RunWith注解修饰，或者类继承了一个被该注解修饰的类，Junit将会使用这个注解所指明的测试运行器进行测试。如果测试代码大同小异，代码结构都是相同的，不同的只是测试的数据和预期值，那么有没有更好的方法将相同的代码结构提取出来，提高代码的重用度呢？Junit4的单元测试用例执行顺序为：@BeforeClass->@Before->@Test->@After->@AfterClass。每一个测试方法的调用顺序为：@Before->@Test->@After。
2023-11-03 00:07:54
135
原创 在Eclipse中使用Junit
这样就构建test包，一般test包和src源码包分别放在不同的文件夹中。这就是Junit4在eclipse中的测试用例编写和运行的过程。此时Junit包已经加载在项目下。就会生成一个默认的测试框架。最后对测试框架进行简单的编写。2、引入Junit测试包。3、构建Junit框架。创建Junit测试类。
2023-10-26 23:15:59
2955
hive web配置过程及所用资源
2023-12-05
intellibot.rar
2020-08-02
ssd_mobilenet_v2_coco_2018_03_29.tar.gz
2020-01-06
火狐53和seleniumIDE2.9.rar
2019-09-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人