- 博客(655)
- 资源 (21)
- 收藏
- 关注
原创 常用网站网址
unix时间戳工具:http://tool.chinaz.com/Tools/unixtime.aspxjs在线编辑工具:https://c.runoob.com/front-end/61代码编辑器:https://leetcode-cn.com/playground/new/emptygithub搜索链接:https://github.com画图工具:https://www.dr...
2019-01-21 12:44:13 1586
原创 hive初始化失败报错:Error: Duplicate key name ‘PCS_STATS_IDX‘ (state=42000,code=1061)
这里初始化的时候就会创建数据库metastore,第一次初始化就已经生成,如果后面继续初始化还会继续执行这一步,但是执行到这时不能创建名字相同的数据库,就会报错以上错误信息,解决办法就是打开我们的mysql数据库,将这个metastore数据库删除,继续初始化就可以成功了。意思是key name ‘PCS_STATS_IDX’ (state=42000,code=1061)重复了,问题出在不是第一次初始化,因为我们在hive-site.xml中配置了。
2024-05-24 11:32:00 76
转载 Hive 初始化元数据报错: failed to load driver
HiveMetaException是Hive中的一个异常类,它表示Hive元数据存储(即Hive Metastore)发生了一些问题。在本例中,异常的具体原因是无法加载Hive驱动程序。
2024-05-24 11:27:43
转载 spark启动container报错虚拟内存不够
异常问题:Container is running beyond virtual memory limits. Current usage: 119.5 MB of 1 GB physical memory used;
2024-05-24 08:42:36
原创 在虚拟机安装ubuntu18时出现界面很小
然后按Enter,就可以暂时改变虚拟机的显示分辨率,这样你就可以继续安装Ubuntu了,安装成功后再去修改分辨率就可以了。鼠标右击桌面,点显示设置,就可以进行分辨率的修改了。
2024-05-23 10:39:21 53
原创 Ubuntu18.04下MySQL5.7的安装
(1)进入mysql,在命令行直接输入"mysql"(9) 查看mysql状态、开启、停止数据库服务。(6)退出mysql命令行,"exit"(10)安装mysql的图形化管理软件。(5)修改root的plugin和密码。进行命令行安装【root角色】4、设置mysql的密码。(8) 正常登录mysql。(11)从软件中心打开即可。(7)重启数据库服务。
2024-05-21 17:37:51 72
原创 【无nodemanager】Unable to make protected final java.lang.Class java.lang.ClassLoader.defineClass
hadoop集群启动后,slave1没有nodemanager进程。因为 java版本太高,降低版本,重新启动即可。
2024-05-20 18:05:52 156
原创 ubuntu中hadoop完全分布式部署【三台主机】
链接:https://pan.baidu.com/s/1tmVEGjRI_7CXgCzcmocRAw。2、在/etc/profile中添加环境变量,并使其生效【注意切换为自己的实际路径】3、安装成功测试,输入以下命令,出现java版本。#(1)在三台主机中分别生成密钥,六、配置hadoop完全分布部署。#(2)在三台主机中传输密钥。# 退出连接使用:logout。五、配置zookeeper环境。解决方案:重新安装vim。# 查看是否修改成功。
2024-05-16 15:29:56 426
原创 大数据比赛-环境搭建(二)
链接:https://pan.baidu.com/s/1w4Hsa1wbJDfC95fX2vU_1A。链接:https://pan.baidu.com/s/1tmVEGjRI_7CXgCzcmocRAw。链接:https://pan.baidu.com/s/1tmVEGjRI_7CXgCzcmocRAw。大概意思:无法使用1.8的环境(52对应jdk1.8)运行17(61对应的。再启动即可,如果还是报同样的错误,重启ubuntu系统,再试即可完成。在/etc/profile中添加环境变量,并使其生效。
2024-05-15 15:42:44 675
原创 大数据比赛-环境搭建(一)
一般刚安装的Ubuntu系统,默认的root密码是随机的,在终端中输入命令 sudo passwd,然后输入密码,即可。链接:https://pan.baidu.com/s/1IvSFzpnQFl3svWyCGRtEmg。链接:https://pan.baidu.com/s/1LRN2RXHf9vb-ufCXkY8UBQ。双击安装MobaXterm,点击New Session,输入IP和用户名user,点击OK。跳转到MobaXterm中,输入user密码,即可登录。5、输入刚才的密码即可。
2024-05-11 15:42:56 508 1
原创 Spark部署错误排除方式
1、查看spark文件夹下conf文件的权限。3、查看hadoop文件夹下配置文件是否正确。2、查看spark文件夹下配置文件是否正确。5、重启hadoop集群。4、重启spark集群。
2024-05-11 11:54:39 250 1
原创 zookeeper启动 FAILED TO START
进入到$ZOOKEEPER_HOME/data下,将除了myid外的其他文件全部删除,停止进程,重新启动即可。如果当前用户下没有该进程号,可能是另一个用户中启动的,进入到另一个用户中查看,并杀死该进程。已经启动过该进程,使用jps查看进程号,使用kill -9 进程号,杀死该进程重新启动。注意:启动zookeeper时,需要使用zkServer.sh start命令。解决方案:将所有主机按myid顺序启动后,再查看状态。错误3:查看状态失败。
2024-05-06 09:13:18 298 1
转载 运行hive时报错 权限问题
参考 https://www.cnblogs.com/cynchanpin/p/6915465.html。转载于:https://www.cnblogs.com/zk1023/p/9110903.html。这是/tmp/hive文件夹权限不够,须要提升权限。在运行hive时报错。
2024-04-07 22:13:18 83
原创 mysql_secure_installation初始化数据库报Access denied
登录mysql,设置密码,然后再设置权限。可能输入密码错误,重新复制,粘贴密码。
2024-04-07 16:51:12 236 1
原创 hive报错org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version.
使用schematool -dbType mysql --initSchema --verbose也无错误。2.检查Hive-site.xml文件是否有错误,尤其是关于metastore相关内容,无误。1.检查MySQL是否启动成功 systemctl status mysqld,没有问题。4.突然反应过来主机名应与jdbc的一致。啊啊啊啊啊啊,要疯了。3.检查root是否有权限访问,无误。hive初始化元数据失败。
2024-04-07 15:00:21 381
转载 ABRT 已检测到 ‘1‘ 个问题。预了解详细信息请执行:abrt-cli list --since 1641347561
无法删除 '7c0a746f4a92b2ea80dbf5db0043acc72d25516d':(null)time: 2022年01月05日 星期三 17时24分14秒。
2024-04-07 12:34:11 55
原创 卸载Mysql方法
①通过/etc/my.cnf查看MySQL数据的存储位置。②去往/var/lib/mysql路径需要root权限。需要卸载重装,可参考以下内容。①查看安装过的MySQL相关包。若因为安装失败或者其他原因,(2)卸载MySQL相关包。(注意敲击命令的位置)
2024-04-06 00:18:41 875
原创 hbase启动错误-local host is“master:XXXX“ destination is:master
hdfs高可用安装,yarn高可用安装,且启动成功。zookeeper安装完成,且启动成功。与hbase-site.xml中。将core-site.xml中。保持一致,即可解决。
2024-03-25 22:41:16 425
原创 hdfs-HA错误解决记录
出现错误一般是配置文件出错,如果再三检查没有错误,可以考虑重启让配置文件生效,重启后还是有错误,就还是配置文件有问题。错误2:unable to check if jns are ready for formatting。错误1: a shared edits dir must not be specified。结果是:dfs.ha.namenodes.ns的value值错误,应该是逗号分割。错误分析:与edits文件存储相关的配置文件进行检查,无误。各JournalNode。然后格式化就没问题了。
2024-03-18 14:12:00 186
原创 IDEA中Vue的安装和使用【window10】
1.首先安装npm的阿里镜像,原生npm下载依赖包过慢,镜像可以提高下载效率。3、安装webpack工具(如果以前没有安装webpack,一定要安装!1.在setting中的plugins安装Vue.js插件(本人已经安装)十.下一步就是配置好IDEA的Vue环境了(配置好了,才能编写代码!八.查看IDEA的Static Web里的Vue项目。2.安装Vue的脚手架工具vue-cli。2.配置HTML支持.vue后缀的文件。六.基本工具安装完成后,开始创建项目。九.惊喜的时刻:运行Vue项目。
2024-02-25 12:24:04 511
原创 大数据-数据可视化-环境部署vue+echarts+显示案例
在node.js中选择需要的版本下载,本人下载v16.60,下载网址https://nodejs.org/download/release/v16.20.2/移动echarts.js与axios.js到guangsha/src/assets下。选择feature,需要则按空格键,不需要再按一次,选择三项,然后按enter。创建chart.vue,并删除原有vue文件。【以下所有操作均在centos上进行】通过鼠标上下键,选择手动,按enter。后面内容皆选择默认,耐心等待几分钟。解决方案:更换镜像源。
2024-02-23 23:41:55 1340 1
原创 下载 axios.js 文件到本地【linux】
参考:https://blog.csdn.net/weixin_46055693/article/details/122961451?在$NODE_PATH/node_modules/axios/dist路径下即可找到axios.js。1、百度搜索 GitHub 官网:https://github.com/5、解压,进入到 dist 文件夹**3、点击 axios/axios。2、搜索 axios。
2024-02-23 22:18:53 1657
转载 如何下载echarts.js文件【linux】
将要用到的图形√上(建议全部勾选),否则代码可以没有相应的显示图形或功能,下拉都底部。最后选择下载,下载完成后就得到一份echarts.min.js文件了。点击“ 在线定制 ”
2024-02-23 21:10:08 647
原创 SparkSQL学习03-数据读取与存储
SparkSQL提供了通用的保存数据和数据加载的方式。这里的通用指的是使用相同的API,根据不同的参数读取和保存不用格式的数据。SparkSQL默认读取和保存的文件格式为parquet,parquet是一种能够有效存储嵌套数据的列式存储格式。需要注意:在读取jdbc时需要在format和save之间添加多个option进行相应的JDBC参数设置【url、user、password、tablename】save中不用传递路经空参数即可,可以不用设置mode。SparkSQL提供了两种方式可以保存数据。
2024-02-23 14:03:23 1394 3
原创 SparkSQL学习02-编程入口
在创建Dataset的时候,需要注意数据的格式,必须使用 == caseclass ==,或者基本数据类型,同时需要通过import spark.implicts._来完成数据类型的编码,从而抽取出对应的元数据信息,否则编译无法通过。这两种方式,都是非常常用,但是动态编程更加的灵活,因为javabean的方式的话,提前要确定好数据格式类型,后期无法做改动。【StructField】:是该二维表中某一个字段/列的元数据信息(主要包括列名,类型,是否可以为null)说明:这里学习三个新的类。
2024-02-22 00:35:45 344
原创 SparkSQL学习01
从上面两个表格可以看出,DataFrame比RDD多了一个表头信息 (Schema),像一张表了,DataFrame还配套了新的操作数据的方法等,有了DataFrame这个高一层的抽象后,我们处理数据更加简单了,甚至可以用SQL来处理数据了,对开发者来说,易用性有了很大的提升,不仅如此,通过DataFrameAPI或SQL处理数据,会自动经过Spark优化器(Catalyst)的优化,即使你写的程序或SQL不高效,也可以运行的很快。RDD也是一张的二维表,不过没有表头,表名,字段,字段类型等信息。
2024-02-21 22:44:31 996
转载 一种解决spark解析json文件出现_corrupt_record异常的方法
通过分析json文件内容可知,这是由于多余的换行符导致spark的json解析器没有正确解析。网络上有通过添加option("multiLine", true)的方法解决这一问题,但是这个参数和spark版本有关。编写的spark程序读取json文件时,json格式解析异常。解析出来的异常json格式为。
2024-02-21 21:11:30 74
转载 HIVE-分区表详解以及实例
是加上所有files的内容基本上一样,蓝色的^A是系统默认分隔符。八进制是‘\001’.随后参考我的另一个文章。比较详细解释了分隔符。现在只查看dt=2001-01-02目录下country=US的文件夹下的数据。条件限定了country='GB'目录所以只有file1,2,4的内容输出。上面语句的效果是在hdfs系统上建立了一个层级目录。我们到HDFS上查看,发现建立了下面层级目录。创建一个分区表,分区的单位时dt和国家名。我们继续执行下面语句,先看一下什么效果。接下来我们创建要给分区。
2024-02-12 11:49:51 28
原创 spark-cannot resolve overloaded method
使用split方法,出现错误:cannot resolve overloaded method。解决方法:那个regex应该是自动生成,所以split括号中输入空引号即可。入门学习人的愚笨,也要继续坚持,加油!
2024-01-30 12:26:23 526
原创 Scala入门01
在http://www.scala-lang.org官网查看。特征1:Scala run on the JVMJDK 开发工具包 敲代码JRE 运行环境 跑代码JVM 运行平台特征2:强类型,声明时不需要有类型,根据值去进行类型推断变量 var name=“zx”常量 val特征3:结局concurrency并发 distribution 分布式 async异步编程问题特征4:traits=抽象类+接口接口里是抽象方法、常量。
2024-01-29 23:58:12 504
原创 Spark入门02-Spark开发环境配置(idea环境)
参考https://blog.csdn.net/weixin_38383877/article/details/135894760。
2024-01-29 23:51:02 335
原创 Spark入门01-Spark简介
Spark借鉴了MapReduce思想,保留了其分布式并行计算的有点并改进了其明显的缺陷,让中间数据存储在内存中提高了运行速度、并提供丰富的操作数据的API提高了开发速度。可以计算:结构化、非结构化,半结构化的数据结构,支持使用Python,Java,Scala、Sql语言开发应用程序计算数据。Spark是用于大规模数据处理的统一分析引擎。对任意类型的数据进行自定义计算。
2024-01-28 23:41:27 650
原创 Hive安装步骤
slave1节点:slave2节点:注意:假性进程,即在master节点上使用stop-all.sh命令关闭hadoop分布后,slave1,slave2节点相关进程是否会关闭,如果关闭,那么重新开启,说明hadoop集群分布成功。如果没有关闭,说明为假性进程,进行相关处理。切换到root用户,
2023-12-08 10:15:57 1147
原创 糊里糊涂在计算机行业混迹10年
由于自己是山里出来的,所以学习计算机,即使我考研失败,经过培训,我可以找到一份不错的工作,是我的后路,即使我研究生毕业找不到合适的工作,经过短暂的学习,最起码当前阶段我可以找到一份工作,所以我学到的计算机能力让我有了选择工作的勇气,让我有了对抗世界的勇气,让我自己从自卑走向自信!我感叹道:“果然这个魔法圈子里,先要会修电脑!当大家在讨论当初自己为什么选择计算机时,我依稀记得自己高考报考志愿时,化学,会计,小学教师,计算机等一系列听起来不错还不讨厌的专业被我选中了,最后是计算机专业挑选了我。
2023-12-05 22:19:40 515
原创 Hive HWI 配置
1、下载安装好hive后,发现hive有hwi界面功能,研究下是否可以运行,于是使用hive –service hwi命令启动hwi界面报错。启动hwi功能2、访问192.168.126.110:9999/hwi,发现访问错误一、HWI介绍HWI)是Hive-2-1版本之前的源码中提供的网页控制台工具,但由于其功能简陋,索性Hive-2.2之后的版本中不再提供该工具。HWI也需要单独安装配置用到的安装包:二、HWI配置1、进入到下,使用如下命令编译war包2、将。
2023-12-05 11:04:41 880
原创 软件测试高职教师组比赛复盘
(1)显示没有令牌,觉得可能1设置好环境变量后,没有读取到,即没有运行Login,可能2环境变量为局部变量,读取不到,可能3就是设置为Auth后,token没有传进去。(2)邮箱判断时,正则表达式没有熟练使用,一直有错误,导致找bug分钟,仍然未出结果,所以单元测试只做了前3道,第四题没有来得及看。(1)init自动输入时变成了ini,导致找bug用了至少10分钟,甚至怀疑自己写错了,无法继承,换了别的方式等等。单元测试:11:15-12:20,做了三道,前两道拿下,第三道有bug,第4道没有时间。
2023-11-26 23:56:20 540
转载 LoadRunner回放出错
所以如果你录制的时候使用了代理,就修改为你使用的代理,如果你没有使用代理,就像 我一样什么都没做,就把代理关闭了,选择no proxy。转载地址:http://blog.csdn.net/u014377853/article/details/52237904。录制的网站:HP loadrunner自带的机票订购网站。操作系统:win7 旗舰 64bit。LoadRunner版本:12.53。
2023-11-06 00:18:22 88
hive web配置过程及所用资源
2023-12-05
intellibot.rar
2020-08-02
ssd_mobilenet_v2_coco_2018_03_29.tar.gz
2020-01-06
火狐53和seleniumIDE2.9.rar
2019-09-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人