- 博客(10)
- 资源 (21)
- 收藏
- 关注
原创 Rainbow迁移工具报错the pc is unreachable from the hos
Rainbow迁移工具报错the pc is unreachable from the hos
2022-12-28 19:25:13 222 1
原创 解决 Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message
解决 Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message那么怎么获取正确的端口号呢?hdfs getconf -confKey fs.default.name获取正确的端口号就可以正常访问hdfsidea访问hdfs...
2019-11-28 11:39:52 776
原创 编译Spark时,Error is not recoverable :exiting now
编译spark没有这几个文件,需要手动下载一下[linux]手动地址:wget https://downloads.typesafe.com/zinc/0.3.9/zinc-0.3.15.tgz完事了却发现报这样的错误现在需要手动改变一下地址wget --referer=https://www.jperotica.com/saaya-irie-shiritsu-saya-joshi-ga...
2019-10-28 14:40:26 876
原创 CDH搭建手动启动Hive,出现Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security情况
Java HotSpot™ 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0Java HotSpot™ 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8....
2019-10-11 16:50:40 825
原创 无法打开内核设备“\\.\Global\vmx86”: 系统找不到指定的文件。是否在安装 VMware Workstation 后重新引导? 未能初始化监视器设备。
查看自己的服务都是启动的但是还是报这个错的话重启一下当前这四个服务就可以启动了
2019-09-30 09:04:34 174
原创 CDH的集群搭建及其步骤(实现结果)
CDH的集群搭建及其步骤(注意:linux系统需要自己配置,这不就不过多介绍了)一、说明操作系统:CentOS 6JDK版本:1.7.0_80所需安装包及版本说明:CDH-6.0.1-1.cdh6.0.1.p0.590678-el6.parcel.shaCDH-6.0.1-1.cdh6.0.1.p0.590678-el6.parcelmanifest.jsoncloudera-m...
2019-09-29 15:09:36 1269
原创 Python第一次安装scrapy出现的问题
出错标题 Building wheel for Twisted (setup.py) … error然后报了一大堆错: ERROR: Command errored out with exit status 1:command: ‘c:\users\administrator\appdata\local\programs\python\python36\python.exe’ -u -c ‘i...
2019-07-24 11:53:12 564
原创 小白Python代码运行报错找不到LXML
当我运行代码时候报了bs4.FeatureNotFound: Couldn’t find a tree builder with the features you requested: lxml. Do you need to install a parser library?这样的错误信息!查看发现原来是3的版本不支持XML解析器。错误找到了,怎么解决呢?在windows上重新装载pi...
2019-07-11 16:35:55 640
原创 Maven打包时报错
在Maven打包时报错,Failed to execute goal org.scala-tools:maven-scala-plugin:2.15.2:compile (default) on project MySpark: wrap: org.apache.commons.exec.ExecuteException: Process exited with an error: 1(Exit...
2019-05-02 16:29:49 1295 1
原创 Spark调优,解决数据倾斜指南 2019-2-12
数据倾斜的七种解决方案1. 使用Hive ETL预处理模式方案使用场景:如果数据倾斜的是 Hive表,如果Hive表中的数据本身很不均匀,而且业务场景需要频繁使用Spark对Hive表执行某个分析操作,那么比较适合本方案方案思路:先评估一下是否可以通过Hive来进行数据预处理(即通过hive ETL预先对数据的Key进行聚合,或者和其他表做join),然后Spark作业证针对数据源就不是原来...
2019-02-12 17:00:37 198
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人