隐去-CSDN博客

原创 Rainbow迁移工具报错the pc is unreachable from the hos

Rainbow迁移工具报错the pc is unreachable from the hos

2022-12-28 19:25:13 192 1

原创解决 Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message

解决 Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message那么怎么获取正确的端口号呢？hdfs getconf -confKey fs.default.name获取正确的端口号就可以正常访问hdfsidea访问hdfs...

2019-11-28 11:39:52 731

原创编译Spark时，Error is not recoverable ：exiting now

编译spark没有这几个文件，需要手动下载一下[linux]手动地址：wget https://downloads.typesafe.com/zinc/0.3.9/zinc-0.3.15.tgz完事了却发现报这样的错误现在需要手动改变一下地址wget --referer=https://www.jperotica.com/saaya-irie-shiritsu-saya-joshi-ga...

2019-10-28 14:40:26 859

原创 CDH搭建手动启动Hive，出现Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security情况

Java HotSpot™ 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0Java HotSpot™ 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8....

2019-10-11 16:50:40 797

原创无法打开内核设备“\\.\Global\vmx86”: 系统找不到指定的文件。是否在安装 VMware Workstation 后重新引导? 未能初始化监视器设备。

查看自己的服务都是启动的但是还是报这个错的话重启一下当前这四个服务就可以启动了

2019-09-30 09:04:34 151

原创 CDH的集群搭建及其步骤（实现结果）

CDH的集群搭建及其步骤(注意：linux系统需要自己配置，这不就不过多介绍了)一、说明操作系统：CentOS 6JDK版本：1.7.0_80所需安装包及版本说明：CDH-6.0.1-1.cdh6.0.1.p0.590678-el6.parcel.shaCDH-6.0.1-1.cdh6.0.1.p0.590678-el6.parcelmanifest.jsoncloudera-m...

2019-09-29 15:09:36 1260

原创 Python第一次安装scrapy出现的问题

出错标题 Building wheel for Twisted (setup.py) … error然后报了一大堆错： ERROR: Command errored out with exit status 1:command: ‘c:\users\administrator\appdata\local\programs\python\python36\python.exe’ -u -c ‘i...

2019-07-24 11:53:12 527

原创小白Python代码运行报错找不到LXML

当我运行代码时候报了bs4.FeatureNotFound: Couldn’t find a tree builder with the features you requested: lxml. Do you need to install a parser library?这样的错误信息！查看发现原来是3的版本不支持XML解析器。错误找到了，怎么解决呢？在windows上重新装载pi...

2019-07-11 16:35:55 626

原创 Maven打包时报错

在Maven打包时报错，Failed to execute goal org.scala-tools:maven-scala-plugin:2.15.2:compile (default) on project MySpark: wrap: org.apache.commons.exec.ExecuteException: Process exited with an error: 1(Exit...

2019-05-02 16:29:49 1242 1

原创 Spark调优，解决数据倾斜指南 2019-2-12

数据倾斜的七种解决方案1. 使用Hive ETL预处理模式方案使用场景：如果数据倾斜的是 Hive表，如果Hive表中的数据本身很不均匀，而且业务场景需要频繁使用Spark对Hive表执行某个分析操作，那么比较适合本方案方案思路：先评估一下是否可以通过Hive来进行数据预处理（即通过hive ETL预先对数据的Key进行聚合，或者和其他表做join），然后Spark作业证针对数据源就不是原来...

2019-02-12 17:00:37 189